JP2012169786A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 印刷対象とするフレーム画像がどの動画ストリームに含まれているのかをユーザに把握させやすくし、且つこのフレーム画像を容易に特定する為の技術を提供すること。
【解決手段】 それぞれの動画ストリームのうち指定された動画ストリームを指定動画ストリーム、該指定動画ストリーム中の各フレームのうち指定されたフレームを指定フレームとした場合、指定動画ストリーム中のそれぞれの指定フレームを切り替え表示する。表示領域に対する指示を検知すると、指定動画ストリーム中のそれぞれの指定フレームを一覧表示する一覧表示画面に切り替え、一覧表示画面において指定された指定フレームを印刷対象として出力する。
【選択図】図１

Description

本発明は、動画像処理技術に関するものである。

デジタル技術・半導体技術の進展により、高価なビデオカメラのみならず、安価なデジタルカメラにおいても高解像度でのデジタル動画撮影が普及している。このようなデジタル動画撮影機能の普及に伴い、撮影された動画ストリームからユーザのお気に入りシーン等のフレーム（静止画）を抽出して印刷したいというユーザのニーズが高まっている。この動画ストリームからフレームを抽出して印刷することを、以下では「動画フレーム印刷」と呼ぶ。

一方、ＰＣ（パーソナルコンピュータ）が不要という手軽さから、フラッシュメモリ等の記録メディアから直接画像ファイルを読み出し、プリンタ単体で印刷するダイレクトプリントが普及している。しかしながら、ダイレクトプリントの適用範囲は静止画、若しくは動画の一部のユースケースに限定されており、今後は動画フレーム印刷のダイレクトプリントでの機能向上が望まれている。

図１２に、プリンタ単体での動画フレーム印刷機能を備えたプリンタの外観例を示す。図１２に示したプリンタは、プリンタ本体1201、電源スイッチ1202、記録メディアスロット1203、表示画面1204、給紙口1205、排出口1206、を有している。

ダイレクトプリントにおいてユーザは、撮影時に使用した、動画ストリームファイルが記録されている記録メディアを記録メディアスロット1203に挿入する。ユーザはプリンタの電源スイッチ1202を操作してプリンタの電源を投入後、タッチパネル機能を備えた表示画面1204上でのタッチ操作により印刷モードの選択を行う。この印刷モードとして「ＰＣ接続印刷モード」、「カメラ接続印刷モード」、「ダイレクト印刷モード」等がある。

「ダイレクト印刷モード」を選択すると、プリンタは記録メディアから静止画ファイル及び動画ストリームファイルを読み込み、どの静止画、若しくは動画ストリームを印刷対象とするのかを選択するよう、ユーザに促す。一般的に、動画ストリームはデジタルカメラ等での撮影時にＭＰＥＧ−２やＨ．２６４等に代表されるような動画符号化方式により圧縮されて記録されているため、動画ストリームが印刷対象として選択されると、動画の復号化処理（伸長処理）が施される。ここで、プリンタの表示画面の解像度は、動画ストリームが有する解像度に比べて小さいことが一般的であり、復号化された動画ストリームは、縮小処理やトリミング処理を経た上で表示画面1204に動画として表示される。

動画フレーム印刷をユーザが快適に使用するためには、印刷対象フレームの効率的な選択が必要であり、表示しているフレームを印刷候補として指定する印刷候補フレーム指定機能が必要になる。なぜならば、秒間３０フレーム以上という非常に多数のフレームから構成される動画ストリームについて、１フレームずつ再生及び印刷の作業を繰り返すのでは作業が非常に煩雑になる。また、１回再生しただけで印刷を実行してしまうと、動画の特性上似たシーンが非常に多数あり、「後でより印刷に好ましい同じようなフレームが見つかった」というような事態が発生し、印刷が無駄になってしまう。

前述した印刷候補指定機能を用いることにより、ユーザは印刷候補としたフレームを後から一覧表示し、本当に印刷が必要なフレームかを再度確認した上で印刷を実行することが可能となる。結果としてユーザは、フレームの選択作業と印刷実行作業をそれぞれまとめて実行するため、効率的に作業することが可能になる。この印刷候補フレーム指定のために作成した指定情報を印刷候補指定情報、若しくは概念的に印刷用しおりと呼ぶ。

図１３に、この印刷用しおりを付加するための、タッチパネル機能を備えた表示画面130１上のユーザインターフェースの表示例を示す。１３０２は動画再生領域、１３０３は印刷候補指示部である。ユーザは動画再生中、若しくは一時停止中に印刷候補指示部1303をタッチすることにより、表示中のフレームに印刷用しおりを付加することが可能である。

この印刷用しおりはデジタルカメラ等では公知の機能になっており（特許文献１におけるマーキングデータ）、また印刷候補となる画像を簡単に印刷するための機能も提案されている。特許文献２では、撮影時に付加されたマーキングデータを検出すると、スロー再生に切り替え、ユーザによる印刷指示をより行いやすくする構成が提案されている。

特登録０４２４４３６８号公報 特開２００４−０６４６３３号公報

印刷用しおりは、単一の動画ストリームに対し複数付加することも可能であり、登場人物が頻繁に入れ替わるようなシーン撮影においては多数の印刷用しおりが付加される状況が想定される。また、近年の半導体技術の進化により、記録メディアは飛躍的な大容量化を遂げており、データサイズが大きい動画ストリームを多数記録メディア内に記録することも容易になっている。このように、多数の動画ストリームに複数の印刷用しおりが付加されると、記録メディア内の印刷用しおり数が非常に多数となる。

しかしながら、非常に多数の印刷用しおりが付加された状況において、多数の動画ストリームを全て再生して印刷したいフレームを探し出すには非常に時間がかかり、ユーザの負荷が大きくなってしまうという問題がある。

特許文献１では、このような状況を緩和するために、印刷対象フレームが動画中のどのフレームに含まれているかという位置情報を記録メディア内に格納し、再生時には該フレームに直接ジャンプして表示するという方法が提案されている。しかしながら、特許文献１の構成では、ユーザは、印刷したいと考えているフレームが多数の動画ストリームの中のどの動画ストリームに含まれているのかを把握することができない。よって、動画ストリームを一本ずつ再生し、マーキングしたフレームを目視で確認する必要性が発生してしまう。

特許文献２においても、動画を容易に印刷指示するために、マーキングデータを検出すると、動画の再生速度をスロー再生に切り替え、印刷指示をしやすくするための構成が開示されている。しかし、特許文献２でも、印刷したいフレームがどの動画ストリームに含まれているのかをユーザが知ることはできない。

一方、印刷用しおりがあれば、印刷用しおりが付加された画像をまとめて抽出し、一覧表示することも、実現候補として挙げることができる。しかしながら、プリンタ本体上の表示画面は通常サイズ及び解像度が小さく、本ユースケースのような非常に多数の印刷用しおりが付加された画像を一度に一覧表示するには好適でないという課題がある。

本発明は以上の問題に鑑みてなされたものであり、印刷対象とするフレーム画像がどの動画ストリームに含まれているのかをユーザに把握させやすくし、且つこのフレーム画像を容易に特定する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、表示画面を有する画像処理装置であって、それぞれの動画ストリームのうち指定された動画ストリームを指定動画ストリームとし、該指定動画ストリーム中の各フレームのうち指定されたフレームを指定フレームとした場合に、前記表示画面において前記指定動画ストリームに対して割り当てられた表示領域内に、前記指定動画ストリーム中のそれぞれの指定フレームを切り替えて表示する表示制御手段と、前記表示領域に対する指示を検知すると、前記表示画面における表示を、前記指定動画ストリーム中のそれぞれの指定フレームを一覧表示する一覧表示画面に切り替える手段と、前記一覧表示画面において指定された指定フレームを印刷対象として出力する手段とを備えることを特徴とする。

本発明の構成によれば、印刷対象とするフレーム画像がどの動画ストリームに含まれているのかをユーザに把握させやすくし、且つこのフレーム画像を容易に特定することができる。

プリンタ用ＬＳＩ１０１と、その周辺機器を示す図。 プリンタ用ＬＳＩ１０１が行う処理のフローチャート。 画面の表示例を示す図。 画面の表示例を示す図。 印刷用しおりを説明する図。 管理テーブルの構成例を示す図。 メインＣＰＵ１０３が行う処理のフローチャート。 画面の表示例を示す図。 切り替え表示を説明する図。 画面の表示例を示す図。 ファイルの構成例を示す図。 プリンタの外観例を示す図。 ユーザインターフェースの表示例を示す図。 管理テーブルの構成例を示す図。 メインＣＰＵ１０３が行う処理のフローチャート。 管理テーブルの構成例を示す図。 システムの構成例を示す図。 デジタルカメラ用ＬＳＩ１８０１と、その周辺機器を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
プリンタ等の印刷装置（画像処理装置）に搭載され、動画像（動画ストリーム）を取り扱うことが可能なプリンタ用ＬＳＩ（プリンタ用半導体集積回路）１０１と、その周辺機器を図１に示す。

本実施形態に係るプリンタ用ＬＳＩ１０１は、それぞれの動画ストリームのうちユーザによって指定された動画ストリームを指定動画ストリームとし、該指定動画ストリーム中の各フレームのうち印刷対象として確定したフレームの印刷を指示する。この印刷のためにプリンタ用ＬＳＩ１０１は先ず、図２のフローチャートに従った処理を実行する。なお、図２のフローチャートに従った処理は、メインＣＰＵ１０３によって実行される。メインＣＰＵ１０３は、メインＣＰＵ１０３内の不図示のメモリ、プリンタ用ＬＳＩ１０１内の不図示のメモリ、印刷装置内の不図示のメモリ、等のメモリ内に格納されたコンピュータプログラムやデータを用いて処理を実行する。これによりメインＣＰＵ１０３は、図２のフローチャートに従った処理を実行する。また、メインＣＰＵ１０３は、図１に示した各部の動作制御を行うことで、各部に対して適当な処理を実行させる。例えば、表示デバイス１１４の表示画面における表示制御等、表示デバイス１１４とのインタラクションは、メインＣＰＵ１０３が表示デバイスコントローラ１０７を制御することでなれるものである。

ステップＳ２０１ではメインＣＰＵ１０３は、記録メディアインターフェース１０２に接続されている記録メディア１１０から、この記録メディア１１０に記録されている１以上の動画ストリームを、記録メディアインターフェース１０２を介して読み出す。そしてメインＣＰＵ１０３は、この読み出したそれぞれの動画ストリームを順次、動画復号化部１０６に供給する。なお、メインＣＰＵ１０３はメモリコントローラ１０８を制御し、読み出したそれぞれの動画ストリームを一旦主記憶装置１１３に格納させた後、この主記憶装置１１３からそれぞれの動画ストリームを読み出して動画復号化部１０６に供給するようにしても良い。

ステップＳ２０２では動画復号化部１０６は、メインＣＰＵ１０３による制御に基づき、メインＣＰＵ１０３から供給されたそれぞれの動画ストリームの先頭フレームを復号する。そして動画復号化部１０６は、動画ストリーム毎に復号した先頭フレームを表示デバイスコントローラ１０７に供給する。表示デバイスコントローラ１０７は、表示デバイス１１４の表示画面において、それぞれの動画ストリームについて割り当てられた表示領域内に、該動画ストリームの先頭フレームを表示する。なお、復号して表示するフレームは先頭フレームに限るものではなく、ようはそれぞれの動画ストリームに係る情報が一覧表示できればよいので、何れのフレームを復号して表示しても良い。

なお、動画ストリームは一般に音声情報を含むのであるが、本実施形態では音声情報は取り扱う対象ではないため、動画復号化部１０６は音声情報については処理対象外とするか、もしくは破棄する。

ステップＳ２０２において表示デバイス１１４の表示画面に表示される画面の一例を図３に示す。図３では、表示画面３０１において動画ストリームＡに対して割り当てられた領域３０２内に、動画ストリームＡの先頭フレームを表示している。同様に、表示画面３０１において動画ストリームＢに対して割り当てられた領域３０３内に、動画ストリームＢの先頭フレームを表示している。同様に、表示画面３０１において動画ストリームＣに対して割り当てられた領域３０４内に、動画ストリームＣの先頭フレームを表示している。同様に、表示画面３０１において動画ストリームＤに対して割り当てられた領域３０５内に、動画ストリームＤの先頭フレームを表示している。

本実施形態では、表示デバイス１１４はタッチパネル式の表示画面を有する表示装置であるものとしているため、ユーザは自身の指などでもって、この表示した先頭フレームのうち１以上を指示することができる。この指示した位置は周知のタッチパネル技術により検知することができるため、表示デバイスコントローラ１０７は、この検知した指示位置をメインＣＰＵ１０３に通知する。これによりメインＣＰＵ１０３は、表示デバイス１１４の表示画面に表示されたそれぞれの先頭フレームのうち、ユーザにより指示された先頭フレームを特定することができる。

なお、図３では一画面（表示画面３０１）内に一度に表示可能な先頭フレームの最大数を４としているため、ステップＳ２０２で５以上の先頭フレームを復号した場合、全ての先頭フレームを表示画面３０１内に一度に表示することができない。この場合、ユーザはボタン画像３０６を指示することで画面を切り替え、他の先頭フレームを表示画面３０１に表示させることができる。表示画面３０１内に一度に表示可能な最大フレーム数については、表示画面３０１の解像度が高いほど多くすることができ、これについては適宜決めればよい。

図３に例示した表示画面の表示後、ユーザは印刷したいフレームを含むとおぼしき動画ストリーム、即ち、印刷用しおりを付加したい動画ストリーム、の先頭フレームをこの表示画面上で、自身の指などでもって指示する。

然るにステップＳ２０３でメインＣＰＵ１０３は、表示デバイス１１４の表示画面に表示した先頭フレームのうち、ユーザにより指示（選択）された先頭フレームを特定し、表示デバイス１１４の表示画面を図４（上部）に例示する表示画面４０１に切り替える。

領域４０２は、ステップＳ２０３で特定した先頭フレームが属する動画ストリームを再生表示するための領域である。ステップＳ２０４ではメインＣＰＵ１０３は、ステップＳ２０３で特定した先頭フレームが属する動画ストリームの全てのフレームを動画復号化部１０６に復号させる。そしてメインＣＰＵ１０３は、表示デバイスコントローラ１０７を制御し、復号したそれぞれのフレームを順次、領域４０２内に表示させる。

ユーザは領域４０２内に再生表示される動画ストリームを観察し、印刷したいフレームが再生されると一時停止ボタン４０４を指示する。メインＣＰＵ１０３はこの指示を検知すると、処理をステップＳ２０５を介してステップＳ２０６に進める。また、この指示を検知していない場合は、処理をステップＳ２０５を介してステップＳ２０７に進める。

ステップＳ２０６ではメインＣＰＵ１０３は先ず、動画ストリームの再生を一時停止させ、表示デバイス１１４の表示画面を図４（下部）に例示する表示画面４１０に切り替える。表示画面４１０において領域４０２内には、一時停止ボタン４０４が指示された時点で再生されたフレームが表示されている。一時停止ボタン４０４が指示された時点で領域４０２内に表示されているフレームを印刷候補としたい場合には、ボタン４０３を指示すればよいのであるが、このフレームの前後で印刷したいフレームを探したい場合、ユーザはボタン４０６を指示する。ボタン４０６のうちの一方を指示すると、フレームを進める指示を入力することができ、他方を指示すると、フレームを戻す指示を入力することができる。フレームを進める指示が入力される度に、メインＣＰＵ１０３は、現在領域４０２内に表示しているフレームよりも１フレーム後のフレームを領域４０２内に表示させる。また、フレームを戻す指示が入力される度に、メインＣＰＵ１０３は、現在領域４０２内に表示しているフレームよりも１フレーム前のフレームを領域４０２内に表示させる。これによりユーザは、印刷候補としたいフレームを、ボタン４０６を操作することで探すことができる。そしてユーザは、ボタン４０６を操作して印刷候補としたいフレームを領域４０２内に表示させると、ボタン４０３を指示する。

メインＣＰＵ１０３は、ボタン４０３の指示を検知すると、処理をステップＳ２０７を介してステップＳ２０８に進め、検知していない場合は、処理をステップＳ２０７を介してステップＳ２０９に進める。

ステップＳ２０８ではメインＣＰＵ１０３は、ボタン４０３が指示された時点で領域４０２内に表示されているフレームを印刷候補フレーム（指定フレーム）とし、このフレームに印刷用しおりを付加する為の処理を行う。ステップＳ２０８における処理の詳細については後述する。

ステップＳ２０９ではメインＣＰＵ１０３は、ボタン４０７が指示されたか否か、ボタン４０５が指示されたか否かを判断する。この判断の結果、ボタン４０７が指示された場合、メインＣＰＵ１０３は先ず、表示デバイス１１４の表示画面を図４（上部）に例示する表示画面４０１に切り替える。そして処理はステップＳ２０４に戻り、この時点で領域４０２内に表示されているフレーム以降のフレームの再生を行い、領域４０２内に表示させる。

また、ボタン４０５が指示された場合、処理はステップＳ２１０に進む。ステップＳ２１０でメインＣＰＵ１０３は、他の動画ストリームについて印刷候補フレームの選択を可能にするために、表示デバイス１１４の表示画面を図３に例示する表示画面３０１に切り替える。

そしてステップＳ２１１でメインＣＰＵ１０３は、表示デバイス１１４の表示画面上に表示されている不図示の終了ボタンや、印刷装置が有する不図示のボタンなどを用いて、印刷用しおりを付加する為の処理を終了する旨の指示が入力されたか否かを判断する。この判断の結果、入力された場合は、図２のフローチャートに従った処理を終了させ、入力されていない場合は、処理をステップＳ２０３に戻す。

図２のフローチャートに従った処理を行うことで、記録メディア１１０に格納されているそれぞれの動画ストリームのうち、ユーザにより指定された指定動画ストリーム中の、ユーザにより指定されたフレームを印刷候補フレームとして指定することができる。図５に、動画ストリームＡ〜Ｆのそれぞれについて、ユーザが印刷候補フレームとして指定したフレーム（印刷用しおりを付加したフレーム）と、印刷候補フレームとして指定していないフレーム（印刷用しおりを付加していないフレーム）とを示す。図５では、動画ストリームＡについては、フレーム番号（再生順において最初のフレームのフレーム番号は１）３，９，１４，１６，２０のフレームに印刷用しおりが付加されている。また、動画ストリームＢについては、フレーム番号５，９のフレームに印刷用しおりが付加されている。また、動画ストリームＣについては、フレーム番号３，６，１２，１７のフレームに印刷用しおりが付加されている。また、動画ストリームＤについては、フレーム番号２，７，１４のフレームに印刷用しおりが付加されている。また、動画ストリームＥについては、フレーム番号８，１８のフレームに印刷用しおりが付加されている。また、動画ストリームＦについては、フレーム番号１，４，１１，１４，１７，２０，２５のフレームに印刷用しおりが付加されている。

メインＣＰＵ１０３は、印刷用しおりが付加されたフレームについては、例えば、図６に示すような管理テーブルによって管理する。例えば、動画ストリームＡについては、図５に示す如く、フレーム番号＝３，９，１４，１６，２０のフレームに印刷用しおりが付加されたのであるから、これらのフレームに係る以下の情報（登録情報）がこの管理テーブルに登録されている。

・ それぞれの印刷用しおりに固有のＩＤ（印刷用しおりＩＤ）
・ 印刷用しおりが付加されたフレームが属する動画ストリームのファイル名
・ 印刷用しおりが付加されたフレームのフレーム番号
・ 印刷用しおりが付加された日時
例えば、動画ストリームＡ中のフレーム番号＝３のフレームについては、以下の登録情報が管理テーブルに登録されている。

・ このフレームに付加された印刷用しおりのＩＤ「しおり１−１」
・ このフレームが属する動画ストリームのファイル名「動画ストリームＡ（stream_A.mov）」
・ このフレームのフレーム番号「３」
・ このフレームに印刷用しおりが付加された日時「２０１０／ＸＸ／ＹＹ １７：０５：３４」
このように、それぞれの動画ストリームについて、印刷用しおりが付加されたフレームについては、上記のような登録情報が管理テーブルに登録される。ステップＳ２０８における「フレームに印刷用しおりを付加するための処理」とは、このフレームについての上記のような登録情報を管理テーブルに登録することである。またこの管理テーブルは、図１に示す如く、メインＣＰＵ１０３内の管理テーブル用メモリ１０３ａに格納される。もちろん、この管理テーブルを格納するメモリについてはこれに限るものではない。

次に、管理テーブルに登録情報を登録したフレームのうち、印刷対象のフレームを確定する為にメインＣＰＵ１０３が行う処理について、同処理のフローチャートを示す図７を用いて説明する。メインＣＰＵ１０３は、メインＣＰＵ１０３内の不図示のメモリ、プリンタ用ＬＳＩ１０１内の不図示のメモリ、印刷装置内の不図示のメモリ、等のメモリ内に格納されたコンピュータプログラムやデータを用いて処理を実行する。これによりメインＣＰＵ１０３は、図７のフローチャートに従った処理を実行する。また、メインＣＰＵ１０３は、図１に示した各部の動作制御を行うことで、各部に対して適当な処理を実行させる。例えば、表示デバイス１１４の表示画面における表示制御等、表示デバイス１１４とのインタラクションは、メインＣＰＵ１０３が表示デバイスコントローラ１０７を制御することでなれるものである。

ステップＳ７０１ではメインＣＰＵ１０３は、上記の管理テーブルを参照し、動画ストリーム毎に、印刷用しおりが付加されたフレームの枚数をカウントする。図６の場合、動画ストリームＡについては５枚、動画ストリームＢについては２枚、動画ストリームＣについては４枚、動画ストリームＤについては３枚、動画ストリームＥについては２枚、動画ストリームＦについては６枚となる。

ステップＳ７０２ではメインＣＰＵ１０３は、ステップＳ７０１でカウントした枚数が多い順にそれぞれの動画ストリームに対して優先度を設定する。図６の場合、動画ストリームＦに対する優先度が最も高いことになり、以降、動画ストリームＡ、動画ストリームＣ、動画ストリームＤ、動画ストリームＥ、動画ストリームＢの順に高い優先度を設定する。なお、動画ストリームＥと動画ストリームＢとは枚数が同じであるため、何れにより高い優先度を設定しても良い。このように優先度を設定するのは、印刷用しおりが付加された数が多い動画ストリームほど先に印刷が実行される可能性が高いとの仮定に基づくためである。しかし、この優先度の設定方法は一例に過ぎず、状況によっては他の設定方法を採用しても良い。

ステップＳ７０３ではメインＣＰＵ１０３は、未だ選択されていない動画ストリームのうち最も高い優先度が設定された動画ストリームを記録メディア１１０から上記のように取得し、取得した動画ストリームを動画復号化部１０６により復号する。そしてメインＣＰＵ１０３は、この復号により得られるそれぞれのフレームのうち、管理テーブルで定義されている「印刷用しおりが付加されているフレーム」を主記憶装置１１３に格納する。

例えばステップＳ７０３で動画ストリームＦを復号した場合、メインＣＰＵ１０３は、管理テーブルから、フレーム番号１，４，１１，１７，２０，２５のフレームに印刷用しおりが付加されていることが特定できる。然るにこの場合、メインＣＰＵ１０３は、動画ストリームＦを動画復号化部１０６に復号させると、この復号により得られるフレーム群のうち、フレーム番号１，４，１１，１７，２０，２５のフレームを主記憶装置１１３に格納する。

ステップＳ７０４ではメインＣＰＵ１０３は、ステップＳ７０３で主記憶装置１１３に格納したそれぞれのフレームの表示順を決定する。例えば、管理テーブルを参照して、ステップＳ７０３で主記憶装置１１３に格納したそれぞれのフレームの「印刷用しおりが付加された日時」を特定し、特定した「印刷用しおりが付加された日時」が最近に近いフレームにより先の表示順を決定する。例えば、ステップＳ７０３で動画ストリームＦを復号した場合、図６によれば、表示順を、フレーム番号１１，４，１，２５，２０，１７の順とする。なお、表示順の決定方法はこれに限るものではなく、様々な方法を適用することができる。

ステップＳ７０５でメインＣＰＵ１０３は、表示デバイス１１４の表示画面の、ステップＳ７０３で復号した動画ストリームに対して割り当てられた表示領域内に、ステップＳ７０４で表示順が決定したそれぞれのフレームを該表示順で切り替えて表示する。

次にステップＳ７０６でメインＣＰＵ１０３は、ステップＳ７０３〜ステップＳ７０５の処理を、規定の回数分（例えば、ステップＳ７０５で切り替えて表示する為の表示領域が設けられる最大個数分）行ったか否かを判断する。この判断の結果、規定の回数分行った場合には処理はステップＳ７０７に進み、規定の回数分行っていない場合には処理はステップＳ７０３に戻り、次に優先度が高い未選択動画ストリームについて以降の処理を行う。

処理がステップＳ７０７に進んだ時点で表示デバイス１１４の表示画面に表示されている画面８０１の一例を図８に示す。図８に示す如く、最も高い優先度が設定された動画ストリームＦ用の領域８０２内には、動画ストリームＦについて主記憶装置１１３に格納したフレーム番号１１，４，１，２５，２０，１７のフレームを、この順で切り替えて表示する。例えば、図９に示す如く、最初に領域８０２内にフレーム番号＝１１のフレームを１〜２秒表示した後、この領域８０２内をフレーム番号＝４のフレームに切り替える。このようにして、以降は、フレーム番号＝１，２５，２０，１７のフレームを、この順で切り替えて表示する。

同様に、次に高い優先度が設定された動画ストリームＡ用の領域８０３内には、図９に示す如く、動画ストリームＡについて主記憶装置１１３に格納したフレーム番号２０，１６，１４，９，３のフレームを、この順で切り替えて表示する。また、次に高い優先度が設定された動画ストリームＣ用の領域８０４内には、図９に示す如く、動画ストリームＣについて主記憶装置１１３に格納したフレーム番号６，３，１７，１２のフレームを、この順で切り替えて表示する。また、次に高い優先度が設定された動画ストリームＤ用の領域８０５内には、図９に示す如く、動画ストリームＤについて主記憶装置１１３に格納したフレーム番号７，２，１４のフレームを、この順で切り替えて表示する。

ユーザはこのような画面８０１を閲覧することにより、それぞれの動画ストリームについて、印刷用しおりが付加されたフレームを確認することができる。なお、図８では、最大個数が４のため、動画ストリームＦ用、動画ストリームＡ用、動画ストリームＣ用、動画ストリームＤ用の４つの表示領域が設けられる。動画ストリームＢ用、動画ストリームＥ用の表示領域については、ボタン８０６を指示することで表示デバイス１１４の表示画面が同図右側に示す如く表示される。それぞれの表示領域内におけるフレームの表示方法については上記の通りである。

ユーザはそれぞれの領域８０２〜８０５を確認し、印刷するフレームが切り替え表示された領域を自身の指などでもって指示する。ステップＳ７０７でメインＣＰＵ１０３は、何れかの表示領域が指示されたことを検知すると、指示された表示領域に対応する動画ストリームについて、印刷用しおりが付加されたフレームの一覧表示画面を、表示デバイス１１４の表示画面に表示する。例えば、図８の画面８０１において領域８０２が指示されると、図１０の右上に示す如く、動画ストリームＦについて主記憶装置１１３に格納されたフレームのうち表示順の高いものから規定個数（ここでは一例として４）のフレームが一覧表示される。図１０において領域１００１にはフレーム番号＝１１のフレーム、領域１００２にはフレーム番号＝４のフレーム、領域１００３にはフレーム番号＝１のフレーム、領域１００４にはフレーム番号＝２５のフレーム、がそれぞれ表示されている。ユーザがボタン１００５を指示すると、フレーム番号＝２０のフレーム、フレーム番号＝１７のフレームを一覧表示する一覧表示画面に切り替わる。

このような一覧表示画面において、印刷しようとするフレームの領域をユーザが自身の指などでもって指示すると、メインＣＰＵ１０３は、表示デバイス１１４の表示画面を図１０の下部に示す画面に切り替える。この画面では、指示したフレームがより拡大されて領域１００９内に表示される。

また、ユーザはボタン１００８を指示する毎に、現在領域１００９内に表示されているフレームよりも前／後のフレーム番号の印刷候補フレームを領域１００９内に表示させることもできる。

そしてユーザがボタン１００７を指示すると、メインＣＰＵ１０３は、現在領域１００９内に表示されているフレームを主記憶装置１１３から読み出し、読み出したフレーム（印刷対象フレーム）を印刷用画像処理部１０５に送出する。印刷用画像処理部１０５は、メインＣＰＵ１０３から送出された印刷対象フレームの印刷データを生成し、生成した印刷データを印刷処理部１１２に対して送出する。印刷処理部１１２は、この印刷データに基づいて紙などの記録媒体上に印刷対象フレームを印刷する。

なお、上記の管理テーブルは、ユーザの利便性のために印刷装置内に保持しておいても良いし、記録メディア１１０等の外部のメモリに書き込んでも良い。図１１は、デジタルカメラ等で一般的に使用されているＤＣＦ規格を拡張して管理テーブルを動画ストリームとは別ファイルで保存する場合のファイル構成例を示している。

図１１に示す如く、動画ストリームのファイルが含まれるディレクトリとは異なるPRINTディレクトリ下に管理テーブル（print_bookmarks.tab）を保存している。もちろん、ディレクトリ構造についてはこれに限るものではなく、例えば、管理テーブルと動画ストリームとを同じディレクトリに保存するようにしても良い。

一方、管理テーブルを動画ストリームのファイルのヘッダの一部に格納し、動画ストリームのファイル自体を更新することも可能である。例えば、動画ストリームのファイルがＨ．２６４で符号化されている場合は、SEI（補足の改善情報）のフィールドとして定義されているユーザデータとして管理テーブルを格納することが可能である。

このように生成した管理テーブルを印刷装置内部や記録メディア１１０に保持し続けることにより、動画ストリームを再度印刷する場合に印刷用しおり付加済みの動画ストリームを必要とせず、高速に印刷対象フレームを見つけることが可能になる。

［第２の実施形態］
第１の実施形態では、フレーム番号の変わりに、フレーム固有の情報を用いるようにしても良い。例えば、復号を開始するオフセットアドレス（動画ストリームのファイル先頭からのアドレス）やパケット識別情報を、フレーム番号の変わりに用いても良い。

本実施形態に係る管理テーブルの構成例を図１４に示す。図６の管理テーブルと異なる点は、フレーム番号の変わりに、デコードするアドレス＃１〜＃３が登録されている点にある。なお、N／Aは該当するデータが存在しないことを示す。

動画符号化においては、フレーム間相関を利用した圧縮が一般的に採用されているため、１枚の印刷用しおりが付加されたフレームをデコードして抽出するためには２枚以上のフレームのデコードが必要なケースがある。図１４でデコードを開始するオフセットアドレスが複数記述されているしおりは、対応するフレームがフレーム間符号化されており、複数フレームをデコードする必要があることを示している。一方、デコードするオフセットアドレスが１つのみであるしおりは、対応するフレームがフレーム内符号化で圧縮されており、１枚のみをデコードすれば必要なフレームを抽出できることを示している。

［第３の実施形態］
本実施形態では、印刷用しおりが付加されたフレームの変わりに、過去に印刷されたフレームを印刷候補フレームとする。本実施形態で使用するプリンタ用ＬＳＩは第１の実施形態と同様のものを用いる。本実施形態に係る、印刷対象のフレームを確定する為にメインＣＰＵ１０３が行う処理について、同処理のフローチャートを示す図１５を用いて説明する。なお、以下の説明では、第１の実施形態と異なる点について説明し、特に説明を省くところについては第１の実施形態と同様である。

本実施形態では、管理テーブルとして図１６に示す構成を有する管理テーブルを用いる。本実施形態で用いる管理テーブルを以下では、印刷履歴情報と呼称する場合がある。図１６に示す管理テーブルは、図６の管理テーブルと比べ、印刷用しおりＩＤの代わりに印刷履歴ＩＤを用いると共に、しおり付加日時の代わりに過去に印刷した枚数及び最後に印刷した日時を用いる点が異なる。

ステップＳ１５０１ではメインＣＰＵ１０３は、メインＣＰＵ１０３内の不図示のメモリ、プリンタ用ＬＳＩ１０１内の不図示のメモリ、印刷装置内の不図示のメモリ、等のメモリ内に、印刷履歴情報が格納されているか否かをチェックする。このチェックの結果、印刷履歴情報が格納されている場合は処理はステップＳ１５０３に進み、印刷履歴情報が格納されていない場合は処理はステップＳ１５０２に進む。

ステップＳ１５０２ではメインＣＰＵ１０３は、記録メディアインターフェース１０２に接続されている記録メディア１１０から、この記録メディア１１０に記録されている１以上の動画ストリームを、記録メディアインターフェース１０２を介して読み出す。そしてメインＣＰＵ１０３は、この読み出したそれぞれの動画ストリームを順次、動画復号化部１０６に供給する。そして動画復号化部１０６は、メインＣＰＵ１０３による制御に基づき、メインＣＰＵ１０３から供給されたそれぞれの動画ストリームの先頭フレームを復号する。そして動画復号化部１０６は、動画ストリーム毎に復号した先頭フレームを表示デバイスコントローラ１０７に供給する。表示デバイスコントローラ１０７は、表示デバイス１１４の表示画面において、それぞれの動画ストリームについて割り当てられた表示領域内に、該動画ストリームの先頭フレームを表示する。なお、復号して表示するフレームは先頭フレームに限るものではなく、ようはそれぞれの動画ストリームに係る情報が一覧表示できればよいので、何れのフレームを復号して表示しても良い。

ステップＳ１５０３ではメインＣＰＵ１０３は、この格納されていた印刷履歴情報を参照する。そしてステップＳ１５０４ではメインＣＰＵ１０３は、動画ストリーム毎に過去に印刷された印刷枚数をカウントし、印刷枚数がより多い動画ストリームにより高い優先度を設定する。図１６の場合、動画ストリームＡは１＋１＋３＝５枚、動画ストリームＢは６枚、動画ストリームＣは１＋１＋１＋１＝４枚、動画ストリームＤは１＋１０＋３＝１４枚、動画ストリームＥは１＋１＝２枚である。然るにこの場合、動画ストリームＤ、動画ストリームＢ、動画ストリームＡ、動画ストリームＣ、動画ストリームＥの順により高い優先度を設定する。

ステップＳ１５０５ではメインＣＰＵ１０３は、印刷履歴情報を参照し、未だ選択されていない動画ストリームのうち最も高い優先度が設定された動画ストリームについての印刷履歴が登録されているか否かをチェックする。このチェックの結果、登録されている場合は処理はステップＳ１５０６に進み、登録されていない場合は処理はステップＳ１５０２に進む。

ステップＳ１５０６ではメインＣＰＵ１０３は、未だ選択されていない動画ストリームのうち最も高い優先度が設定された動画ストリームを記録メディア１１０から上記のように取得し、取得した動画ストリームを動画復号化部１０６により復号する。そしてメインＣＰＵ１０３は、この復号により得られるそれぞれのフレームのうち、印刷履歴情報に登録されている「過去に印刷されているフレーム」を主記憶装置１１３に格納する。

例えばステップＳ１５０６で動画ストリームＡを復号した場合、メインＣＰＵ１０３は、印刷履歴情報から、フレーム番号３，９，１４のフレームが過去に印刷されていることが特定できる。然るにこの場合、メインＣＰＵ１０３は、動画ストリームＡを動画復号化部１０６に復号させると、この復号により得られるフレーム群のうち、フレーム番号３，９，１４のフレームを主記憶装置１１３に格納する。

ステップＳ１５０７ではメインＣＰＵ１０３は、ステップＳ１５０６で主記憶装置１１３に格納したそれぞれのフレームの表示順を決定する。例えば、印刷履歴情報を参照して、ステップＳ１５０６で主記憶装置１１３に格納したそれぞれのフレームの「印刷枚数」を特定し、特定した「印刷枚数」がより多いフレームにより先の表示順を決定する。例えば、ステップＳ１５０６で動画ストリームＤを復号した場合、図１６によれば、表示順を、フレーム番号７，１４，２の順とする。なお、表示順の決定方法はこれに限るものではなく、様々な方法を適用することができる。

ステップＳ１５０８ではメインＣＰＵ１０３は、上記のステップＳ７０５と同様の処理を行う。即ち、表示デバイス１１４の表示画面の、ステップＳ１５０６で復号した動画ストリームに対して割り当てられた表示領域内に、ステップＳ１５０７で表示順が決定したそれぞれのフレームを該表示順で切り替えて表示する。結果として、印刷される頻度が高いフレームが多数の中のどの動画ストリームに含まれるかユーザは短時間に判断することが可能になる。

ステップＳ１５０９ではメインＣＰＵ１０３は上記のステップＳ７０６と同様の処理を行う。即ち、ステップＳ１５０１〜ステップＳ１５０８の処理を、規定の回数分（例えば、ステップＳ１５０８で切り替えて表示する為の表示領域が設けられる最大個数分）行ったか否かを判断する。この判断の結果、行った場合は処理はステップＳ１５１０に進み、行っていない場合は処理はステップＳ１５０１に戻る。

ステップＳ１５１０ではメインＣＰＵ１０３はステップＳ７０７と同様、指示された動画ストリームについて、フレームの一覧表示画面を、表示デバイス１１４の表示画面に表示する。そして、印刷対象及び印刷指示が入力されると、メインＣＰＵ１０３は、印刷対象フレームを印刷用画像処理部１０５に送出し、印刷用画像処理部１０５は、印刷対象フレームの印刷データを生成し、生成した印刷データを印刷処理部１１２に対して送出する。印刷処理部１１２は、この印刷データに基づいて紙などの記録媒体上に印刷対象フレームを印刷する。

ステップＳ１５１１ではメインＣＰＵ１０３は、印刷がなされたフレームについて、印刷枚数や最終印刷日時の情報を更新する。もちろん、新たなフレームの印刷を行った場合は、このフレームに係る印刷内容を印刷履歴情報に登録しても良い。

このように、印刷履歴情報を利用して短時間で印刷頻度が高いフレームに到達できることは、イベント会場・パーティー会場でのプリントサービスにおいて有名人の写真等、特定の人気写真の印刷が頻繁にリクエストされる場合に特にユーザの利便性が高い。また、第１の実施形態と同様に、印刷履歴情報も外部ファイルやストリームの一部として印刷装置内部や記録メディア等に格納することが可能である。

［第４の実施形態］
本実施形態は、図１７に示す如く、デジタルカメラ１７０１とプリンタ１７０２とが映像ケーブル１７０３を介して接続されているシステムである。このシステムにおいてデジタルカメラ１７０１側で、第１の実施形態で説明した「フレームへの印刷用しおり付加」（図２）及び「印刷用しおりを用いた印刷対象フレーム指定」（図７）を行う。

デジタルカメラ１７０１は、図１７に示す如く裏面にタッチパネル式の表示画面やボタンアドの操作部を有している。デジタルカメラ１７０１等の撮像装置に搭載され、動画像（動画ストリーム）を取り扱うことが可能なデジタルカメラ用ＬＳＩ（デジタルカメラ用半導体集積回路）１８０１と、その周辺機器を図１８に示す。図１８に示した構成用件のうち、図１に示した構成用件と同様の動作を行う構成用件については同じ参照番号を付しており、その説明は省略する。

撮像センサ１８１２から出力された各フレームの映像信号は現像処理部１８０６にて現像処理が施され、現像処理が施された各フレームは動画符号化部１８０７により圧縮符号化がなされる。圧縮符号化がなされた各フレームは、記録メディアインターフェース１８０２を介して記録メディア１８１１に記録されたり、主記憶装置１８１３に格納される。その後、メインＣＰＵ１８０３は、第１の実施形態で説明したように、印刷用しおりの付加及び印刷対象フレームの選択及び抽出を行う。そしてメインＣＰＵ１８０３は、最終的に確定した印刷対象フレームを映像出力インターフェース１８０４を介してプリンタ１７０２に転送し、印刷させる。

また、本実施形態では、印刷用しおり付加のみをデジタルカメラ１７０１側で行い、印刷用しおりを用いた印刷対象フレームの選択印刷実行をプリンタ１７０２側で行わせるようにしても良い。

プリンタ１７０２側では、記録メディア１８１１からデジタルカメラ１７０１側で記録された管理テーブルを参照することで、直接印刷用しおりを用いた印刷対象フレーム指定を行うことが可能である。なお、フレーム印刷候補指定が可能な動画表示装置であれば、デジタルカメラ１７０１の代わり用いても良い。

なお、上記の実施形態は適宜組み合わせて用いることも可能であり、当業者であれば、その組み合わせ方法には様々な形態があることが理解できるであろう。もちろん、図１に示したような構成については一例であり、適宜変形しうるものであることも、当業者であれば理解できるであろう。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 表示画面を有する画像処理装置であって、
   それぞれの動画ストリームのうち指定された動画ストリームを指定動画ストリームとし、該指定動画ストリーム中の各フレームのうち指定されたフレームを指定フレームとした場合に、前記表示画面において前記指定動画ストリームに対して割り当てられた表示領域内に、前記指定動画ストリーム中のそれぞれの指定フレームを切り替えて表示する表示制御手段と、
   前記表示領域に対する指示を検知すると、前記表示画面における表示を、前記指定動画ストリーム中のそれぞれの指定フレームを一覧表示する一覧表示画面に切り替える手段と、
   前記一覧表示画面において指定された指定フレームを印刷対象として出力する手段と
   を備えることを特徴とする画像処理装置。
2. 前記表示制御手段は、それぞれの動画ストリームのうちユーザによって指定された動画ストリームを指定動画ストリームとし、該指定動画ストリーム中の各フレームのうちユーザによって指定されたフレームを指定フレームとした場合に、前記表示画面においてそれぞれの指定動画ストリームに対して割り当てられた表示領域内に、該指定動画ストリーム中のそれぞれの指定フレームを切り替えて表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、
   前記それぞれの指定動画ストリームについて、該指定動画ストリーム中の各フレームのうちユーザによって指定された指定フレームに固有の情報が登録された管理テーブルを取得し、
   該取得した管理テーブルを用いて、前記それぞれの指定動画ストリーム、該指定動画ストリーム中の各フレームのうちユーザによって指定された指定フレーム、を特定し、
   前記表示画面において前記それぞれの指定動画ストリームに対して割り当てられた表示領域内に、該指定動画ストリーム中のそれぞれの指定フレームを切り替えて表示する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、それぞれの動画ストリームのうち過去に印刷されたフレームを含む動画ストリームを指定動画ストリームとし、該指定動画ストリーム中の各フレームのうち過去に印刷されたフレームを指定フレームとした場合に、前記表示画面においてそれぞれの指定動画ストリームに対して割り当てられた表示領域内に、該指定動画ストリーム中のそれぞれの指定フレームを切り替えて表示することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記表示制御手段は、
   前記それぞれの指定動画ストリームについて、該指定動画ストリーム中の各フレームのうち過去に印刷されたフレームである指定フレームに固有の情報が登録された管理テーブルを取得し、
   該取得した管理テーブルを用いて、前記それぞれの指定動画ストリーム、該指定動画ストリーム中の各フレームのうち過去に印刷されたフレーム、を特定し、
   前記表示画面において前記それぞれの指定動画ストリームに対して割り当てられた表示領域内に、該指定動画ストリーム中のそれぞれの指定フレームを切り替えて表示する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 更に、
   前記管理テーブルを外部のメモリに出力する手段を備えることを特徴とする請求項３又は５に記載の画像処理装置。
7. 表示画面を有する画像処理装置が行う画像処理方法であって、
   前記画像処理装置の表示制御手段が、それぞれの動画ストリームのうち指定された動画ストリームを指定動画ストリームとし、該指定動画ストリーム中の各フレームのうち指定されたフレームを指定フレームとした場合に、前記表示画面において前記指定動画ストリームに対して割り当てられた表示領域内に、前記指定動画ストリーム中のそれぞれの指定フレームを切り替えて表示する表示制御工程と、
   前記画像処理装置の切り替え手段が、前記表示領域に対する指示を検知すると、前記表示画面における表示を、前記指定動画ストリーム中のそれぞれの指定フレームを一覧表示する一覧表示画面に切り替える工程と、
   前記画像処理装置の出力手段が、前記一覧表示画面において指定された指定フレームを印刷対象として出力する工程と
   を備えることを特徴とする画像処理方法。
8. コンピュータを請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images