JP2009005221A - 動画像処理装置及び画像形成装置並びに動画像処理プログラム - Google Patents

Abstract

【課題】動画像ファイルからユーザが所望するショットのフレーム画像を確実に出力する。
【解決手段】本発明の動画像処理装置２１は、動画像ファイルからカット点を検出するカット点検出手段２３と、カット点検出手段２３が検出したカット点において分割される各ショットのフレーム画像の中から該各ショットを代表する代表フレーム画像をそれぞれ選択する代表フレーム画像選択手段２４と、代表フレーム画像選択手段２４が選択した各ショットの代表フレーム画像を一覧表示させる代表フレーム画像一覧表示手段２５と、代表フレーム画像一覧表示手段２５が一覧表示させた各ショットの代表フレーム画像の中から選択された代表フレーム画像を含むショットを出力するショット出力手段３０と、を備えていることを特徴とする。
【選択図】図１

Description

本発明は、動画像ファイルの中からユーザが所望のショットのフレーム画像を出力するための動画像処理装置、及び該動画像処理装置を備えた画像形成装置、並びに動画像処理プログラムに関する。

従来、複写機やプリンター或いはファクシミリ等の機能を備えた複合機のような画像形成装置などに対して送信された動画像ファイルの中からユーザが所望するショットのフレーム画像を選択し、該フレーム画像を出力する技術が公知である。

この種の従来の技術としては、例えば、入力された動画信号を、画面に表示されるフレーム画像の単位で更新しながら保持することより、一連の動画の中から、ｎ個のフレーム画像だけ時間が離れた少なくとも２つのフレーム画像を保持するフレーム画像保持手段と、前記フレーム画像保持手段に保持されたフレーム画像を表示する表示手段と、前記表示手段に表示されたフレーム画像に対する操作者からの指示に従って、前記フレーム画像保持手段に保持されたフレーム画像の中から１つのフレーム画像を選択する選択手段と、前記選択されたフレーム画像を前記印刷装置に出力する出力手段とを備えた画像出力装置が提案されている（例えば、特許文献１参照）。
特開２００３−２６４６６０号公報

しかしながら、上記した従来の画像出力装置では、ｎ個のフレーム画像だけ時間が離れた少なくとも２つのフレーム画像を表示するように構成されているため、一定間隔でしかフレーム画像を出力することができなかった。そのため、動画像ファイルからユーザが所望するショットのフレーム画像を確実に選択して出力することができないといった問題があった。

本発明は上記した課題を解決すべくなされたものであり、動画像ファイルからユーザが所望するショットのフレーム画像を確実に出力することのできる動画像処理装置及び画像形成装置並びに動画像処理プログラムを提供することを目的とする。

上記した目的を達成するため、本発明に係る動画像処理装置は、動画像ファイルからカット点を検出するカット点検出手段と、該カット点検出手段が検出したカット点において分割される各ショットのフレーム画像の中から該各ショットを代表する代表フレーム画像をそれぞれ選択する代表フレーム画像選択手段と、該代表フレーム画像選択手段が選択した各ショットの代表フレーム画像を一覧表示させる代表フレーム画像一覧表示手段と、該代表フレーム画像一覧表示手段が一覧表示させた各ショットの代表フレーム画像の中から選択された代表フレーム画像を含むショットを出力するショット出力手段と、を備えていることを特徴とする。

また、前記代表フレーム画像選択手段は、前記各ショットの先頭フレーム画像を前記代表フレーム画像として選択してもよい。

さらに、前記代表フレーム画像一覧表示手段が一覧表示させた各ショットの代表フレーム画像の中から選択された代表フレーム画像を含むショットのフレーム画像をサムネイル表示させるショット表示手段を備え、前記ショット出力手段は、前記ショット表示手段がサムネイル表示させたフレーム画像の中から選択されたフレーム画像を出力してもよい。

また、本発明に係る画像形成装置は、上記した動画像処理装置を備えていることを特徴とする。

さらに、本発明に係る動画像処理プログラムは、動画像ファイルからカット点を検出するカット点検出ステップと、該検出したカット点において分割される各ショットのフレーム画像の中から該各ショットを代表する特定フレームをそれぞれ選択する代表フレーム選択ステップと、該選択した各ショットの代表フレームを一覧表示させる代表フレーム一覧表示ステップと、該一覧表示した各ショットの代表フレームの中から選択された代表フレームを含むショットを出力するショット出力ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、動画像ファイルからユーザが所望するショットのフレーム画像を確実に出力することができる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。なお、以下の説明では、本発明を複合機に適用した場合について例示して説明する。

図１は、本発明の実施の形態に係る動画像処理装置のシステム構成を示すブロック図である。図１に示すように、本発明の実施の形態における画像形成装置としての複合機１０は、ネットワーク回線１１を介して、複数のホスト端末としてのパーソナルコンピュータ１２並びにサーバー１３に接続されている。

なお、パーソナルコンピュータ１２は、デスクトップ型やノートブック型など、特に限定されるものではなく、ホスト端末として、少なくとも表示手段としてのモニタ１４と、操作手段としてのマウス（タッチパッド等を含む）１５やキーボード１６等を備えていればよい。また、サーバー１３は、複合機１０に対するプリントサーバーやネットワーク回線１１の全般に対するネットワークサーバー（インターネットサーバー等を含む）として兼用していてもよい。

複合機１０は、ネットワーク回線１１を通じてパーソナルコンピュータ１２等との間で動画像ファイル等の送受を行うためのインターフェース１７と、原稿載置ガラスや自動原稿送り装置（いずれも図示せず）にセットされた原稿（図示せず)の画像データを読み取るための読取部１８と、動画像ファイルや画像データ等を記憶する記憶部１９と、テンキー等のボタンスイッチやタッチパネル方式の液晶表示パネル（いずれも図示せず）等から成る操作部２０と、インターフェース１７を介して受信した動画像ファイルや読取部１８で読み取った画像データ等に基づいて画像の出力処理を実行する動画像処理装置２１と、動画像処理装置２１等を制御するＣＰＵ２２とを備えて構成されている。

この動画像処理装置２１は、動画像ファイルからカット点を検出するカット点検出部２３と、該カット点検出部２３が検出したカット点において分割される各ショットのフレーム画像の中から該各ショットを代表する特定フレーム画像をそれぞれ選択する代表フレーム画像選択部２４と、該代表フレーム画像選択部２４が選択した各ショットの代表フレーム画像を一覧表示させる代表フレーム画像一覧表示部２５と、該代表フレーム画像一覧表示部２５が一覧表示させた各ショットの代表フレーム画像の中から選択された該代表フレーム画像を含むショットから一定間隔で又は任意にフレーム画像を選択するフレーム画像選択部２６と、該フレーム画像選択部２６が選択した各フレーム画像について非類似度（又は類似度）を取得する非類似度取得部２７と、該非類似度取得部２７が取得した各フレーム画像の非類似度の値に比例して前記各フレーム画像間におけるフレーム画像抽出枚数を決定するフレーム画像抽出枚数決定部２８と、該フレーム画像抽出枚数決定部２８が決定した抽出枚数のフレーム画像をサムネイル表示するショット表示部２９と、該ショット表示部２９がサムネイル表示したフレーム画像の中から選択されたフレーム画像を出力するショット出力部３０とを備えて構成されている。

次に、図面を参照しつつ、本発明の実施の形態に係る動画像処理装置の全体的な処理手順について説明する。ここで、図２及び図３はいずれも本発明の実施の形態に係る動画像処理装置の全体的な処理手順を示すフロー図である。

先ず、ネットワーク回線１１を介して、パーソナルコンピュータ１２から動画像ファイルが複合機１０に送信されると、図２のステップＳ１００に示すように、複合機１０において、カット点検出部２３が前記動画像ファイルからカット点Ａ１，Ｂ１，Ｃ１（黒色で図示）を検出する。

なお、この時のカット点Ａ１，Ｂ１，Ｃ１の検出は、動画像ファイルの時系列のフレーム画像をサンプリングし、各画像単位でエッジ強度係数を算出し、その時間的な変化特性を利用して動画像変化点を検出することにより行う等、従来の公知技術を利用することにより行うことができる。

次のステップＳ２００では、このようにカット点検出部２３が検出したカット点Ａ１，Ｂ１，Ｃ１において分割される各ショットＡ，Ｂ，Ｃのフレーム画像の中から該各ショットＡ，Ｂ，Ｃの先頭フレーム画像Ａ１，Ｂ１，Ｃ１を代表フレーム画像として代表フレーム画像選択部２４がそれぞれ選択する。そして、ステップＳ３００に示すように、代表フレーム画像一覧表示部２５は、この代表フレーム画像選択部２４が選択した各ショットＡ，Ｂ，Ｃの代表フレーム画像Ａ１，Ｂ１，Ｃ１を、ネットワーク回線１１を介してパーソナルコンピュータ１２に送信し、そのモニタ１４に一覧表示させる。

なお、この場合、代表フレーム画像選択部２４は、上記した先頭フレーム画像を代表フレーム画像として選択する代わりに、従来の公知技術を利用して、各ショットＡ，Ｂ，Ｃの隣接するフレーム画像のすべての対のうち、互いに最も異なる特徴を有する対のフレーム画像を探し出し、そのいずれか一方のフレーム画像を代表フレーム画像として選択するようにしてもよい。

続いて、このようにモニタ１４に一覧表示された代表フレーム画像Ａ１，Ｂ１，Ｃ１の中からユーザが特定のフレーム画像（例えば、Ａ１）を選択すると、ステップＳ４００において、フレーム画像選択部２６は、その選択された特定のフレーム画像Ａ１を含むショットＡから一定間隔でフレーム画像Ａ１〜Ａｎを選択する。なお、この場合、フレーム画像選択部２６は、ショットＡから一定間隔でフレーム画像Ａ１〜Ａｎを選択する代わりに、ショットＡから任意にフレーム画像Ａ１〜Ａｎを選択してもよい。

次いで、図３のステップＳ５００に示すように、動画像処理装置２１は、前記選択したフレーム画像Ａｎの変化量に応じてフレーム画像の抽出間隔（抽出頻度）を変更しながら、所定のフレーム画像Ａ２，Ａ３，・・・Ａｍを抽出する。なお、このフレーム画像の抽出動作の詳細については、後述する。

そして、ショット表示部２９は、ステップＳ６００において、このように抽出されたフレーム画像Ａ２，Ａ３，・・・Ａｍを、ネットワーク回線１１を介してパーソナルコンピュータ１２に送信し、そのモニタ１４にサムネイル表示させる。

その後、パーソナルコンピュータ１２側からユーザが所望するフレーム画像を選択すると（ステップＳ６００参照）、その選択指令がネットワーク回線１１を介して複合機１０に送信され、ステップＳ７００に示すように、複合機１０において、ショット出力部３０が前記選択されたフレーム画像を印刷する。

なお、この場合、ショット出力部３０は、前記ステップＳ６００においてユーザが選択したフレーム画像のみを印刷するようになっているため、ユーザはフレーム画像の抽出頻度を最終段階で変更することができ、動画像ファイルからユーザが所望するショットのフレーム画像を確実に出力することができる。

なお、上記した処理手順は、単なる一例に過ぎず、例えば、前記ステップＳ１００で検出したカット点Ａ１，Ｂ１，Ｃ１において各ショットＡ，Ｂ，Ｃに分割し、該分割した各ショットＡ，Ｂ，Ｃについて一定間隔で又は任意にそれぞれフレーム画像を抽出した後、前記ステップＳ２００のように、各ショットＡ，Ｂ，Ｃのフレーム画像の中から代表フレーム画像を選択する等、各種変更が可能である。

次に、図面を参照しつつ、本発明の実施の形態に係る動画像処理装置においてフレーム画像の抽出する時の処理手順について説明する。ここで、図４は本発明の実施の形態に係る動画像処理装置においてフレーム画像を抽出する時の処理手順を示すフロー図である。

例えば、上記した図２のステップＳ４００に示すように、ユーザが選択した特定のフレーム画像Ａ１を含むショットＡから一定間隔で又は任意にフレーム画像選択部２６がフレーム画像Ａ１〜Ａｎを選択すると（図２及び図４のステップＳ４００）、非類似度取得部２７は、選択された各フレーム画像Ａ１〜Ａｎについて非類似度を取得する（ステップＳ４１０）。図４の例では、非類似度が、Ａ１からＡｎに向かって、３０，６０，１００と次第に大きくなっている。

なお、この時の非類似度の取得は、従来の公知技術を利用して、隣接する２つのフレーム画像の画素を比較し、その濃度相違量に基づき解析することにより行うことができる。

次のステップＳ４２０では、非類似度取得部２７が取得した各フレーム画像Ａ１〜Ａｎの非類似度の値に比例して（図中の折れ線グラフＬ参照）各フレーム画像間（Ａ１とＡ２、Ａ２とＡ３、・・・、Ａｎ−１とＡｎ）におけるフレーム画像抽出枚数をフレーム画像抽出枚数決定部２８が決定する。

以降、抽出枚数決定部２８が決定した抽出枚数のフレーム画像をショット表示部２９がパーソナルコンピュータ１２のモニタ１４に表示し、ユーザの選択に従って、ショット出力部３０が所定のフレーム画像を出力する。

このように非類似度の値に比例してフレーム画像抽出枚数を決定することにより、動きの多いシーンでは高頻度でフレーム画像を抽出し、動きの少ないシーンでは低頻度でフレーム画像を抽出するようになるため、フレーム画像の抽出を効率よく行うことができると共に動画像ファイルの内容を把握し易くなる。

なお、上記した実施の形態では、非類似度取得部２７が取得した各フレーム画像の非類似度の値に比例して各フレーム画像間におけるフレーム画像抽出枚数をフレーム画像抽出枚数決定部２８が決定しているが、各フレーム画像について類似度を取得する類似度取得部を設け、この類似度取得部が取得した各フレーム画像の類似度の値に反比例して各フレーム画像間におけるフレーム画像抽出枚数をフレーム画像抽出枚数決定部２８が決定するようにすることも可能である。

また、フレーム画像抽出枚数決定部２８がフレーム画像抽出枚数を決定する際に、隣接するフレーム画像（Ａ１とＡ２，Ａ２とＡ３、・・・、Ａｎ−１とＡｎ）の非類似度を加算し、該加算値に基づき、フレーム画像抽出枚数を決定するようにしてもよい。

さらに、上記した動画像処理装置２１の制御は、ソフトウェア上で行うこともでき、これにより、既存のハードウェアに本発明を適用することも可能となる。

さらにまた、上記した実施の形態では、本発明を複合機１０に適用した場合について説明したが、これは単なる例示に過ぎず、本発明は、例えば、複写専用機のような他の画像形成装置は勿論のこと、モニタに表示されている動画像を出力する機能を備えた動画像処理装置全般に適用可能である。

本発明の実施の形態に係る動画像処理装置のシステム構成を示すブロック図である。 本発明の実施の形態に係る動画像処理装置の全体的な処理手順を示すフロー図である。 本発明の実施の形態に係る動画像処理装置の全体的な処理手順を示すフロー図である。 本発明の実施の形態に係る動画像処理装置においてフレーム画像を抽出する時の処理手順を示すフロー図である。

符号の説明

１０ 複合機（画像形成装置）
２１ 動画像処理装置
２３ カット点検出部
２４ 代表フレーム画像選択部
２５ 代表フレーム画像一覧表示部
２６ フレーム画像選択部
２７ 非類似度取得部
２８ フレーム画像抽出枚数決定部
２９ ショット表示部
３０ ショット出力部

Claims (5)

1. 動画像ファイルからカット点を検出するカット点検出手段と、
   該カット点検出手段が検出したカット点において分割される各ショットのフレーム画像の中から該各ショットを代表する代表フレーム画像をそれぞれ選択する代表フレーム画像選択手段と、
   該代表フレーム画像選択手段が選択した各ショットの代表フレーム画像を一覧表示させる代表フレーム画像一覧表示手段と、
   該代表フレーム画像一覧表示手段が一覧表示させた各ショットの代表フレーム画像の中から選択された代表フレーム画像を含むショットを出力するショット出力手段と、
   を備えていることを特徴とする動画像処理装置。
2. 前記代表フレーム画像選択手段は、前記各ショットの先頭フレーム画像を前記代表フレーム画像として選択する請求項１に記載の動画像処理装置。
3. 前記代表フレーム画像一覧表示手段が一覧表示させた各ショットの代表フレーム画像の中から選択された代表フレーム画像を含むショットのフレーム画像をサムネイル表示させるショット表示手段を備え、
   前記ショット出力手段は、前記ショット表示手段がサムネイル表示させたフレーム画像の中から選択されたフレーム画像を出力する請求項１又は２に記載の動画像処理装置。
4. 前記請求項１〜３のいずれか１の請求項に記載の動画像処理装置を備えていることを特徴とする画像形成装置。
5. 動画像ファイルからカット点を検出するカット点検出ステップと、
   該検出したカット点において分割される各ショットのフレーム画像の中から該各ショットを代表する特定フレームをそれぞれ選択する代表フレーム選択ステップと、
   該選択した各ショットの代表フレームを一覧表示させる代表フレーム一覧表示ステップと、
   該一覧表示した各ショットの代表フレームの中から選択された代表フレームを含むショットを出力するショット出力ステップと、
   をコンピュータに実行させるための動画像処理プログラム。

Images