JP2004343159A

JP2004343159A - 画像処理装置

Info

Publication number: JP2004343159A
Application number: JP2003133746A
Authority: JP
Inventors: Makoto Kaneda; 真金田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-05-12
Filing date: 2003-05-12
Publication date: 2004-12-02

Abstract

【課題】簡単な構成により、動画ファイルの内容を容易に確認することができるようにした画像処理装置を提供する。
【解決手段】記録媒体から動画ファイルを読み込むファイル読込部１１と、ファイル読込部で読み込まれた動画ファイルの各フレームを順次に取り出して、動画ファイルの内容を代表する代表フレーム、即ち各シーンの中間フレームまたは所定間隔のフレームを代表フレームとして選択するフレーム選択部１２と、フレーム選択部により選択された各フレームの縮小画像を生成して、該縮小画像を一覧表示する一覧画像データを生成する一覧画像生成部１３と、を含むように、画像処理装置１０を構成する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画ファイルの内容を確認するために、動画ファイルの内容を代表する複数のフレームを取り出して、これらのフレームの縮小画像を生成するための技術に関するものである。
【０００２】
【従来の技術】
近年、デジタルスチールカメラの普及に伴って、デジタルスチールカメラで撮像した静止画の画像データを、パーソナルコンピュータ等を使用することなく、直接印刷することができるプリンタが市販されるようになってきている。
このようなプリンタにおいては、デジタルスチールカメラをプリンタに対して直接ケーブルにより接続したり、あるいはデジタルスチールカメラの記憶媒体であるメモリカード等を、プリンタに設けられたスロットに装着することにより、デジタルスチールカメラで撮像した静止画の画像データをプリンタ側で読み込むようになっている。
【０００３】
ところで、デジタルスチールカメラの中には、その機能として動画を撮像することができるものがある。このような動画は、多数の連続したフレーム（静止画）から構成されている。
従って、上述したプリンタにおいて、これらの動画の中から所望のフレームを静止画像として印刷する場合には、まず各動画ファイルの内容を確認する必要がある。
しかしながら、動画は、多数のフレームから構成されていることから、すべてのフレームを縮小印刷するとしても、印刷量が膨大となってしまう。
【０００４】
このため、特許文献１においては、デジタルスチールカメラの記憶部やメモリカード等の記憶媒体に格納されている複数の動画ファイルの中から、一つの動画ファイルを選択する場合には、各動画ファイルの最初の一つのフレームのみを縮小画像として、当該動画ファイルのファイル名，撮影日時，ファイルサイズ等の情報を付加して、一覧表示ファイルを作成して、この一覧表示ファイルを印刷出力するようにしている。
これにより、ユーザは、印刷出力された一覧表示ファイルを見ながら、各動画ファイルの縮小画像を参照して、所望の動画ファイルを選択するようになっている。
【０００５】
【特許文献１】
特開平１０−１０８１２２号公報
【０００６】
しかしながら、特許文献１においては、各動画ファイルの内容を参照するために、その最初の一つのフレームのみを縮小画像（所謂サムネイル）として表示していることから、同じような内容の動画ファイルが複数存在する場合には、最初の一つのフレームのみでは、個々の動画ファイルの内容を確認することは困難である。
これに対して、プリンタ側にて、個々の動画ファイルの一部でも表示パネルの表示部等を利用して再生することができれば、各動画ファイルの内容を容易に且つ正確に確認することが可能であるが、プリンタに静止画を表示するためのプレビュー用ディスプレイが備えられていたとしても、プリンタのＣＰＵ能力では、動画ファイルを動画として再生することは実質的に不可能である。
【０００７】
そこで、本発明の課題は、簡単な構成により、動画ファイルの内容を容易に確認することができるようにした、画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明では、動画ファイルを構成する複数のフレームから、動画ファイルの内容を代表するようなフレームを選択して、これらのフレームの縮小画像を抽出し、これら一覧表示データを生成するようにした。
【０００９】
即ち、本発明の画像処理装置では、記録媒体から動画ファイルを読み込むファイル読込部と、ファイル読込部で読み込まれた動画ファイルの各フレームを順次に取り出して、動画ファイルの内容を代表する代表フレームを選択するフレーム選択部と、フレーム選択部により選択された各フレームの縮小画像を生成して、該縮小画像を一覧表示する一覧画像データを生成する一覧画像生成部と、を含んでいることを特徴とする。
【００１０】
この構成によれば、ファイル読込部により読み込んだ各動画ファイルから、フレーム選択部により各フレームを順次に取り出して、動画ファイルの内容を代表する代表フレームを選択して、一覧画像生成部によりこれらの代表フレームの縮小画像を並べて一覧表示する一覧画像データを生成するので、ユーザは、この一覧画像データを印刷出力することによって、動画ファイルの代表フレームの縮小画像を一覧して確認することができるので、当該動画ファイルの内容を容易に且つ正確に確認することができる。
【００１１】
また、本発明の画像処理装置では、上記フレーム選択部が、取り出した二つの連続するフレームを比較して、これらの相関性が低い場合には、シーンの切替えと判断することにより、各シーンの中間フレームを代表フレームとして選択することを特徴とする。
【００１２】
この構成によれば、フレーム選択部によって、動画ファイルを構成する複数のシーン毎に、その中間フレームが代表フレームとして選択され、縮小画像が一覧表示されるので、当該動画ファイルの各シーンを、その中間フレームにより確認することができる。従って、ユーザは、一覧画像データを印刷出力することによって、動画ファイルの各シーンの中間フレームの縮小画像を一覧して確認し、当該動画ファイルの内容を容易に且つ正確に確認することができる。
【００１３】
また、本発明の画像処理装置では、上記フレーム選択部が、シーンの切替えと判断したときの二つのフレームのうち、前のフレームを当該シーンの最後のフレームとし、後のフレームを次のシーンの最初のフレームとしてマークしておき、当該シーンの最初のフレーム及び最後のフレームの中間フレームを代表フレームとして選択することを特徴とする。
【００１４】
この構成によれば、フレーム選択部が、各シーンの最初のフレーム及び最後のフレームを、例えばフレーム番号等によりマークしておくことにより、その中間のフレーム番号のフレームを中間フレームとして容易に選択することができる。
【００１５】
また、本発明の画像処理装置では、上記フレーム選択部が、シーンの切替えを予めカウントすることにより代表フレーム数を求め、該代表フレーム数が所定数以下の時は、所定間隔でフレームを選択することを特徴とする。
【００１６】
この構成によれば、フレーム選択部により求められた代表フレーム数が所定数以下の時には、例えば、各シーンの中間フレームの総数も比較的少なくなってしまうことから、各シーンについて、それぞれ所定間隔でフレームを選択することにより、選択された代表フレームの数をある程度確保することができる。これにより、ユーザは、例えばデジタルスチールカメラにより撮像された動画ファイルのようなシーンの少ない動画ファイルであっても、一覧画像データを印刷出力することによって、ある程度の数の代表フレームの縮小画像を一覧して確認し、当該動画ファイルの内容を確認することができる。
【００１７】
また、本発明の画像処理装置では、上記フレーム選択部が、個々のシーンについて、所定時間毎にフレームを選択することを特徴とする。
更に、本発明の画像処理装置では、上記フレーム選択部が、個々のシーンについて、所定枚数毎にフレームを選択することを特徴とする。
【００１８】
この構成によれば、フレーム選択部により判断されたシーンの数が比較的少ないとき、各シーンについて、それぞれ所定時間毎または所定枚数毎にフレームを選択することにより、選択された代表フレームの数をある程度確保することができる。
【００１９】
このようにして、本発明による画像処理装置によれば、動画ファイルの内容を確認する場合に、例えばＣＰＵ能力の低いプリンタ等においても、動画ファイルからシーン毎の中間フレームや所定時間または所定枚数毎のフレームを代表フレームとして選択して、各代表フレームの縮小画像を一覧表示する一覧画像データを生成することにより、この一覧画像データを例えば印刷出力することにより、当該動画ファイルの内容を容易に且つ正確に確認することができる。
【００２０】
【発明の実施の形態】
図面を参照して、本発明の実施の形態に係る画像処理装置について説明する。尚、以下に述べる実施形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００２１】
図１は、本発明を適用した画像処理装置の一実施形態の構成を示している。
図１において、画像処理装置１０は、ファイル読込部１１と、フレーム選択部１２と、一覧画像生成部１３と、から構成されている。
【００２２】
上記ファイル読込部１１は、記憶媒体１４に格納されている動画ファイルを読み込むようになっている。
ここで、記憶媒体１４は、デジタルスチールカメラ等で使用されるメモリカード等の記憶媒体であって、デジタルスチールカメラ等自体が画像処理装置１０に直接にケーブルを介して接続される場合も含むものとする。
【００２３】
上記フレーム選択部１２は、ファイル読込部１１により読み込まれた動画ファイルから、動画ファイルを構成する複数のフレームについて、各フレームを最初から順次に取り出して、一つ前に取り出したフレームと比較して、その相関性に基づいて、シーン切替えを判断する。
ここで、上記フレーム選択部１２は、シーン切替えと判断したとき、一つ前に取り出したフレームを当該シーンの最後のフレームとして、また当該フレームを次のシーンの最初のフレームとしてマークする。
【００２４】
さらに、上記フレーム選択部１２は、各シーンの最初のフレーム及び最後のフレームから、当該シーンの中間フレームを代表フレームとして選択する。
そして、上記フレーム選択部１２は、選択した中間フレームが少数、例えば１乃至２程度の場合には、動画ファイルの各シーン毎に、最初のフレームから所定間隔、即ち所定時間毎または所定枚数毎にフレームを代表フレームとして選択する。
ここで、上記フレーム選択部１２は、ファイル読込部１１により読み込まれた動画ファイルについて、動画ファイルを構成する複数のフレームについて、通し番号を付与することにより、各シーンの最初のフレーム及び最後のフレームや中間フレーム、そして所定間隔毎のフレームを、フレーム番号によりマークすることにより、各フレームを容易に管理し、選択することができる。
【００２５】
上記一覧画像生成部１３は、上記フレーム選択部１２で代表フレームとして選択された中間フレームまたは所定間隔毎のフレームについて、そのフレーム番号に基づいて動画ファイルから取り出して、それぞれ縮小画像を生成し、すべての縮小画像を一覧表示する一覧画像データを生成する。
その際、一覧画像生成部１３は、一覧画像データ内に、ファイル名，撮影日時，ファイルサイズ等の情報を付加してもよい。
【００２６】
本発明実施形態による画像処理装置１０は、以上のように構成されており、以下のように動作する。
即ち、ファイル読込部１１は、記憶媒体１４から動画ファイルを読み込む。
そして、フレーム選択部１２は、ファイル読込部１１により読み込んだ動画ファイルから、各フレームを順次に取り出して、当該動画ファイルの内容を代表する代表フレーム、即ち図３に示すように各シーンの中間フレームを、または図４に示すように所定間隔のフレームを代表フレームとして選択し、選択したフレームの画像を動画ファイルから取り出して、一覧画像生成部１３に対して出力する。
【００２７】
これにより、一覧画像生成部１３は、フレーム選択部１２により選択された代表フレームの画像から、これらの代表フレームの縮小画像を生成し、さらに図５に示すように、これらの縮小画像を並べて一覧表示する一覧画像データを生成する。
従って、ユーザは、この一覧画像データを例えばプリンタ等により印刷出力することによって、当該動画ファイルの代表フレームの縮小画像を一覧して確認して、当該動画ファイルの内容を容易に且つ正確に確認することができる。
【００２８】
次に、フレーム選択部１２における代表フレームの選択作業について、図２のフローチャートを参照して説明する。
図２において、ステップＳＴ１にて、フレーム選択部１２は、まずステータスＳ＝０とする。
ここで、ステータスＳは、シーンが始まっていない状態を０，シーンが始まっている状態を１とする。
【００２９】
続いて、フレーム選択部１２は、ステップＳＴ２にて、動画ファイルから一つのフレームを取り出して、ステップＳＴ３にて、取り出した当該フレームが最後のフレームか否かを判断する。
そして、最後のフレームでない場合には、フレーム選択部１２は、ステップＳＴ４にて、当該フレームのデコードを行ない、続いてステップＳＴ５にて、当該フレームの画面が全面均一か否かを判断する。
ここで、全面均一の場合には、フレーム選択部１２は、ステップＳＴ６にて、Ｓ＝０か否かを判断して、Ｓ＝０の場合にはステップＳＴ２に戻る。またＳ＝１の場合には、フレーム選択部１２は、ステップＳＴ７にて、Ｓ＝０とし、続いてステップＳＴ８にて、一つ前のフレームを前のシーンの最後のフレームとして、そのフレーム番号をマークし、ステップＳＴ２に戻る。
【００３０】
また、上記ステップＳＴ５にて、全面均一でない場合には、フレーム選択部１２は、ステップＳＴ９にて、Ｓ＝０か否かを判断し、Ｓ＝０の場合には、ステップＳＴ１０にて、Ｓ＝１として、続いてステップＳＴ１１にて、当該フレームをシーンの最初のフレームとして、そのフレーム番号をマークし、ステップＳＴ２に戻る。
【００３１】
ここで、上記ステップＳＴ９にて、Ｓ＝１である場合には、フレーム選択部１２は、ステップＳＴ１２にて、当該フレームを一つ前のフレームと比較して、その相関性をチェックする。
そして、フレーム選択部１２は、ステップＳＴ１３にて、相関性の差が閾値未満の場合には、ステップＳＴ２に戻る。また、相関性の差が閾値以上の場合には、フレーム選択部１２は、シーンの切替えと判断して、ステップＳＴ１４にて、一つ前のフレームを前のシーンの最後のフレームとして、そのフレーム番号をマークし、続いてステップＳＴ１５にて、当該フレームを次のシーンの最初のフレームとして、そのフレーム番号をマークして、ステップＳＴ２に戻る。
このようにして、フレーム選択部１２は、動画ファイルの各フレームをチェックして、シーンの切替えを判定し、前のシーンについて、シーン番号ｉを付与する。
【００３２】
ここで、上記ステップＳＴ３にて、当該フレームが最後のフレームである場合には、フレーム選択部１２は、ステップＳＴ１６にて、Ｓ＝１か否かを判断し、Ｓ＝１の場合には、ステップＳＴ１６にて、当該最後のフレームをシーンの最後のフレームとして、そのフレーム番号をマークする。
続いて、またはステップＳＴ１６にてＳ＝０の場合、フレーム選択部１２は、ステップＳＴ１８にて、検出したシーン数が例えば１または２の少数であるか否かを判断し、シーン数が少数の場合には、ステップＳＴ１９にて、当該動画ファイルがシーン数の少ない動画ファイル、例えばユーザがデジタルスチールカメラにより撮像した動画ファイルであるとして、ステップＳＴ２０にて、図４に示すように、所定間隔、例えば１秒等の所定時間毎、または所定枚数毎に、フレームを代表フレームとして選択して、代表フレームの画像を動画ファイルから取り出して、一覧画像生成部１３に出力して、処理を終了する。
【００３３】
これに対して、上記ステップＳＴ１８にて、シーン数が少数でない場合には、フレーム選択部１２は、ステップＳＴ２１にて、当該動画ファイルが編集済み等の動画ファイルであるとして、ステップＳＴ２２にて、シーン番号ｉ＝１とする。
【００３４】
そして、フレーム選択部１２は、ステップＳＴ２３にて、ｉ≦全シーン数を判断して、ｉ≦全シーン数である場合には、ステップＳＴ２４にて、当該シーンｉにおけるフレーム数を、既にマークしてある最初のフレーム及び最後のフレームのフレーム番号からチェックし、ステップＳＴ２５にて、中間フレームのフレーム番号を算出して、図３に示すように、動画ファイルから中間フレームの画像を取り出す。
次に、フレーム選択部１２は、ステップＳＴ２６にて、ｉ＝ｉ＋１として、ステップＳＴ２３に戻る。
【００３５】
上記ステップＳＴ２３にて、ｉ≦全シーン数でなくなったとき、フレーム選択部１２は、ステップＳＴ２７にて、選択して取り出した中間フレームの画像を、一覧画像生成部１３に出力して、処理を終了する。
【００３６】
上述した実施形態においては、一覧画像生成部１３は、一覧画像データを生成して単に出力するようになっているが、出力された一覧画像データは、例えば記憶手段に格納されたり、印刷装置により印刷出力されたり、あるいはネットワークを介して適宜の箇所に送信されるようにしてもよい。
また、上述した実施形態においては、画像処理装置１０は、単体で構成されているが、例えばデジタルスチールカメラや記憶媒体に格納されている画像ファイルを直接に印刷可能なプリンタに組み込まれていてもよい。
【００３７】
以上述べたように、本発明によれば、ファイル読込部により読み込んだ各動画ファイルから、フレーム選択部により各フレームを順次に取り出して、動画ファイルの内容を代表する代表フレーム、例えば各シーンの中間フレームまたは所定間隔のフレームを代表フレームとして選択して、一覧画像生成部によりこれらの代表フレームの縮小画像を並べて一覧表示する一覧画像データを生成するので、ユーザは、この一覧画像データを印刷出力することによって、動画ファイルの代表フレームの縮小画像を一覧して確認することができるので、当該動画ファイルの内容を容易に且つ正確に確認することができる。
【００３８】
このようにして、本発明による画像処理装置によれば、簡単な構成により、動画ファイルの内容を容易に確認することができるようにした、極めて優れた画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による画像処理装置の一実施形態の構成を示すブロック図である。
【図２】図１の画像処理装置における一覧画像データの生成を示すフローチャートである。
【図３】図１の画像処理装置における複数のシーンから成る動画ファイルの代表フレーム選択を示す説明図である。
【図４】図１の画像処理装置における一つのシーンから成る動画ファイルの代表フレーム選択を示す説明図である。
【図５】図１の画像処理装置における一覧画像データの画面構成を示す概略図である。
【符号の説明】
１０画像処理装置、１１ファイル読込部、
１２フレーム選択部、１３一覧画像生成部

Claims

記録媒体から動画ファイルを読み込むファイル読込部と、
ファイル読込部で読み込まれた動画ファイルの各フレームを順次に取り出して、動画ファイルの内容を代表する代表フレームを選択するフレーム選択部と、
フレーム選択部により選択された各フレームの縮小画像を生成して、該縮小画像を一覧表示する一覧画像データを生成する一覧画像生成部と、
を含んでいることを特徴とする、画像処理装置。
上記フレーム選択部が、取り出した二つの連続するフレームを比較して、これらの相関性が低い場合には、シーンの切替えと判断することにより、各シーンの中間フレームを代表フレームとして選択することを特徴とする、請求項１に記載の画像処理装置。
上記フレーム選択部が、シーンの切替えと判断したときの二つのフレームのうち、前のフレームを当該シーンの最後のフレームとし、後のフレームを次のシーンの最初のフレームとしてマークしておき、当該シーンの最初のフレーム及び最後のフレームの中間フレームを代表フレームとして選択することを特徴とする、請求項２に記載の画像処理装置。
上記フレーム選択部が、シーンの切替えを予めカウントすることにより代表フレーム数を求め、該代表フレーム数が所定数以下の時は、所定間隔でフレームを選択することを特徴とする、請求項１に記載の画像処理装置。
上記フレーム選択部が、個々のシーンについて、所定時間毎にフレームを選択することを特徴とする、請求項４に記載の画像処理装置。
上記フレーム選択部が、個々のシーンについて、所定枚数毎にフレームを選択することを特徴とする、請求項４に記載の画像処理装置。