JP2004166131A

JP2004166131A - Image processor, thumbnail moving image creation method and thumbnail moving image creation program

Info

Publication number: JP2004166131A
Application number: JP2002332157A
Authority: JP
Inventors: Masahiro Tsunoda; 昌大角田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2002-11-15
Filing date: 2002-11-15
Publication date: 2004-06-10
Anticipated expiration: 2022-11-15
Also published as: JP4189575B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor having dynamic factors and for creating an optimum thumbnail corresponding to changes of scenes. <P>SOLUTION: Moving image data photographed by an imaging device 17 is stored in a moving image data storage area 14b of a storage device 14. A CPU 11 detects a scene commutation point where the scenes are largely changed from the moving image data, and partially segments the moving image data on the basis of the scene commutation point. Then, the segmented partial moving image is associated with the moving image data as a thumbnail moving image and stored in a thumbnail storage area 14c. The thumbnail moving image corresponds to the changes of scenes and has the dynamic factors different from a still image. Thus, what scene is photographed is immediately determined. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば動画撮影可能なデジタルカメラやムービーカメラの他、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）などの種々の画像処理装置に係り、特に動画像によるサムネイルの作成機能を備えた画像処理装置と、同装置に用いられるサムネイル動画作成方法及びサムネイル動画作成プログラムに関する。
【０００２】
【従来の技術】
従来、動画撮影可能なデジタルカメラなど、動画像を扱う画像処理装置では、動画データの中の１コマを用いてサムネイル画像を作成するものが知られている（例えば特許文献１、２参照）。サムネイル画像とは、頭出しや画像内容を把握する場合のインデックスとして用いられる画像のことであり、インデックス画像あるいはプレビュー画像などとも呼ばれる。
【０００３】
通常、この種の画像処理装置では、各画像が時系列に連続してなる動画データの中から先頭に位置する画像（静止画）を自動的に選んでサムネイル画像としている。しかし、先頭位置にある画像が必ずしもサムネイル画像として最適な画像とは限らない。そこで、特許文献１では、動画データの中からユーザが任意にサムネイル画像として最適な画像を設定可能とすることが提案させている。また、特許文献２では、ユーザ選択による自由なサムネイル画像の作成と共にシーンチェンジなどに対応した最適なサムネイル画像の作成を可能とすることが提案されている。
【０００４】
【特許文献１】
特開２００１−１６９２３１号公報
【０００５】
【特許文献２】
特開２０００−２７８６４１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１、２などにおいて、サムネイル（インデックス）として用いられる画像は動画データの中の１コマに相当する静止画である。このため、この種のサムネイル画像では動的な要素に欠けてしまい、その１コマを見ただけでは、どのシーンを撮影したものであるかが直ぐに判らないなどの不具合がある。
【０００７】
本発明は前記のような点に鑑みなされたもので、動的な要素を有すると共に、シーン変化に対応した最適なサムネイルの作成を可能とする画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、動画データを入力する入力手段と、この入力手段によって入力された動画データを記憶する動画記憶手段と、この動画記憶手段に記憶された動画データのシーン転換点を検出するシーン転換点検出手段と、このシーン転換点検出手段によって検出されたシーン転換点を基点にして前記動画データを部分的に切り出す動画切出し手段と、この動画切出し手段によって切り出された部分動画をサムネイル動画として前記動画データに対応付けて記憶するサムネイル記憶手段とを具備して構成される。
【０００９】
このような構成の画像処理装置によれば、まず、動画データのシーン転換点が検出される。このシーン転換点の検出方法としては、例えば時間軸上に隣接する前後のシーンの変化の度合いに基づいて、そのシーン変化の度合が所定値以上であった場合にシーン転換ありとして判断する方法などがある。
【００１０】
シーン転換点が検出されると、そのシーン転換点を基点にして動画データから動画像が部分的に切り出される。この部分動画の切出し方法としては、例えばシーン転換点の前後のシーンから所定の比率で所定時間分の部分動画を切り出したり、シーン転換点の後のシーンから所定時間分の部分動画を切り出すなどの方法がある。また、シーン転換点からそれ以後のシーン変化の度合いが所定値以下になるまでの期間、部分動画の切出しても良い。
【００１１】
このようにして切り出された部分動画はサムネイル動画として用いられる。このサムネイル動画はシーン変化に対応したものであり、静止画と違って動的な要素を有するので、どのシーンを撮影したものであるかを直ぐに判断できる。
【００１２】
また、本発明の画像処理装置は、前記動画切出し手段による部分動画の切出し時間を制御する切出し制御手段をさらに具備したことを特徴とする。
【００１３】
このような切出し制御手段を備えることで、動画データから部分画像を切り出すときの時間を制御でき、例えばシーン変化の度合いが大きいほど切出し時間を長く取って、サムネイル動画の時間長を調整できる。
【００１４】
また、本発明の画像処理装置は、前記サムネイル記憶手段に記憶されたサムネイル動画を所定数読み出し、これらのサムネイル動画を組み合わせて１つのサムネイル合成動画を作成するサムネイル合成手段をさらに具備したことを特徴とする。
【００１５】
このようなサムネイル合成手段を備えることで、複数枚のサムネイル動画を組み合わせて１つのサムネイル合成動画を作成することができる。
【００１６】
また、このサムネイル合成動画を構成する各サムネイル動画の時間が異なる場合において、ある基準となる時間よりも長い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの間引き処理を施し、前記基準時間よりも短い時間を有するサムネイル動画に対しては前記基準時間との差分に相当するコマの補間処理を施すことで、各サムネイル動画の時間を前記基準時間に揃えることができる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００１８】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。なお、本発明の画像処理装置としては、例えば動画撮影機能を備えたデジタルカメラの他、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）やパーソナルコンピュータなど、動画データを扱う装置であれば全てを含む。ここでは、一般的なコンピュータとしての構成を示す。
【００１９】
図１に示すように、本実施形態における画像処理装置は、ＣＰＵ１１、入力装置１２、表示装置１３、記憶装置１４、通信装置１５、インタフェース１６、撮像装置１７を備える。
【００２０】
ＣＰＵ１１は、本装置全体の制御を行うものであり、記憶装置１４に記憶されたプログラムを読み込むことにより、そのプログラムに記述された手順に従って各種処理を実行する。入力装置１２は、例えばキーボード、マウス、タッチパネル、ペンなどからなる入力デバイスであり、各種データの入力や指示を行うためのものである。表示装置１３は、例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などの表示デバイスであり、その画面上に各種データの表示を行う。
【００２１】
記憶装置１４は、例えばＲＯＭやＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤーＲＯＭ、メモリーカードなどの種々のメモリデバイスによって構成することが可能であり、本装置に必要な各種情報を記憶する。この記憶装置１４には、プログラム記憶領域１４ａ、動画データ記憶領域１４ｂ、サムネイル動画記憶領域１４ｃ、サムネイル合成動画記憶領域１４ｄなどが設けられている。
【００２２】
プログラム記憶領域１４ａには、本発明を実現するためのプログラムを含む各種プログラムが記憶されている。動画データ記憶領域１４ｂには、撮像装置１７によって撮影された動画データが記憶される。サムネイル動画記憶領域１４ｃには、動画データ記憶領域１４ｂに記憶された動画データを元にして作成された複数枚のサムネイル動画が記憶される。このサムネイル動画は、動画データから抽出されたものであって、静止画ではなく、所定の時間長を有する。サムネイル合成動画記憶領域１４ｄには、このサムネイル動画を複数枚組み合わせて作成されるサムネイル合成動画が記憶される。
【００２３】
また、通信装置１５は、ネットワークを介して外部端末との間でデータ通信を行う。前記ネットワークとしては、インターネットの他、有線あるいは無線のＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などの通信回線も含む。インタフェース１６には、動画像の撮影機能を備えた撮像装置１７が着脱自在に接続される。この撮像装置１７によって撮影された動画データは記憶装置１４の動画データ記憶領域１４ｂに格納される。
【００２４】
図２に撮像装置１７によって撮影された動画データの一例を示す。
【００２５】
動画データは、時系列に連続する複数枚の静止画（フレーム）からなる。時間軸上に隣接する前後のシーンの画像において、両者の画像の相関が高いほど（類似度の高いほど）ほど、両者間の画像の動き量が低い。逆に、相関が低いほど（類似度の低いほど）、両者間の画像の動き量は高くなる。したがって、この動き量が所定値以上である場合にシーンが大きく変化したものと判断できる。このシーンが大きく変化した部分をシーン転換点と呼ぶ。
【００２６】
図２の例では、時系列に連続した各画像ａ１…ａｎ，ｂ１…ｂｎ，ｃ１…ｃｎ…からなる動画データの中で、時間軸上で隣接する画像ａｎと画像ｂ１、画像ｂｎと画像ｃ１の相関が低く、動き量が高い。この動き量が所定値以上である場合に、そこがシーン転換点として検出される。
【００２７】
次に、本装置の第１の実施形態としての処理動作について説明する。
【００２８】
今、記憶装置１４の動画データ記憶領域１４ｂに、撮像装置１７によって撮影された動画データを有する動画ファイルが記憶されており、その動画データからサムネイル動画を作成する場合を想定して説明する。
【００２９】
図３は本装置の第１の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００３０】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＡ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量によって判断される。
【００３１】
このシーン転換点検出処理について、図４を参照して詳しく説明する。図４は本装置の第１の実施形態におけるシーン転換点検出処理の流れを示すフローチャートである。
【００３２】
図４に示すように、ＣＰＵ１１は、時間軸上で隣接する前後のシーンの画像から輝度信号を抽出し（ステップＢ１１）、その輝度信号に基づいて各位置毎の画像間の相関を表す動き量を求める（ステップＢ１２）。上述したように、両者の画像の相関が高いほど（類似度の高いほど）、両者間の画像の動き量は低く、逆に相関が低いほど（類似度の低いほど）、両者間の画像の動き量は高くなる。
【００３３】
なお、ここでは画像の輝度信号によって動き量を求めているが、色信号や色差信号などの他の情報を用いて動き量を求めても良い。さらに、動き量はシーン変化の度合いを表す１つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【００３４】
両画像における各位置毎の動き量が得られると、ＣＰＵ１１はこれらの合計値、平均値あるいは自乗平均値などを求めた後（ステップＢ１３）、その値を両者間の画像の動き量Ｓとして予め設定された閾値Ｔｈと比較する（ステップＢ１４）。その結果、動き量Ｓが閾値Ｔｈより低ければ（ステップＢ１４のＮｏ）、ＣＰＵ１１はシーン転換なしと判断する（ステップＢ１５）。一方、動き量Ｓが閾値Ｔｈ以上であった場合には（ステップＢ１４のＹｅｓ）、ＣＰＵ１１はシーン転換ありと判断する（ステップＢ１６）。
【００３５】
以下同様にして、ＣＰＵ１１は時系列の順に当該動画データの前後のシーンの画像を順次チェックしていきシーン転換の有無を判断する。これにより、図２に示される動画データの例では、画像ａｎと画像ｂ１、画像ｂｎと画像ｃ１の間がシーン転換点として検出されることになる。
【００３６】
図３に戻って、動画データの中のシーン転換点が検出されると（ステップＡ１２のＹｅｓ）、ＣＰＵ１１はサムネイル動画として用いる部分動画の切出し時間を決定する（ステップＡ１３）。この切出し時間は、前記シーン転換点検出処理にてシーン転換ありとして判断されたときの動き量Ｓに基づいて決定する。この場合、図５（ａ）に示すように、そのときの動き量Ｓに応じて切出し時間（サムネイル動画の時間長）を比例的に決める方法と、同図（ｂ）に示すように、動き量Ｓに応じて切出し時間（サムネイル動画の時間長）を段階的に決める方法とがある。どちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【００３７】
なお、動画データの各画像間の動き量Ｓがシーン変化の目安である閾値Ｔｈの付近で短周期に変動しているような場合には、動き量Ｓが閾値Ｔｈを越える度にシーン転換点として検出されて、同じようなサムネイル動画が多数作成されてしまうといった問題が生じる。そこで、このような問題を回避するため、最初に動き量Ｓが閾値Ｔｈ以上となったときに、その時点から少なくとも当該動き量Ｓに応じた切出し時間までの期間はシーン転換点の検出動作を禁止するような制御を加えておくことが好ましい。
【００３８】
図３に戻って、切出し時間が決定されると、ＣＰＵ１１は当該動画データのシーン転換点を基点にして前記切出し時間に従ってサムネイル動画として用いる部分の切り出し処理を行う（ステップＡ１４）。この場合の切出し方法として、図６に示すように、例えば切出し時間をＴとしたときに、シーン転換点の前後のシーンから所定の比率（ｎ：ｍ）で切出し時間Ｔ分の動画像を切り出す方法や、シーン転換点の後のシーンから切出し時間Ｔ分の動画像を切り出す方法などがあり、そのどちらの方法を適用しても良く、また、その方法を任意に選択できるようにしても良い。
【００３９】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、ＣＰＵ１１はその切り出した部分動画を必要に応じて例えばＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル（インデックス）用の動画像を作成する（ステップＡ１５）。そして、ＣＰＵ１１はこのサムネイル動画を当該動画データに対応付けて記憶装置１４のサムネイル動画記憶領域１４ｃに記憶する（ステップＡ１６）。
【００４０】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、その部分を切り出すことでサムネイル動画を作り出す。この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域１４ｃの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。その長さはシーン変化の度合い（具体的には画像の動き量）に依存し、シーンが大きく変化している部分ほど、長いサムネイル動画が作成されることになる。
【００４１】
図７にサムネイル動画の一例を示す。
【００４２】
今、図７（ａ）に示すように、動画データの中から４枚のサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄが作成されたとする。これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄはそれぞれに時間的な長さが異なる。ここで、これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを時系列の順に表示すると、同図（ｂ）に示すように、例えばサムネイル動画Ｖａが３秒、サムネイル動画Ｖｂが２秒、サムネイル動画Ｖｃが１秒、サムネイル動画Ｖｄが３秒といったように、各シーンの動画像がそれぞれの時間ぶん表示されることになる。
【００４３】
これらのサムネイル動画はシーン変化に対応したものであり、静止画と違って動的な要素を有する。したがって、各サムネイル動画を表示した場合にどのシーンを撮影したものであるかを直ぐに判断できる。しかも、シーン変化の大きいところでは長く表示されるので、これらのサムネイル動画から全体的な内容を容易に把握することができる。
【００４４】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００４５】
前記第１の実施形態では、動き量Ｓが閾値Ｔｈ以上の場合にシーン転換ありと判断し、そのときの動き量Ｓに応じて切出し時間を決定することにより、シーン転換点を基点に前記切出し時間に従ってサムネイル動画として用いる部分動画を切り出すようにした。これに対し、第２の実施形態では、動き量Ｓによってシーン転換ありと判断してから、その動き量Ｓが所定値以下になるまでの期間を切出し時間として部分動画の切り出しを行うことを特徴とする。
【００４６】
図８を参照して具体的に説明する。
【００４７】
今、図８（ａ）に示すように、時系列に連続した複数の画像ａ１，ｂ１…ｃ１…ｃｎを含んだ動画データがあり、その動画データの動き量Ｓが同図（ｂ）に示すような特性を有するものとする。
【００４８】
ここで、Ｔｈ１とＴｈ２の２つの閾値を用意しておく。閾値Ｔｈ１はシーン転換点を検出するためのものであり、前記第１の実施形態における閾値Ｔｈに相当する。閾値Ｔｈ２は部分動画の切出し終了点を検出するためのものであり、閾値Ｔｈ１よりも低く設定される。
【００４９】
画像ａ１と画像ｂ１との間に大きな変化があり、そのときの動き量Ｓが閾値Ｔｈ１以上になると、その時点でサムネイル動画として用いる部分動画の切出しが開始される。前記第１の実施形態では、このときの動き量Ｓに応じて切出し時間が決定されていた。これに対し、第２の実施形態では、動き量Ｓが閾値Ｔｈ２以下になるまでの間、部分動画の切り出しが継続して行われる。この例では、画像ｂ１から画像ｃ１にかけて動き量Ｓが閾値Ｔｈ１以上あるので、そのまま切り出しが行われることになる。そして、画像ｃ１から画像ｃｎにかけて動き量Ｓが閾値Ｔｈ２以下になると、そこを切出し終了点として切出し動作が終了する。このようにして、動画データから切り出された部分動画がサムネイル動画として使用される。
【００５０】
以下に、図９を参照して第２の実施形態としての処理動作について詳しく説明する。
【００５１】
図９は本装置の第２の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００５２】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＣ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。
【００５３】
このシーン転換点検出処理については、前記第１の実施形態と同様である。すなわち、図４で説明したように、時間軸上で隣接する前後のシーンの画像の輝度信号などに基づいて両者間の動き量Ｓを求め、その動き量Ｓと予め設定された閾値Ｔｈ（ここでは閾値Ｔｈ１とする）とを比較し、動き量Ｓが閾値Ｔｈ１以上であった場合にシーン転換ありとして検出するものである。なお、動き量は輝度信号の他、色信号や色差信号などの他の情報を用いて求めても良い。さらに、動き量はシーン変化の度合いを表す１つの指標であり、他にもシーン変化の度合いを表す情報があれば、その情報を用いても良い。
【００５４】
動画データの中のシーン転換点が検出されると（ステップＣ１２のＹｅｓ）、ＣＰＵ１１はそのシーン転換点で当該動画データからサムネイル動画として用いる部分動画の切出しを開始する（ステップＣ１３）。この切出し動作は、図８で説明したように、動き量Ｓが閾値Ｔｈ２（Ｔｈ２＜Ｔｈ１）以下になるまで継続される（ステップＣ１４，Ｃ１５）。そして、動き量Ｓが閾値Ｔｈ２以下になると（ステップＣ１５のＹｅｓ）、ＣＰＵ１１はその時点で部分動画の切出し動作を終了する（ステップＣ１６）。
【００５５】
このようにして、当該動画データからサムネイル動画として用いる部分を切り出すと、ＣＰＵ１１はその切り出した部分動画を必要に応じて例えばＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）などの所定の符号化方式により圧縮すると共に、縦横のサイズを所定のサイズに縮小してサムネイル（インデックス）用の動画像を作成する（ステップＣ１７）。そして、ＣＰＵ１１はこのサムネイル動画を当該動画データに対応付けて記憶装置１４のサムネイル動画記憶領域１４ｃに記憶する（ステップＣ１８）。
【００５６】
このように、動画データの中でシーンが大きく変化する部分を見つけ出し、そこからシーン変化の度合いが所定値以下になるまでの間、部分動画の切り出しを継続的に行うことでも、前記第１の実施形態と同様に、動画像によるサムネイルつまりサムネイル動画を作り出すことができる。そして、このようにすることにより、シーンの変化が検出された場面から、一連の激しい動きが収まる場面までの動画を適応的に切り出すことができ、サムネイルとして切り出された動画を、まとまりが良く、内容の理解し易いものとすることができる。
【００５７】
この場合、シーンが大きく変化する部分つまりシーン転換点が多数存在すれば、それに応じた数のサムネイル動画がサムネイル動画記憶領域１４ｃの中に作成されることになる。また、これらのサムネイル動画はそれぞれに時間的な長さが異なる。第２の実施形態において、その長さはシーン変化の連続性に依存し、シーンが大きく変化している時間が長いほど、長いサムネイル動画が作成されることになる。
【００５８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００５９】
第３の実施形態では、複数枚のサムネイル動画を組み合わせて１つの合成画像（これをサムネイル合成動画と呼ぶ）を作成すると共に、このサムネイル動画を構成する各サムネイル動画の時間を合わせることを特徴とするものである。
【００６０】
図１０を参照して具体的に説明する。
【００６１】
今、動画データから得られたサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを４分割画面に嵌め込んで、１つのサムネイル合成動画として表示する場合を想定する。この場合、サムネイル動画Ｖａは３秒、サムネイル動画Ｖｂは２秒、サムネイル動画Ｖｃは１秒、サムネイル動画Ｖｄは３秒であり、それぞれに時間が異なる。したがって、これらのサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄを単に組み合わせてサムネイル合成動画を表示した場合に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまう。
【００６２】
そこで、このような表示時間の相違を解消するために、サムネイル合成動画を構成するサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄに対し、コマの間引き処理や補間処理を施すことで同じ時間に調整する。
【００６３】
この時間の調整方法としては、各サムネイル動画の時間の最小公倍数を取る第１の方法や最大公約数を取る第２の方法、また、予め設定された時間に合わせる第３の方法などがある。最小公倍数を取る第１の方法では、例えば各サムネイル動画の時間が１秒，２秒，３秒，４秒であるとした場合に、サムネイル合成動画の長さをこれらの最小公倍数である１２秒に合わせる。また、最大公約数を取る第２の方法では、例えば各サムネイル動画の時間が２秒，４秒，６秒，１２秒であるとした場合に、サムネイル合成動画の長さをこれらの最大公約数である２秒に合わせる。また、予め設定された時間に合わせる第３の方法では、各サムネイル動画の時間に関係なく、サムネイル合成動画の長さを例えば５秒などの固定化された時間に合わせる。
【００６４】
ここで、ある基準となる時間（これを合成サムネイル時間Ｔｃと呼ぶ）に合わせるものとすると、その合成サムネイル時間Ｔｃよりも長い時間を有するサムネイル動画に対しては合成サムネイル時間Ｔｃとの差分に相当するコマの間引き処理（コマを間引いて時間を短縮する処理）を施し、また、前記合成サムネイル時間Ｔｃよりも短い時間を有するサムネイル動画に対しては合成サムネイル時間Ｔｃとの差分に相当するコマの補間処理（コマを補間して時間を延ばす処理）を施すことで、各サムネイル動画の時間の統一化を行う。図１０の例では、合成サムネイル時間を１秒としている。したがって、サムネイル動画Ｖｃを除くサムネイル動画Ｖａ、Ｖｂ、Ｖｄに対し、時間短縮のためのためのコマの間引き処理が行われる。これにより、これらを組み合わせたサムネイル合成動画を４分割画面で表示した場合に、その中のサムネイル動画Ｖａ，Ｖｂ，Ｖｃ，Ｖｄがそれぞれに同じ時間（１秒）だけ表示されることになる。
【００６５】
なお、図１０の例では、４枚のサムネイル動画を用いてサムネイル合成動画を作成しているが、その枚数については特に限定されるものではなく、動画データから得られた全てのサムネイル動画を用いも良いし、また、その中の任意の枚数分のサムネイル動画を用いても良い。さらに、各サムネイル動画の配置についてもマトリクス状に限定されるものではない。要は複数枚の各サムネイル動画を組み合わせて１つのサムネイル合成動画として一括して表示できる形態であれば、どのような形態であっても構わない。
【００６６】
以下に、図１１を参照して本装置の第３の実施形態としての処理動作について詳しく説明する。なお、ここでは動画データから得られた全てのサムネイル動画を分割画面に順に嵌め込んで１つのサムネイル合成動画を作成する場合を想定して説明する。
【００６７】
図１１は本装置の第３の実施形態における画像処理の全体の流れを示すフローチャートである。なお、このフローチャートで示される各処理は、プログラムの形態で本装置内に記憶されており、ＣＰＵ１１がこのプログラムを読み込むことにより実行される。
【００６８】
入力装置１２を通じてサムネイル作成の対象となる動画ファイルが指定されると、ＣＰＵ１１は、まず、その指定された動画ファイル内の動画データを記憶装置１４の動画データ記憶領域１４ｂから読み出し、その動画データのシーン転換点を検出する（ステップＤ１１）。シーン転換点とは、シーンが大きく変化した部分をいい、上述したように画像の動き量に応じて判断される。このシーン転換点検出処理については、前記第１の実施形態と同様であるため、その説明は省略する。
【００６９】
動画データの中のシーン転換点が検出されると（ステップＤ１２のＹｅｓ）、ＣＰＵ１１はそのシーン転換点を基点にしてサムネイル動画として用いる部分動画の切り出しを行う（ステップＤ１３）。この部分動画の切り出し方法としては、前記第１の実施形態で説明したような方法や、前記第２の方実施形態で説明したような方法があり、そのどちらの方法を用いても良い。ここで切り出された部分動画は１つのサムネイル動画として、記憶装置１４のサムネイル動画記憶領域１４ｃに当該動画データに対応付けて記憶される（ステップＤ１４）。その際、必要に応じてＭＰＥＧ方式等で圧縮されると共に、縦横サイズが所定のサイズに縮小される。
【００７０】
このようにして、動画データの先頭から順にシーン転換点が検出され、そのシーン転換点で部分動画が切り出されて、サムネイル動画としてサムネイル動画記憶領域１４ｃに順次格納されていく。
【００７１】
動画データの最後まで処理すると（ステップＤ１５のＹｅｓ）、ＣＰＵ１１は、サムネイル動画記憶領域１４ｃに格納された複数枚のサムネイル動画を組み合わせて１つのサムネイル合成動画を以下のような手順で作成する。
【００７２】
すなわち、ＣＰＵ１１は、まず、合成サムネイル時間Ｔｃを決定する（ステップＤ１６）。この合成サムネイル時間Ｔｃは、サムネイル合成動画に含まれる各サムネイル動画を共通に表示する時間（基準時間）のことであり、その決め方には、上述したように各サムネイル動画の時間の最小公倍数を取る第１の方法、最大公約数を取る第２の方法、また、予め設定された時間に合わせる第３の方法などがあり、そのうちのどの方法を適用しても良く、また、その都度任意に選択できるようにしても良い。
【００７３】
このようにして合成サムネイル時間Ｔｃが決定されると、ＣＰＵ１１は、各サムネイル動画を時系列の順に処理していく。まず、ＣＰＵ１１は１番目のサムネイル動画をサムネイル動画記憶領域１４ｃから取り出し（ステップＤ１７）、そのサムネイル動画の時間と合成サムネイル時間Ｔｃとを比較する（ステップＤ１８ａ、Ｄ１８ｂ）。
【００７４】
ここで、サムネイル動画の時間と合成サムネイル時間Ｔｃが同じであれば（ステップＤ１８ａのＹｅｓ）、ＣＰＵ１１は当該サムネイル動画をそのまま分割画面の所定の位置に嵌め込む（ステップＤ２１）。詳しくは、このサムネイル動画を分割画面の所定の位置に嵌め込んで表示するべく、記憶装置１４のサムネイル動画記憶領域１４ｄに展開する。前記分割画面は、サムネイル合成動画を構成する各サムネイル動画を個別に表示するための画面であって、例えば図１０に示すように各サムネイル動画をマトリクス状に配置して一覧表示するような構成になっている。
【００７５】
一方、サムネイル動画の時間と合成サムネイル時間Ｔｃが異なり（ステップＤ１８ａのＮｏ）、しかも、サムネイル動画の時間が合成サムネイル時間Ｔｃよりも長い場合には（ステップＤ１８ｂのＹｅｓ）、サムネイル動画の時間を短縮して合成サムネイル時間Ｔｃに合わせる必要がある。そこで、ＣＰＵ１１は当該サムネイル動画から合成サムネイル時間Ｔｃとの差分に相当するコマの間引きを行う（ステップＤ１９）。
【００７６】
逆に、サムネイル動画の時間が合成サムネイル時間Ｔｃよりも短い場合には（ステップＤ１８ｂのＮｏ）、サムネイル動画の時間を延ばして合成サムネイル時間Ｔｃに合わせる必要がある。そこで、ＣＰＵ１１は当該サムネイル動画の各コマ間に合成サムネイル時間Ｔｃとの差分に相当するコマの補間を行う（ステップＤ２０）。
【００７７】
このコマの間引き若しくはコマの補間処理としては、例えば、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Ｔｃとの比から、コマ数の間引きないし補間の比を決定する方法が考えられる。すなわち、例えば、現在処理対象となっているサムネイル動画の時間が５秒であり、合成サムネイル時間Ｔｃが２秒であるような場合には、サムネイル動画５コマにつき３コマ間引きして２コマを残す、といった具合に間引きをすればよい。
【００７８】
また、この際、動画の連続性をなるべく損なわずにサムネイル動画を生成するといった観点から、間引きないし補間を行うコマは、なるべく均等に近い間隔にすることが望ましく、一ヶ所に偏って間引きや補間を行うなどの処理は避けるようにすることが望ましい。このように均等に間引きないし補間を行う場合には、上記のような、現在処理対象となっているサムネイル動画の時間と、合成サムネイル時間Ｔｃとの比から、何コマに１コマ間引きまたは補間を行う必要があるかを求めて、これに従って処理すれば良い。
【００７９】
このように、サムネイル動画の時間を合成サムネイル時間Ｔｃに合わせるべく、サムネイル動画に対してコマの間引きあるいは補間といった編集処理を施した後、ＣＰＵ１１はその編集後のサムネイル動画を分割画面の所定の位置に嵌め込む（ステップＤ２１）。
【００８０】
以後同様に、全てのサムネイル動画の処理が終了するまで（ステップＤ２２のＮｏ）、ＣＰＵ１１は時系列の順にサムネイル動画記憶領域１４ｃからサムネイル動画を順次取り出し、前記ステップＤ１８ａ〜Ｄ２１の処理を繰り返す。このようにして、各サムネイル動画が前記分割画面の各位置にそれぞれ嵌め込まれて、１つのサムネイル合成動画が作成される。この場合、各サムネイル動画のそれぞれの時間が合成サムネイル時間Ｔｃに調整されているため、サムネイル合成動画を表示した際に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまうようなことはなく、それぞれが同じ時間（合成サムネイル時間Ｔｃ）の間、表示される。したがって、ユーザは１つの動画像として違和感なく見ることができる。
【００８１】
なお、図１１のフローチャートで示したの処理では、動画データから抽出されたすべてのサムネイル動画を用いてサムネイル合成動画を作成するものとしたが、その中の何枚かを任意選択的に用いてサムネイル合成動画を作成することでも良い。
【００８２】
また、動画データとしては、モノクロ画像でもカラー画像でも良く、その動画データから得られるサムネイル動画、さらに、各サムネイル動画を組み合わせなるサムネイル合成動画についてもモノクロ画像／カラー画像に限定されるものではない。
【００８３】
また、本発明が処理対象としている動画データはデジタルカメラやムービーカメラなどで撮影されたものを直接取り込んだものでも、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体から取得したものでも、ネットワークなどを通じて外部の端末から提供されたものであっても良い。
【００８４】
さらに、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【００８５】
【発明の効果】
以上詳記したように本発明によれば、動画データのシーン転換点を検出し、そのシーン転換点を基点にして動画像を部分的に切り出すことにより、シーン変化に対応したサムネイル動画を作成することができる。このようなサムネイル動画を当該動画データのインデックスとして用いれば、静止画と違って動的な要素を有するので、どのシーンを撮影したものであるかを直ぐに判断できる。
【００８６】
また、動画データから部分画像を切り出すときの時間を制御する機能を備えることで、例えばシーン変化の度合いが大きいほど切出し時間を長く取るなどの調整をすることができ、ユーザが動画の内容を把握しやすいサムネイル動画を作成することができる。
【００８７】
また、複数枚のサムネイル動画を組み合わせて１つのサムネイル合成動画を作成する機能を備えることで、各サムネイル動画を一括して表示することができる。この場合、サムネイル合成動画を構成する各サムネイル動画に対し、コマの間引き処理や補間処理を施してそれぞれの時間を統一化することで、サムネイル合成動画を表示した際に、その中で早く終わってしまう部分と、遅く終わる部分ができてしまうことを回避して、それぞれを同じ時間の間で表示することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】前記画像処理装置に用いられる撮像装置によって撮影された動画データの一例を示す図。
【図３】第１の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図４】第１の実施形態におけるシーン転換点検出処理の流れを説明するためのフローチャート。
【図５】第１の実施形態における動画の動き量と切出し時間との関係を示す図。
【図６】第１の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図７】第１の実施形態におけるサムネイル動画の一例を示す図。
【図８】本発明の第２の実施形態におけるサムネイル動画として用いる部分動画の切出し方法を説明するための図。
【図９】第２の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【図１０】本発明の第３の実施形態における複数のサムネイル動画を組み合わせてなるサムネイル合成動画の作成を説明するための図。
【図１１】第３の実施形態における画像処理の全体の流れを説明するためのフローチャート。
【符号の説明】
１１…ＣＰＵ
１２…入力装置
１３…表示装置
１４…記憶装置
１４ａ…プログラム記憶領域
１４ｂ…動画データ記憶領域
１４ｃ…サムネイル動画記憶領域
１４ｄ…サムネイル合成動画記憶領域
１５…通信装置
１６…インタフェース
１７…撮像装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to, for example, various image processing apparatuses such as a personal computer (PC) and a personal digital assistant (PDA), in addition to a digital camera and a movie camera capable of shooting moving images, and more particularly to a function of creating a thumbnail by a moving image. The present invention relates to an image processing apparatus, a thumbnail moving image creating method and a thumbnail moving image creating program used in the image processing apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an image processing apparatus that handles a moving image, such as a digital camera capable of shooting a moving image, has been known to create a thumbnail image using one frame in moving image data (for example, see Patent Documents 1 and 2). A thumbnail image is an image used as an index when cueing or grasping image contents, and is also called an index image or a preview image.
[0003]
Normally, in this type of image processing apparatus, an image (still image) located at the top is automatically selected as a thumbnail image from moving image data in which each image is continuous in time series. However, the image at the head position is not always the optimal image as the thumbnail image. Therefore, Patent Document 1 proposes that a user can arbitrarily set an optimum image as a thumbnail image from moving image data. Further, Japanese Patent Laid-Open No. 2004-133,009 proposes that it is possible to create a free thumbnail image by user selection and to create an optimum thumbnail image corresponding to a scene change or the like.
[0004]
[Patent Document 1]
JP 2001-169231 A
[0005]
[Patent Document 2]
JP-A-2000-278641
[0006]
[Problems to be solved by the invention]
However, in Patent Documents 1 and 2, etc., an image used as a thumbnail (index) is a still image corresponding to one frame in moving image data. For this reason, this kind of thumbnail image lacks dynamic elements, and there is a problem in that it is not immediately apparent which scene was shot just by looking at one frame.
[0007]
The present invention has been made in view of the above points, and has an image processing apparatus, a thumbnail moving image creating method, and a thumbnail moving image creating program that have dynamic elements and enable creation of an optimal thumbnail corresponding to a scene change. The purpose is to provide.
[0008]
[Means for Solving the Problems]
An image processing apparatus according to the present invention includes an input unit for inputting moving image data, a moving image storage unit for storing moving image data input by the input unit, and a scene transition point of the moving image data stored in the moving image storage unit. Scene turning point detecting means, moving picture cutting means for partially cutting out the moving picture data based on the scene turning point detected by the scene turning point detecting means, and thumbnails of the partial moving pictures cut out by the moving picture cutting means. Thumbnail storage means for storing the moving image in association with the moving image data.
[0009]
According to the image processing apparatus having such a configuration, first, a scene turning point of moving image data is detected. As a method of detecting the scene change point, for example, based on the degree of change of the scene before and after adjacent on the time axis, a method of determining that there is a scene change when the degree of the scene change is equal to or more than a predetermined value, etc. There is.
[0010]
When a scene change point is detected, a moving image is partially cut out from the moving image data based on the scene change point. As a method of extracting the partial moving image, for example, a partial moving image for a predetermined time is cut out at a predetermined ratio from scenes before and after the scene turning point, or a partial moving image for a predetermined time is cut out from a scene after the scene turning point. There is a way. In addition, a partial moving image may be cut out from the scene change point until the degree of the subsequent scene change becomes equal to or less than a predetermined value.
[0011]
The partial moving image cut out in this way is used as a thumbnail moving image. Since this thumbnail moving image corresponds to a scene change and has a dynamic element unlike a still image, it is possible to immediately determine which scene has been shot.
[0012]
Further, the image processing apparatus of the present invention is characterized by further comprising a cutout control unit for controlling a cutout time of the partial moving image by the moving image cutout unit.
[0013]
By providing such a clipping control unit, the time when a partial image is clipped from the moving image data can be controlled. For example, the clipping time can be increased as the degree of scene change increases, and the time length of the thumbnail moving image can be adjusted.
[0014]
Further, the image processing apparatus of the present invention further comprises a thumbnail synthesizing unit that reads a predetermined number of thumbnail moving images stored in the thumbnail storage unit, and creates one thumbnail synthesized moving image by combining the thumbnail moving images. And
[0015]
By providing such a thumbnail synthesizing unit, one thumbnail synthesized moving image can be created by combining a plurality of thumbnail moving images.
[0016]
Further, in a case where the times of the respective thumbnail moving images constituting the thumbnail composite moving image are different, a frame thinning process corresponding to a difference from the reference time is performed on a thumbnail moving image having a time longer than a certain reference time. By performing interpolation processing of frames corresponding to a difference from the reference time for a thumbnail moving image having a time shorter than the reference time, the time of each thumbnail moving image can be aligned with the reference time.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
(1st Embodiment)
FIG. 1 is a block diagram showing a configuration of the image processing apparatus according to the first embodiment of the present invention. Note that the image processing apparatus of the present invention includes, for example, any apparatus that handles moving image data, such as a PDA (Personal Digital Assistant) and a personal computer, in addition to a digital camera having a moving image photographing function. Here, a configuration as a general computer is shown.
[0019]
As shown in FIG. 1, the image processing apparatus according to the present embodiment includes a CPU 11, an input device 12, a display device 13, a storage device 14, a communication device 15, an interface 16, and an imaging device 17.
[0020]
The CPU 11 controls the entire apparatus, reads a program stored in the storage device 14, and executes various processes according to procedures described in the program. The input device 12 is an input device including, for example, a keyboard, a mouse, a touch panel, and a pen, and is used for inputting various data and giving instructions. The display device 13 is a display device such as an LCD (Liquid Crystal Display), and displays various data on its screen.
[0021]
The storage device 14 can be composed of various memory devices such as a ROM, a RAM, a CD-ROM, a DVD-ROM, and a memory card, and stores various information necessary for the device. The storage device 14 includes a program storage area 14a, a moving image data storage area 14b, a thumbnail moving image storage area 14c, a thumbnail composite moving image storage area 14d, and the like.
[0022]
Various programs including a program for realizing the present invention are stored in the program storage area 14a. The moving image data storage area 14b stores moving image data captured by the imaging device 17. The thumbnail moving image storage area 14c stores a plurality of thumbnail moving images created based on the moving image data stored in the moving image data storage area 14b. The thumbnail moving image is extracted from the moving image data, and has a predetermined time length, not a still image. The thumbnail composite moving image storage area 14d stores a thumbnail composite moving image created by combining a plurality of the thumbnail moving images.
[0023]
The communication device 15 performs data communication with an external terminal via a network. The network includes a communication line such as a wired or wireless LAN (Local Area Network) in addition to the Internet. An imaging device 17 having a moving image photographing function is detachably connected to the interface 16. The moving image data captured by the imaging device 17 is stored in the moving image data storage area 14b of the storage device 14.
[0024]
FIG. 2 shows an example of moving image data captured by the imaging device 17.
[0025]
The moving image data includes a plurality of still images (frames) that are continuous in time series. In the images of the scenes before and after adjacent on the time axis, the higher the correlation between the two images (the higher the similarity), the lower the amount of motion between the two images. Conversely, the lower the correlation (the lower the similarity), the higher the amount of motion of the image between the two. Therefore, when the amount of movement is equal to or more than the predetermined value, it can be determined that the scene has significantly changed. The part where the scene has changed significantly is called a scene turning point.
[0026]
In the example of FIG. 2, in moving image data composed of images a1... An, b1... Bn, c1. Is low and the amount of motion is high. When the amount of motion is equal to or greater than a predetermined value, this is detected as a scene change point.
[0027]
Next, a processing operation of the present apparatus as a first embodiment will be described.
[0028]
Now, a description will be given on the assumption that a moving image file having moving image data captured by the imaging device 17 is stored in the moving image data storage area 14b of the storage device 14, and a thumbnail moving image is created from the moving image data.
[0029]
FIG. 3 is a flowchart showing the overall flow of image processing in the first embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the CPU 11 reading this program.
[0030]
When a moving image file for which a thumbnail is to be created is specified through the input device 12, the CPU 11 first reads out the moving image data in the specified moving image file from the moving image data storage area 14b of the storage device 14, and reads out the moving image data. A scene turning point is detected (step A11). The scene change point refers to a portion where the scene has changed significantly, and is determined based on the amount of motion of the image as described above.
[0031]
This scene turning point detection processing will be described in detail with reference to FIG. FIG. 4 is a flowchart showing the flow of scene transition point detection processing in the first embodiment of the present apparatus.
[0032]
As shown in FIG. 4, the CPU 11 extracts a luminance signal from the images of the previous and subsequent scenes adjacent on the time axis (step B11), and based on the luminance signal, a motion amount representing a correlation between the images at each position. (Step B12). As described above, the higher the correlation between the two images (the higher the similarity), the lower the amount of motion of the image between the two, and conversely, the lower the correlation (the lower the similarity), the more the image between the two. The amount of movement increases.
[0033]
Here, the amount of motion is obtained by the luminance signal of the image, but the amount of motion may be obtained by using other information such as a color signal and a color difference signal. Further, the motion amount is one index indicating the degree of the scene change, and if there is other information indicating the degree of the scene change, that information may be used.
[0034]
When the amount of motion at each position in both images is obtained, the CPU 11 calculates the total value, the average value, or the root mean square value (step B13), and then uses the value as a motion amount S of the image between the two. A comparison is made with the set threshold Th (step B14). As a result, if the motion amount S is lower than the threshold Th (No in step B14), the CPU 11 determines that there is no scene change (step B15). On the other hand, if the motion amount S is equal to or greater than the threshold Th (Yes in step B14), the CPU 11 determines that a scene change has occurred (step B16).
[0035]
Similarly, the CPU 11 sequentially checks the images of the scenes before and after the moving image data in chronological order to determine whether or not there is a scene change. As a result, in the example of the moving image data shown in FIG. 2, between the image an and the image b1 and between the image bn and the image c1 are detected as scene transition points.
[0036]
Returning to FIG. 3, when a scene change point in the moving image data is detected (Yes in step A12), the CPU 11 determines a cutout time of a partial moving image to be used as a thumbnail moving image (step A13). The cut-out time is determined based on the motion amount S when it is determined that there is a scene change in the scene change point detection processing. In this case, as shown in FIG. 5A, a method of proportionally determining the cut-out time (time length of the thumbnail moving image) according to the amount of movement S at that time, and a method of determining the cut-out time as shown in FIG. There is a method in which the cutout time (time length of the thumbnail moving image) is determined stepwise according to the amount S. Either method may be applied, and the method may be arbitrarily selected.
[0037]
In the case where the amount of motion S between the images of the moving image data fluctuates in a short cycle near a threshold Th which is a measure of a scene change, the scene switching point is changed every time the amount of motion S exceeds the threshold Th. , And many similar thumbnail moving images are created. Therefore, in order to avoid such a problem, when the motion amount S first becomes equal to or greater than the threshold value Th, the scene transition point detection operation is performed at least from the time to the cutout time corresponding to the motion amount S. It is preferable to add control to prohibit this.
[0038]
Returning to FIG. 3, when the cutout time is determined, the CPU 11 performs a cutout process of a portion to be used as a thumbnail moving image in accordance with the cutout time based on the scene change point of the moving image data (step A14). As a clipping method in this case, as shown in FIG. 6, for example, when the clipping time is T, a moving image corresponding to the clipping time T is clipped at a predetermined ratio (n: m) from scenes before and after the scene change point. There is a method, a method of cutting out a moving image for a cutout time T from a scene after a scene change point, and any of these methods may be applied, and the method may be arbitrarily selected. .
[0039]
In this way, when a portion to be used as a thumbnail moving image is cut out from the moving image data, the CPU 11 compresses the cut-out partial moving image according to a predetermined encoding method such as MPEG (Motion Picture Expert Group) as necessary, and A moving image for a thumbnail (index) is created by reducing the vertical and horizontal sizes to a predetermined size (step A15). Then, the CPU 11 stores the thumbnail moving image in the thumbnail moving image storage area 14c of the storage device 14 in association with the moving image data (step A16).
[0040]
As described above, a portion where the scene changes greatly in the moving image data is found, and the portion is cut out to create a thumbnail moving image. In this case, if there are a lot of scene change points, that is, many scene transition points, a corresponding number of thumbnail moving images are created in the thumbnail moving image storage area 14c. Also, these thumbnail videos have different temporal lengths. The length depends on the degree of scene change (specifically, the amount of motion of the image), and the longer the scene changes, the longer the thumbnail moving image is created.
[0041]
FIG. 7 shows an example of a thumbnail moving image.
[0042]
Now, it is assumed that four thumbnail moving images Va, Vb, Vc, and Vd are created from the moving image data as shown in FIG. These thumbnail moving images Va, Vb, Vc, and Vd have different temporal lengths. Here, when these thumbnail videos Va, Vb, Vc, and Vd are displayed in chronological order, for example, as shown in FIG. 3B, the thumbnail video Va is 3 seconds, the thumbnail video Vb is 2 seconds, and the thumbnail video Vc is displayed. Is 1 second, and the thumbnail moving image Vd is 3 seconds, so that the moving image of each scene is displayed for the corresponding time.
[0043]
These thumbnail moving images correspond to scene changes, and have dynamic elements unlike still images. Therefore, when each thumbnail moving image is displayed, it is possible to immediately determine which scene was shot. In addition, since the image is displayed for a long time in a place where the scene change is large, the entire contents can be easily grasped from these thumbnail moving images.
[0044]
(Second embodiment)
Next, a second embodiment of the present invention will be described.
[0045]
In the first embodiment, when the motion amount S is equal to or larger than the threshold Th, it is determined that there is a scene change, and the cutout time is determined according to the motion amount S at that time. A partial moving image used as a thumbnail moving image is cut out according to time. On the other hand, the second embodiment is characterized in that a partial moving image is cut out using a period until the movement amount S becomes equal to or less than a predetermined value as a cut-out time after the scene change is determined based on the movement amount S. And
[0046]
A specific description will be given with reference to FIG.
[0047]
Now, as shown in FIG. 8A, there is moving image data including a plurality of images a1, b1,..., Cn which are continuous in time series, and the motion amount S of the moving image data is shown in FIG. It has such characteristics.
[0048]
Here, two thresholds Th1 and Th2 are prepared. The threshold Th1 is for detecting a scene change point, and corresponds to the threshold Th in the first embodiment. The threshold value Th2 is for detecting the cutout end point of the partial moving image, and is set lower than the threshold value Th1.
[0049]
When there is a large change between the image a1 and the image b1, and the amount of movement S at that time becomes equal to or greater than the threshold Th1, clipping of a partial moving image used as a thumbnail moving image is started at that time. In the first embodiment, the cut-out time is determined according to the motion amount S at this time. On the other hand, in the second embodiment, the cutout of the partial moving image is continuously performed until the movement amount S becomes equal to or less than the threshold Th2. In this example, since the motion amount S from the image b1 to the image c1 is equal to or more than the threshold Th1, the cutout is performed as it is. Then, when the amount of movement S from the image c1 to the image cn becomes equal to or smaller than the threshold Th2, the cutout operation ends with the cutout end point. In this way, the partial moving image cut out from the moving image data is used as a thumbnail moving image.
[0050]
Hereinafter, the processing operation according to the second embodiment will be described in detail with reference to FIG.
[0051]
FIG. 9 is a flowchart showing the overall flow of image processing in the second embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the CPU 11 reading this program.
[0052]
When a moving image file for which a thumbnail is to be created is specified through the input device 12, the CPU 11 first reads out the moving image data in the specified moving image file from the moving image data storage area 14b of the storage device 14, and reads out the moving image data. A scene change point is detected (step C11). The scene change point refers to a portion where the scene has changed significantly, and is determined according to the amount of motion of the image as described above.
[0053]
This scene change point detection processing is the same as in the first embodiment. That is, as described with reference to FIG. 4, the motion amount S between the two images is obtained based on the luminance signals of the images of the previous and next scenes adjacent to each other on the time axis, and the motion amount S and a preset threshold Th (here, In this case, the threshold value Th1 is compared with the threshold value Th1), and when the motion amount S is equal to or larger than the threshold value Th1, it is detected that a scene change has occurred. Note that the motion amount may be obtained using other information such as a color signal and a color difference signal in addition to the luminance signal. Further, the motion amount is one index indicating the degree of the scene change, and if there is other information indicating the degree of the scene change, that information may be used.
[0054]
When a scene change point in the moving image data is detected (Yes in step C12), the CPU 11 starts extracting a partial moving image used as a thumbnail moving image from the moving image data at the scene change point (step C13). This cutout operation is continued until the amount of movement S becomes equal to or less than the threshold Th2 (Th2 <Th1) as described with reference to FIG. 8 (steps C14 and C15). Then, when the motion amount S becomes equal to or smaller than the threshold Th2 (Yes in step C15), the CPU 11 ends the partial moving image clipping operation at that time (step C16).
[0055]
In this way, when a portion to be used as a thumbnail moving image is cut out from the moving image data, the CPU 11 compresses the cut-out partial moving image according to a predetermined encoding method such as MPEG (Motion Picture Expert Group) as necessary, and The vertical and horizontal sizes are reduced to a predetermined size to create a moving image for a thumbnail (index) (step C17). Then, the CPU 11 stores the thumbnail moving image in the thumbnail moving image storage area 14c of the storage device 14 in association with the moving image data (step C18).
[0056]
As described above, by finding a portion where the scene changes greatly in the moving image data and continuously cutting out the partial moving image until the degree of the scene change becomes equal to or less than the predetermined value, the first image can be obtained. As in the embodiment, a thumbnail using a moving image, that is, a thumbnail moving image can be created. By doing so, it is possible to adaptively cut out a video from a scene where a change in a scene is detected to a scene where a series of intense movements can be contained, and a video cut out as a thumbnail is well-organized, The content can be easily understood.
[0057]
In this case, if there are a lot of scene change points, that is, many scene transition points, a corresponding number of thumbnail moving images are created in the thumbnail moving image storage area 14c. Also, these thumbnail videos have different temporal lengths. In the second embodiment, the length depends on the continuity of the scene change, and the longer the time during which the scene is largely changed, the longer the thumbnail moving image is created.
[0058]
(Third embodiment)
Next, a third embodiment of the present invention will be described.
[0059]
The third embodiment is characterized in that a plurality of thumbnail videos are combined to create one composite image (referred to as a thumbnail composite video), and the time of each thumbnail video constituting the thumbnail video is adjusted. Is what you do.
[0060]
This will be specifically described with reference to FIG.
[0061]
Now, it is assumed that the thumbnail moving images Va, Vb, Vc, and Vd obtained from the moving image data are fitted into a 4-split screen and displayed as one thumbnail composite moving image. In this case, the thumbnail moving image Va is 3 seconds, the thumbnail moving image Vb is 2 seconds, the thumbnail moving image Vc is 1 second, and the thumbnail moving image Vd is 3 seconds, and the times are different from each other. Therefore, when a thumbnail combined moving image is displayed by simply combining these thumbnail moving images Va, Vb, Vc, and Vd, a portion that ends earlier and a portion that ends later are created.
[0062]
Therefore, in order to eliminate such a difference in display time, the thumbnail moving images Va, Vb, Vc, and Vd constituting the thumbnail composite moving image are adjusted to the same time by performing frame thinning processing and interpolation processing.
[0063]
As a method for adjusting the time, there are a first method for obtaining the least common multiple of the time of each thumbnail moving image, a second method for obtaining the greatest common divisor, and a third method for adjusting to a preset time. In the first method of obtaining the least common multiple, for example, when the time of each thumbnail moving image is 1 second, 2 seconds, 3 seconds, and 4 seconds, the length of the thumbnail composite moving image is set to the least common multiple of 12 seconds. Adjust to In the second method of taking the greatest common divisor, for example, when the time of each thumbnail moving image is 2 seconds, 4 seconds, 6 seconds, and 12 seconds, the length of the thumbnail composite moving image is calculated by the greatest common divisor. To 2 seconds. In the third method of adjusting to a preset time, the length of the thumbnail composite moving image is adjusted to a fixed time, such as 5 seconds, regardless of the time of each thumbnail moving image.
[0064]
Here, if the time is set to a reference time (this is called a combined thumbnail time Tc), a thumbnail moving image having a time longer than the combined thumbnail time Tc corresponds to a difference from the combined thumbnail time Tc. In addition, for a thumbnail moving image having a shorter time than the combined thumbnail time Tc, a frame corresponding to a difference from the combined thumbnail time Tc is subjected to a thinning-out process (a process of thinning out frames to reduce the time). By performing an interpolation process (a process of extending time by interpolating frames), the time of each thumbnail moving image is unified. In the example of FIG. 10, the synthetic thumbnail time is set to one second. Therefore, frame thinning processing for reducing time is performed on the thumbnail moving images Va, Vb, and Vd excluding the thumbnail moving image Vc. As a result, when a thumbnail composite moving image obtained by combining these is displayed on a 4-split screen, the thumbnail moving images Va, Vb, Vc, and Vd among them are displayed for the same time (1 second).
[0065]
In the example of FIG. 10, the thumbnail composite moving image is created using four thumbnail moving images. However, the number of thumbnail moving images is not particularly limited, and all thumbnail moving images obtained from the moving image data are used. Alternatively, an arbitrary number of thumbnail moving images may be used. Furthermore, the arrangement of each thumbnail moving image is not limited to a matrix. In short, any form may be used as long as a plurality of thumbnail moving pictures can be combined and displayed collectively as one thumbnail composite moving picture.
[0066]
Hereinafter, the processing operation of the present apparatus as the third embodiment will be described in detail with reference to FIG. Here, the description will be made on the assumption that one thumbnail composite moving image is created by sequentially fitting all the thumbnail moving images obtained from the moving image data into the divided screen.
[0067]
FIG. 11 is a flowchart showing the overall flow of image processing in the third embodiment of the present apparatus. Each process shown in this flowchart is stored in the apparatus in the form of a program, and is executed by the CPU 11 reading this program.
[0068]
When a moving image file for which a thumbnail is to be created is specified through the input device 12, the CPU 11 first reads out the moving image data in the specified moving image file from the moving image data storage area 14b of the storage device 14, and reads out the moving image data. A scene change point is detected (step D11). The scene change point refers to a portion where the scene has changed significantly, and is determined according to the amount of motion of the image as described above. This scene change point detection processing is the same as in the first embodiment, and a description thereof will be omitted.
[0069]
When a scene change point in the moving image data is detected (Yes in step D12), the CPU 11 cuts out a partial moving image used as a thumbnail moving image based on the scene change point (step D13). As a method of extracting the partial moving image, there are the method described in the first embodiment and the method described in the second embodiment, and either method may be used. The partial moving image cut out here is stored as one thumbnail moving image in the thumbnail moving image storage area 14c of the storage device 14 in association with the moving image data (step D14). At this time, the image is compressed by the MPEG method or the like as necessary, and the vertical and horizontal sizes are reduced to a predetermined size.
[0070]
In this way, scene transition points are detected in order from the beginning of the moving image data, and partial moving images are cut out at the scene transition points and are sequentially stored in the thumbnail moving image storage area 14c as thumbnail moving images.
[0071]
When processing is performed to the end of the moving image data (Yes in step D15), the CPU 11 creates one thumbnail composite moving image by combining a plurality of thumbnail moving images stored in the thumbnail moving image storage area 14c according to the following procedure.
[0072]
That is, the CPU 11 first determines the composite thumbnail time Tc (step D16). The composite thumbnail time Tc is a time (reference time) for commonly displaying each of the thumbnail videos included in the thumbnail composite video, and is determined by taking the least common multiple of the time of each thumbnail video as described above. There are a first method, a second method for obtaining the greatest common divisor, and a third method for adjusting to a preset time. Any of these methods may be applied, and any method may be selected each time. You may be able to.
[0073]
When the synthesized thumbnail time Tc is determined in this way, the CPU 11 processes each thumbnail moving image in chronological order. First, the CPU 11 retrieves the first thumbnail moving image from the thumbnail moving image storage area 14c (step D17), and compares the time of the thumbnail moving image with the combined thumbnail time Tc (steps D18a and D18b).
[0074]
Here, if the time of the thumbnail moving image and the combined thumbnail time Tc are the same (Yes in step D18a), the CPU 11 fits the thumbnail moving image into a predetermined position on the divided screen as it is (step D21). Specifically, the thumbnail moving image is developed in the thumbnail moving image storage area 14d of the storage device 14 so as to be fitted to a predetermined position on the divided screen and displayed. The divided screen is a screen for individually displaying each of the thumbnail moving images constituting the thumbnail composite moving image. For example, as shown in FIG. 10, each of the thumbnail moving images is arranged in a matrix and displayed in a list. Has become.
[0075]
On the other hand, when the time of the thumbnail moving image is different from the synthesized thumbnail time Tc (No in step D18a) and the time of the thumbnail moving image is longer than the synthesized thumbnail time Tc (Yes in step D18b), the time of the thumbnail moving image is reduced. It is necessary to match the composite thumbnail time Tc. Then, the CPU 11 thins out frames corresponding to the difference from the thumbnail moving image and the combined thumbnail time Tc (step D19).
[0076]
Conversely, if the time of the thumbnail moving image is shorter than the combined thumbnail time Tc (No in step D18b), it is necessary to extend the time of the thumbnail moving image to match the combined thumbnail time Tc. Therefore, the CPU 11 interpolates a frame corresponding to a difference from the combined thumbnail time Tc between frames of the thumbnail moving image (step D20).
[0077]
As the frame decimation or frame interpolation processing, for example, a method of determining the frame decimation or interpolation ratio from the ratio between the time of the thumbnail moving image currently being processed and the combined thumbnail time Tc is considered. Can be That is, for example, when the time of the thumbnail moving image currently being processed is 5 seconds and the combined thumbnail time Tc is 2 seconds, 3 frames are thinned out for every 5 frames of the thumbnail moving image to leave 2 frames. , And so on.
[0078]
Also, at this time, from the viewpoint of generating a thumbnail moving image without losing the continuity of the moving image as much as possible, it is preferable that the frames to be decimated or interpolated should have an interval that is as close as possible to the eclipse. It is desirable to avoid processing such as performing. In such a case where the thinning or interpolation is performed uniformly, the number of frames to be thinned or interpolated is determined based on the ratio between the time of the thumbnail moving image currently being processed and the combined thumbnail time Tc as described above. What is necessary is to determine whether or not it is necessary to perform the processing according to this.
[0079]
In this way, after performing an editing process such as frame thinning or interpolation on the thumbnail moving image in order to make the time of the thumbnail moving image coincide with the combined thumbnail time Tc, the CPU 11 places the edited thumbnail moving image at a predetermined position on the divided screen. (Step D21).
[0080]
Thereafter, similarly, until the processing of all the thumbnail moving images is completed (No in step D22), the CPU 11 sequentially retrieves the thumbnail moving images from the thumbnail moving image storage area 14c in chronological order, and repeats the processing of steps D18a to D21. In this way, each thumbnail moving image is fitted into each position of the split screen, and one thumbnail composite moving image is created. In this case, since each time of each thumbnail moving image is adjusted to the composite thumbnail time Tc, when the thumbnail composite moving image is displayed, a portion that ends earlier and a portion that ends later are generated. They are displayed for the same time (combined thumbnail time Tc). Therefore, the user can view as a single moving image without discomfort.
[0081]
In the processing shown in the flowchart of FIG. 11, a thumbnail composite moving image is created using all the thumbnail moving images extracted from the moving image data, but some of the thumbnail moving images are arbitrarily used. It may be possible to create a thumbnail composite moving image.
[0082]
The moving image data may be a monochrome image or a color image, and a thumbnail moving image obtained from the moving image data and a thumbnail composite moving image obtained by combining the thumbnail moving images are not limited to a monochrome image / color image.
[0083]
The moving image data to be processed by the present invention may be data directly captured by a digital camera or movie camera, acquired from a recording medium such as a CD-ROM or a DVD-ROM, or transmitted through a network. It may be provided from an external terminal.
[0084]
Further, the method described in each of the above-described embodiments may be a computer-executable program such as a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, To be applied to various devices, or the program itself can be transmitted through a transmission medium such as a network and applied to various devices. A computer that implements the present apparatus reads the program recorded on a recording medium or a program provided via a transmission medium, and executes the above-described processing by controlling the operation of the program.
[0085]
【The invention's effect】
As described above in detail, according to the present invention, a thumbnail moving image corresponding to a scene change is created by detecting a scene turning point of moving image data and partially cutting out a moving image based on the scene turning point. be able to. If such a thumbnail moving image is used as an index of the moving image data, since it has a dynamic element unlike a still image, it is possible to immediately determine which scene was shot.
[0086]
In addition, by providing a function of controlling the time when a partial image is cut out from moving image data, for example, it is possible to make adjustments such as taking a longer cutting time as the degree of scene change is larger, so that the user can grasp the contents of the moving image An easy-to-use thumbnail video can be created.
[0087]
In addition, by providing a function of creating one thumbnail composite moving image by combining a plurality of thumbnail moving images, each thumbnail moving image can be displayed collectively. In this case, by performing frame thinning processing or interpolation processing on each of the thumbnail videos constituting the thumbnail composite video to unify the respective times, when the thumbnail composite video is displayed, it ends earlier. Each part can be displayed during the same period of time, avoiding the occurrence of a part that ends up and a part that ends late.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of moving image data captured by an imaging device used in the image processing apparatus.
FIG. 3 is a flowchart for explaining the overall flow of image processing according to the first embodiment;
FIG. 4 is a flowchart for explaining a flow of a scene turning point detection process in the first embodiment.
FIG. 5 is a diagram illustrating a relationship between a moving amount of a moving image and a cutout time according to the first embodiment.
FIG. 6 is an exemplary view for explaining a method of extracting a partial moving image used as a thumbnail moving image in the first embodiment.
FIG. 7 is a view showing an example of a thumbnail moving image according to the first embodiment.
FIG. 8 is a view for explaining a method of extracting a partial moving image used as a thumbnail moving image according to the second embodiment of the present invention.
FIG. 9 is a flowchart for explaining the overall flow of image processing according to the second embodiment.
FIG. 10 is a view for explaining creation of a thumbnail composite moving image formed by combining a plurality of thumbnail moving images according to the third embodiment of the present invention.
FIG. 11 is a flowchart for explaining the overall flow of image processing according to the third embodiment.
[Explanation of symbols]
11 CPU
12 Input device
13 Display device
14. Storage device
14a: Program storage area
14b: moving image data storage area
14c: Thumbnail video storage area
14d: thumbnail composite moving image storage area
15 Communication device
16 ... Interface
17 ... Imaging device

Claims

An input means for inputting video data,
Moving image storage means for storing the moving image data input by the input means;
A scene turning point detecting means for detecting a scene turning point of the moving image data stored in the moving image storage means;
A moving image cutout unit for partially cutting out the moving image data based on the scene turning point detected by the scene turning point detecting unit;
An image processing apparatus comprising: a thumbnail storage unit that stores a partial moving image cut out by the moving image cutout unit as a thumbnail moving image in association with the moving image data.

2. The image according to claim 1, wherein the scene change point detecting means detects the portion as a scene change point when the degree of change between scenes before and after adjacent on the time axis is equal to or greater than a predetermined value. Processing equipment.

The image processing apparatus according to claim 1, wherein the moving image cutout unit cuts out a partial moving image for a predetermined time at a predetermined ratio from scenes before and after the scene change point.

The image processing apparatus according to claim 1, wherein the moving image cutout unit cuts out a partial moving image for a predetermined time from a scene after the scene change point.

3. The image processing apparatus according to claim 1, wherein the moving image cutout unit cuts out a partial moving image during a period from the scene change point until a degree of a scene change thereafter becomes a predetermined value or less. 4. .

The image processing apparatus according to claim 1, further comprising a cutout control unit configured to control a cutout time of a partial moving image by the moving image cutout unit.

The clipping control means adjusts the clipping time based on the degree of change between scenes before and after adjacent on the time axis, and takes a longer clipping time as the degree of scene change is greater. Item 7. The image processing device according to Item 6.

8. The apparatus according to claim 1, further comprising a thumbnail synthesizing unit that reads a predetermined number of thumbnail moving images stored in the thumbnail storage unit and combines the thumbnail moving images to create one thumbnail synthesized moving image. An image processing apparatus according to claim 1.

The thumbnail synthesizing unit performs a thinning process of a frame corresponding to a difference from the reference time with respect to a thumbnail moving image having a time longer than the reference time so as to synchronize the time of each thumbnail moving image constituting the thumbnail synthesized moving image. 9. The image processing apparatus according to claim 8, wherein interpolation processing of a frame corresponding to a difference from the reference time is performed on a thumbnail moving image having a time shorter than the reference time.

A thumbnail video creation method for creating a thumbnail video from video data,
Detecting a scene turning point of the video data;
Partially cutting out the moving image data based on the scene turning point;
Storing a partial moving image cut out from the moving image data as a thumbnail moving image in association with the moving image data.

A thumbnail video creation method for creating a thumbnail video from video data,
Detecting a scene turning point of the video data;
Determining a time to cut out a partial moving image used as a thumbnail moving image from the moving image data;
Cutting out a partial moving image for the cutout time from the moving image data based on the scene turning point;
Storing a partial moving image cut out from the moving image data as a thumbnail moving image in association with the moving image data.

A thumbnail movie creation program used in a computer that processes movie data,
To the computer,
A function of detecting a scene turning point of the video data,
A function of partially cutting out the moving image data based on the scene turning point,
A thumbnail moving image creating program for realizing a function of storing a partial moving image cut out from the moving image data as a thumbnail moving image in association with the moving image data.

A thumbnail movie creation program used in a computer that processes movie data,
To the computer,
A function of detecting a scene turning point of the video data,
A function of determining a time for cutting out a partial moving image used as a thumbnail moving image from the moving image data,
A function of cutting out the partial moving image for the cutout time from the moving image data based on the scene change point,
A thumbnail moving image creating program for realizing a function of storing a partial moving image cut out from the moving image data as a thumbnail moving image in association with the moving image data.