JP2012124739A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2012124739A JP2012124739A JP2010274387A JP2010274387A JP2012124739A JP 2012124739 A JP2012124739 A JP 2012124739A JP 2010274387 A JP2010274387 A JP 2010274387A JP 2010274387 A JP2010274387 A JP 2010274387A JP 2012124739 A JP2012124739 A JP 2012124739A
- Authority
- JP
- Japan
- Prior art keywords
- symbol
- screen
- movement
- target portion
- staying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】シーン内における注目部分の全体的な動きを容易に把握可能とする。
【解決手段】注目部分動き算出部103は、所定シーン内の各画面の注目部分、例えば人物、物体などの動きを算出する。滞留数算出部104は、所定シーン内の各画面の注目部分の動きに基づいて、各画面の滞留数を算出する。シンボル描画部105は、各画面の滞留数に基づいて、代表画像作成部102で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。シーン代表画像として、その周縁部に注目部分の動きを示すシンボルが描画されたものを得ることができる。閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【選択図】図1
【解決手段】注目部分動き算出部103は、所定シーン内の各画面の注目部分、例えば人物、物体などの動きを算出する。滞留数算出部104は、所定シーン内の各画面の注目部分の動きに基づいて、各画面の滞留数を算出する。シンボル描画部105は、各画面の滞留数に基づいて、代表画像作成部102で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。シーン代表画像として、その周縁部に注目部分の動きを示すシンボルが描画されたものを得ることができる。閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
【選択図】図1
Description
この発明は、画像処理装置および画像処理方法に関し、特に、シーン毎の代表画像に注目部分の動き情報を付加する画像処理装置等に関する。
従来、撮影された、あるいは作成された画像信号を処理して、シーン毎に、所定画面(例えば、最初の画面等)を選択し、その画面の画像を代表画像とすることが行われている(例えば、特許文献1参照)。この場合、閲覧者、編集者等は、シーン内における注目部分、例えば人物、物体などの全体的な動きを把握することができない。
従来、注目部分の動きを表すために、例えば、図39に示すように、代表画像の人物、物体などの注目部分に、動きベクトルを貼り付けることなども考えられている。しかし、この場合にあっても、閲覧者、編集者等は、シーン内における全体的な動きを把握することができない。
上述した従来作成されているシーン毎の代表画像、さらには、この代表画像に注目部分に動きベクトルを付加したものにあっては、閲覧者、編集者等は、シーン内における注目部分、例えば人物、物体などの全体的な動きを把握することができなかった。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することができなかった。
この発明の目的は、シーン内における注目部分の全体的な動きを容易に把握可能とすることにある。
この発明の概念は、
所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成部と、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置にある。
所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成部と、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置にある。
この発明においては、代表画像作成部により、所定シーンを構成する各画面の画像に基づいて代表画像が作成される。例えば、代表画像は、所定シーンを構成する各画面の画像から、所定の1画面、例えば先頭の1画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。
シンボル描画部により、代表画像作成部で作成された代表画像の周縁部に、注目部分の動きを示すシンボルが描画される。例えば、所定シーンを構成する各画面の注目部分の動きは、所定シーンの画像信号と共に外部から与えられるか、あるいは、注目部分動き算出部により、この所定シーンの画像信号を処理して求められる。この処理は、例えば、編集者の手動操作で選択された、あるいは、自動的に選択された注目部分の動きベクトルを求める処理である。
このように、この発明においては、シーン代表画像の周縁部に注目部分の動きを示すシンボルが描画される。そのため、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
この発明において、例えば、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する滞留数算出部をさらに備え、滞留数算出部は、所定画面の注目部分において、滞留していると判断するとき、この所定画面の注目部分の滞留数を0にすると共に、滞留カウンタを1だけインクリメントし、滞留していないと判断するとき、1つ前の画面の注目部分の滞留数を滞留カウンタの値とし、この所定画面の注目部分の滞留数を1とすると共に、この滞留カウンタの値を1とし、さらに、最終画面の注目部分の滞留数を滞留カウンタの値とし、シンボル描画部は、滞留数算出部で算出された各画面の注目部分の滞留数に基づいて、代表画像作成部で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する、ようにされる。
また、この発明において、例えば、シンボル描画部は、所定画面の注目部分の滞留数が1以上のとき、代表画像の周縁部のこの所定画面の注目部分に対応した位置に、シンボルを描画する、ようにされる。
また、この発明において、例えば、シンボル描画部は、所定画面の注目部分の滞留数が1以上N(Nは1以上の整数)以下であるとき、代表画像の周縁部の該所定画面の注目部分に対応した位置に、シンボルとして通常シンボルを描画し、所定画面の注目部分の滞留数がNを超えるとき、代表画像の周縁部の該所定画面の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する、ようにされる。
また、この発明において、例えば、シンボル描画部は、シンボルとして注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、所定画面の注目部分の滞留数がN以下で描画する通常シンボルの長さを、この所定画面の注目部分の動きの大きさに対応した長さとする、ようにされる。例えば、出力機器における周縁部の表示領域の注目部分の動きの方向に直交する方向の長さをHとし、注目部分の動きの中で最大の動きをMvmaxとし、さらに、各画面の注目部分の動きをMvとするとき、所定画面の注目部分の滞留数が1以上N以下で描画される通常シンボルの長さhは、H*Mv/Mvmaxとされる。この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
また、この発明において、例えば、シンボル描画部は、描画されるシンボル間の近接を判定し、この判定結果に応じて、所定画面の注目部分の滞留数が1以上N以下で描画される通常シンボルの描画態様を変化させる、ようにされる。この場合、例えば、シンボル描画部は、注目部分の動きの方向の1画面分の長さをSとし、注目部分の動きの中で滞留していないと判定された最小の動きをVminとし、さらに、出力機器における代表画像の表示領域の注目部分の動きの方向の長さをWとして、この表示領域上で最も近接しているシンボル間の距離dを、W*Vmin/Sの式で算出し、この距離dに基づいて、シンボル間の近接を判定する、ようにされる。このように、シンボルの近接判定結果に応じて、所定の画面の滞留数がN以下で描画されるシンボルの描画態様を変化させることで、出力機器における代表画像の表示サイズが小さい場合であっても、描画シンボルから注目部分の動きの把握が容易となる。
この発明において、例えば、シンボル描画部は、注目部分の動きの方向の、描画されるシンボル間の距離が出力機器の表示領域上で所定値を超えるように、通常シンボルを所定数の画面毎に描画する、ようにされる。この場合、通常シンボルは間引かれて描画されるため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
この発明において、例えば、シンボル描画部は、シンボルとして注目部分の方向に直交する方向に延びる線分状のシンボルを描画し、出力機器における周縁部の表示領域の、注目部分の動き方向に直交する方向の長さをHとし、注目部分の動きの中で最大の動きをMvmaxとし、さらに、各画面の注目部分の動きをMvとするとき、所定の画面の注目部分の滞留数が1以上N以下で描画する通常シンボルの長さhを、H*Mv/Mvmaxとし、所定数の画面毎に描画する通常シンボルを濃く描画し、その他の画面で通常シンボルを薄く描画する、ようにされる。
この場合、濃く描画される通常シンボルは間引かれているため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
また、この発明において、例えば、シンボル描画部は、注目部分の動き方向の、描画されるシンボル間の距離が出力機器の表示領域上で所定値より小さいとき、各画面における前の画面との間の注目部分の動き差分に応じて、加速期間に対応して加速シンボルを描画し、等速期間に対応して等速シンボルを描画し、減速期間に対応して減速シンボルを描画する、ようにされる。
この場合、注目部分の動きを示すシンボルとして縮退シンボル(加速シンボル、等速シンボル、減速シンボル)が描画されるものであり、出力機器における代表画像の表示サイズが小さい場合に、描画されるシンボル数を少なくでき、シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、注目部分の加速期間、等速期間、減速期間を容易に把握可能となる。
また、この発明において、例えば、所定シーン内の各画面の前の画面との間の注目部分の動き差分に基づいて、各画面の等速数を算出する等速数算出部をさらに備え、等速数算出部は、所定の画面において、滞留していると判断するとき、この所定の画面の等速数を0にすると共に、等速カウンタを1だけインクリメントし、滞留していないと判断するとき、1つ前の画面の等速数を等速カウンタの値とし、この所定の画面の等速数を1とすると共に、この等速カウンタの値を1とし、シンボル描画部は、所定の画面の等速数が1以上M(Mは1以上の整数)以下であるとき、代表画像の周縁部のこの所定の画面に対応した位置に、加速シンボルまたは減速シンボルを表示し、所定の画面の等速数がMを超えるとき、代表画像の周縁部の該所定の画面に対応した位置に、等速シンボルを描画する、ようにされる。
例えば、等速数算出部では、所定画面の注目部分の動き差分が閾値の範囲内にあるか否かにより、等速動きをしているか否かが判断される。また、例えば、滞留数算出部では、所定画面の注目部分において、各画面の注目部分の動き差分を累積していく累積手段の累積値が閾値の範囲内にあるか否かにより等速動きをしているか否かが判断され、さらに、等速動きをしていないと判断されるとき累積手段の累積値は0にリセットされる。
この発明によれば、シーン代表画像の周縁部に注目部分の動きを示すシンボルが描画されるため、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.第5の実施の形態
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.第5の実施の形態
<1.第1の実施の形態>
[画像処理装置の構成例]
図1は、第1の実施の形態としての画像処理装置100の構成例を示している。この画像処理装置100は、画像入力部101と、代表画像作成部102と、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105と、出力機器インタフェース(I/F)106を有している。
[画像処理装置の構成例]
図1は、第1の実施の形態としての画像処理装置100の構成例を示している。この画像処理装置100は、画像入力部101と、代表画像作成部102と、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105と、出力機器インタフェース(I/F)106を有している。
画像入力部101は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部101は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部102および注目部分動き算出部103に、順次供給する。
代表画像作成部102、注目部分動き算出部103、滞留数算出部104およびシンボル描画部105は、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。
代表画像作成部102は、所定シーンを構成する各画面の画像信号に基づいて、代表画像を作成する。この場合、例えば、所定シーンを構成する各画面の画像から、所定の1画面、例えば先頭の1画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。
また、例えば、この所定シーンがパンやチルト手法を用いて撮影されたものである場合、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。この和集合画像を作成する手法については、ここでは詳細説明を省略するが、従来周知であり、特開平07−298137号公報、特開平06−326965号公報などに詳述されている。例えば、代表画像作成部102は、所定シーンを構成する各画面の全画面動き(動きベクトル)を算出し、この算出された各画面の全画面動きに基づいて、各画像をつなぎ合わせて、和集合画像を作成する。
注目部分動き検出部103は、所定シーンの画像信号を処理し、この所定シーン内の各画面の注目部分の動き(動きベクトル)を算出する。この注目部分の動きの算出手法については、ここでは詳細説明を省略するが、従来周知であり、例えば、特開2006−07345号公報などに記載されている。例えば、注目部分動き検出部103は、各画面における注目部分を追尾する処理を行うことで、各画面の注目部分の動き(動きベクトル)を順次取得する。
ここで、注目部分、例えば人物、物体などである。この注目部分は、例えば、編集者の手動操作で選択されるか、あるいは、従来周知の顔検出技術や人物検出技術などを用いて自動的に選択される。例えば、上述した特開2006−07345号公報には、手動操作で選択することが記載されている。
滞留数算出部104は、注目部分動き検出部103で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する。
[滞留数算出処理]
図2のフローチャートは、滞留数算出部104における処理手順の一例を示している。滞留数算出部104は、ステップST1において、処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、滞留数算出部104は、滞留カウンタCの値を0とし、累積値(累積動き量)Tの値を0に設定する。そして、滞留数算出部104は、ステップST3において、処理フレーム(処理画面)を最初のフレーム(最初の画面)とする。
図2のフローチャートは、滞留数算出部104における処理手順の一例を示している。滞留数算出部104は、ステップST1において、処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、滞留数算出部104は、滞留カウンタCの値を0とし、累積値(累積動き量)Tの値を0に設定する。そして、滞留数算出部104は、ステップST3において、処理フレーム(処理画面)を最初のフレーム(最初の画面)とする。
次に、滞留数算出部104は、ステップST4において、処理フレームが最終フレーム(最終画面)であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部104は、ステップST5の処理に移る。このステップST5において、滞留数算出部104は、累積値Tに、現在フレームの注目部分動きMvを加算して、現在フレームにおける累積値Tを求め、その累積値Tの値を現在フレームの累積値として記録する。
次に、滞留数算出部104は、ステップST6において、滞留か否かを判断する。ここで、滞留数算出部104は、現在フレームの注目部分動きMvが0であるか否かにより、滞留か否かを判断する。すなわち、滞留数算出部104は、Mvが0であるときは滞留であると判断し、Mvが0以上であるときは滞留でないと判断する。
滞留数算出部104は、滞留であると判断するとき、ステップST7の処理に移る。このステップST7において、滞留数算出部104は、現在フレームの滞留数を0とし、滞留カウンタCの値を1だけインクリメントする。一方、滞留数算出部104は、滞留でないと判断するとき、ステップST8の処理に移る。このステップST8において、滞留数算出部104は、1フレーム(1画面)前の滞留数を滞留カウンタCの値とすると共に、現在フレームの滞留数を1とし、さらに、ステップST9において、滞留カウンタCの値を1とする。
滞留数算出部104は、ステップST7の処理の後、およびステップST9の処理の後に、ステップST10の処理に移る。このステップST10において、滞留数算出部104は、処理フレームを次のフレームとし、その後に、ステップST4の処理に戻る。
また、ステップST4で処理フレームが最終フレームであるとき、滞留数算出部104は、ステップST11の処理に移る。このステップST11において、滞留数算出部104は、現在フレーム(=最終フレーム)の滞留数を滞留カウンタCの値とする。また、滞留数算出部104は、このステップST11において、累積値Tに、現在フレームの注目部分動きMvを加算して、現在フレームにおける累積値Tを求め、その累積値Tの値を、現在フレーム(=最終フレーム)の累積値として記録する。そして、滞留数算出部104は、ステップST12において、処理を終了する。
図3は、所定シーンを構成するフレーム(画面)の数が40の場合において、各フレームの注目部分動きMvと、図2のフローチャートの処理で求められる各フレーム(各画面)の滞留数および累積値の一例を示している。この例おいては、フレーム1からフレーム10までは注目部分動きMvが0であるので連続して滞留と判断される。そして、フレーム11で注目部分動きMvが50であるので滞留でないと判断される。そのため、フレーム1からフレーム9までの滞留数は0とされ、フレーム10の滞留数は10とされる。
また、この例においては、フレーム11からフレーム25まで注目部分動きMvが0でないので連続して滞留でないと判断される。そのため、フレーム11からフレーム25までの滞留数は1とされる。さらに、この例においては、フレーム26からフレーム39までは注目部分動きMvが0であるので連続して滞留と判断される。そのため、フレーム26からフレーム39までの滞留数は0とされ、最終フレームであるフレーム40の滞留数は15とされる。
シンボル描画部105は、滞留数算出部104で算出された各画面の滞留数に基づいて、代表画像作成部102で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。また、シンボル描画部105は、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)を、出力機器インタフェース(I/F)106に供給する。
[シンボル描画処理]
図4のフローチャートは、シンボル描画部105における処理手順の一例を示している。シンボル描画部105は、ステップST21において、処理を開始し、その後に、ステップST22の処理に移る。このステップST22において、シンボル描画部105は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向(水平方向と垂直方向の双方)などがある。この場合、シンボル描画部105は、例えば、注目部分動き算出部103で算出される各画面の注目部分の動き(動きベクトル)に基づいて、注目部分の動き方向を取得する。
図4のフローチャートは、シンボル描画部105における処理手順の一例を示している。シンボル描画部105は、ステップST21において、処理を開始し、その後に、ステップST22の処理に移る。このステップST22において、シンボル描画部105は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向(水平方向と垂直方向の双方)などがある。この場合、シンボル描画部105は、例えば、注目部分動き算出部103で算出される各画面の注目部分の動き(動きベクトル)に基づいて、注目部分の動き方向を取得する。
なお、上述していないが、注目部分の動き方向が一方向(水平方向または垂直方向)である場合には、注目部分動き算出部103ではその一方向についての動きが求められ、滞留数算出部104ではその一方向の動きについての滞留数(図3参照)が求められる。また、注目部分の動き方向が斜め方向である場合には、注目部分動き算出部103では水平方向および垂直方向のそれぞれについての動きが求められ、滞留数算出部104では水平方向および垂直方向のそれぞれについての滞留数が求められる。
動き方向が水平方向または垂直方向の一方向である場合には、その一方向についてのみ、以下の各ステップのシンボル描画処理が行われる。また、動き方向が斜め方向で水平方向まおよび垂直方向の双方である場合には、それぞれ方向について、以下の各ステップのシンボル描画処理が行われる。
次に、シンボル描画部105は、ステップST23において、シンボル描画軸を決定する。この場合、シンボル描画部105は、ステップST22で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部105は、ステップST24において、処理フレーム(処理画面)を最初のフレーム(最初の画面)とする。
次に、シンボル描画部105は、ステップST25において、処理フレームが最終フレーム(最終画面)であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部105は、ステップST26の処理に移る。このステップST26において、シンボル描画部105は、滞留数が0であるか、1であるか、あるいは2以上であるかを判断する。
滞留数が0であるとき、シンボル描画部105は、ステップST27において、処理フレームを次のフレームとし、その後に、ステップST25の処理に戻る。また、滞留数が1であるとき、シンボル描画部105は、ステップST28の処理に移る。このステップST28において、シンボル描画部105は、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部105は、ステップST28の処理の後、ステップST27で処理フレームを次のフレームとして、ステップST25の処理に戻る。
さらに、滞留数が2以上であるとき、シンボル描画部105は、ステップST29の処理に移る。このステップST29において、シンボル描画部105は、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
また、シンボル描画部105は、このステップST29において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部105は、ステップST29の処理の後、ステップST27で処理フレームを次のフレームとして、ステップST25の処理に戻る。
また、ステップST25で処理フレームが最終フレームであるとき、シンボル描画部105は、ステップST30の処理に移る。このステップST30において、シンボル描画部105は、代表画像の現在フレーム(=最終フレーム)の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
また、シンボル描画部105は、このステップST30において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部105は、ステップST30の処理の後、ステップST31において、処理を終了する。
図5は、描画例を示している。この例では、注目部分としての人物の動きが斜め方向であり、代表画像の上側の周縁部には水平方向の動きを示すシンボルが描画され、代表画像の左側の周縁部には垂直方向の動きを示すシンボルが描画されている。この例は、所定シーンを構成するフレーム(画面)の数が40の場合において、各方向について、各フレーム(各画面)の滞留数および累積値が図3に示すようであったときの、各シンボルおよび滞留数の描画例を示している。
なお、この描画例では、各シンボルは線分で表されている。この例においては、フレーム1からフレーム9までは滞留数が0であるのでシンボルの描画は行われない。そして、フレーム10では滞留数が10であるので、そのフレームの注目部分に対応した位置(そのフレームの右上位置)に滞留シンボルが描画され、さらに、それに対応した位置に滞留数「10」が描画される。
また、フレーム11からフレーム25までは滞留数が1であるので、そのフレームの注目部分に対応した位置に通常シンボルが描画される。また、フレーム26からフレーム39までは滞留数が0であるのでシンボルの描画は行われない。そして、終端のフレーム40では、そのフレームの注目部分に対応した位置に終端シンボルが描画され、さらに、それに対応した位置に滞留数「15」が描画される。
出力機器インタフェース106は、シンボル描画部105から供給される画像データ、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部101に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
[画像処理装置の動作例]
図1に示す画像処理部100の動作例を説明する。画像入力部101に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
図1に示す画像処理部100の動作例を説明する。画像入力部101に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
画像入力部101では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部101では、各シーンの画像信号を代表画像作成部102および注目部分動き検出部103に順次供給することが行われる。
代表画像作成部102、注目部分動き検出部103、滞留数算出部104およびシンボル描画部105では、各シーンが順次処理対象のシーン(所定シーン)とされて、処理される。すなわち、代表画像作成部102では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面(フレーム)の画像に基づいて、代表画像が作成される。例えば、所定シーンを構成する各画面の画像から、所定の1画面、例えば先頭の1画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
また、注目部分動き算出部103では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き(動きベクトル)が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部104に供給される。滞留数算出部104では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される(図2参照)。
滞留数算出部104で算出された所定シーン内の各画面の注目部分の滞留数および累積値は、シンボル描画部105に供給される。また、このシンボル描画部105には、代表画像作成部102で作成された代表画像の画像信号(画像データ)が供給される。このシンボル描画部105では、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される(図4参照)。
この場合、滞留数が1である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして通常シンボルが描画される。また、滞留数が2以上である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面の注目部分に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
シンボル描画部105では、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)が得られ、この画像信号(画像データ)は出力機器インタフェース(I/F)106に供給される。出力機器インタフェース106では、シンボル描画部105から供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部101に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
以上説明したように、図1に示す画像処理装置100においては、代表画像作成部102により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部103により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部104により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数が算出される。
そして、シンボル描画部105により、この算出された所定シーン内の各画面の注目部分の滞留数に基づいて、代表画像作成部102で作成された代表画像の周縁部に、注目部分の動きを示すシンボル(通常シンボル、滞留シンボル、終端シンボル)が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
なお、図1に示す画像処理装置100において、シンボル描画部105では、滞留数が1である画面で通常シンボルが描画され、滞留数が2以上である画面で滞留シンボルが描画されるようになっている(図4参照)。しかし、一般に、滞留数が1〜N(Nは1以上の整数)である画面で通常シンボルが描画され、滞留数がNを超える画面で滞留シンボルが描画されるようにしてもよい。そして、この場合、Nの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
また、図1に示す画像処理装置100において、シンボル描画部105は、滞留数算出部104で算出された各画面の注目部分の滞留数に基づいて、注目部分の動きを示すシンボル(通常シンボル、滞留シンボル、終端シンボル)を描画するようになっている。しかし、例えば、シーン内の各画面の動きを示すために各画面の注目部分に対応した位置に通常シンボルを描画するという構成も考えられる。その場合、シンボル描画部105では、注目部分動き算出部103で算出された所定シーン内の各画面の注目部分の動きを直接利用して、シンボル描画を行うことができる。
また、図1に示す画像処理装置100において、シンボル描画部105では、滞留シンボルおよび終端シンボルの描画位置に対応して、滞留数も合わせて描画される。しかし、この滞留数の描画は必ずしも必要なものではない。
[滞留数算出処理の他の例]
上述において、滞留数算出部104は、注目部分動き算出部103で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する構成となっている。しかし、各画面の注目部分の動きの情報をメタデータとして予め備えている場合、滞留数算出部104は、その情報を利用して、各画面の滞留数を算出することが可能となる。その場合には、例えば、画像入力部101から滞留数算出部104に各画面の注目部分の動きの情報が供給され、注目部分動き算出部103は不要となる。
上述において、滞留数算出部104は、注目部分動き算出部103で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する構成となっている。しかし、各画面の注目部分の動きの情報をメタデータとして予め備えている場合、滞留数算出部104は、その情報を利用して、各画面の滞留数を算出することが可能となる。その場合には、例えば、画像入力部101から滞留数算出部104に各画面の注目部分の動きの情報が供給され、注目部分動き算出部103は不要となる。
また、上述実施の形態において、滞留数算出部104では、現在フレームの注目部分動きMvが0であるか否かにより滞留か否かを判断している。しかし、三脚を使用しないで撮影された場合、安価な三脚を使用して撮影された場合、あるいはダウンコンバート/アップコンバートされている場合などがある。このような場合、撮影者の意図や、視聴者の感覚としては「滞留している」とみなしてもよいが、注目部分動き動きとしては微妙に0とは異なる値に算出され、結果的に滞留ではないと判断される場合がある。
そこで、注目部分動きMvの累積値を滞留ブレAmvとして定義し、この滞留ブレAmvが閾値の範囲内にあるか否かにより、滞留か否かを判断することが考えられる。これにより、視聴者の感覚として滞留しているとみなしてもよい画面を、確実に滞留していると判断させることができる。図6のフローチャートは、その場合における、滞留数算出部104の処理手順の一例を示している。
滞留数算出部104は、ステップST41において、処理を開始し、その後に、ステップST42の処理に移る。このステップST42において、滞留数算出部104は、滞留カウンタCの値を0とし、注目部分動きMvの累積値(累積動き量)Tの値を0とし、さらに滞留ブレAmvを0に設定する。そして、滞留数算出部104は、ステップST43において、処理フレーム(処理画面)を最初のフレーム(最初の画面)とする。
次に、滞留数算出部104は、ステップST44において、処理フレームが最終フレーム(最終画面)であるか否かを判断する。処理フレームが最終フレームでないとき、滞留数算出部104は、ステップST45の処理に移る。このステップST45において、滞留数算出部104は、累積値Tに、現在フレームの注目部分動きMvを加算して、現在フレームにおける累積値Tを求め、その累積値Tの値を現在フレームの累積値として記録する。また、滞留数算出部104は、このステップST45において、滞留ブレAmvに注目部分動きMvを加算して、滞留ブレAmvを更新する。
次に、滞留数算出部104は、ステップST46において、滞留か否かを判断する。ここで、滞留数算出部104は、滞留ブレAmvが閾値の範囲内か否かにより、滞留か否かを判断する。すなわち、滞留数算出部104は、Amvが閾値の範囲内にあるときは滞留であると判断し、Amvが閾値の範囲を超えるときは滞留でないと判断する。
滞留数算出部104は、滞留であると判断するとき、ステップST47の処理に移る。このステップST47において、滞留数算出部104は、現在フレームの滞留数を0とし、滞留カウンタCの値を1だけインクリメントする。また、滞留数算出部104は、このステップST47において、滞留ブレAmvの最大値および最小値を記録する。この記録情報は、滞留でないと判断される場合の滞留ブレAmvがどの程度であったかを示す情報(メタデータ)となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
一方、滞留数算出部104は、滞留でないと判断するとき、ステップST48の処理に移る。このステップST48において、滞留数算出部104は、1フレーム(1画面)前の滞留数を滞留カウンタCの値とすると共に、現在フレームの滞留数を1とする。そして、滞留数算出部104は、ステップST49において、滞留カウンタCの値を1とし、滞留ブレAmvを0にリセットする。
滞留数算出部104は、ステップST47の処理の後、およびステップST49の処理の後に、ステップST50の処理に移る。このステップST50において、滞留数算出部104は、処理フレームを次のフレームとし、その後に、ステップST44の処理に戻る。
また、ステップS44で処理フレームが最終フレームであるとき、滞留数算出部104は、ステップST51の処理に移る。このステップST51において、滞留数算出部104は、現在フレーム(=最終フレーム)の滞留数を滞留カウンタCの値とする。また、滞留数算出部104は、このステップST51において、累積値Tに現在フレームの注目部分動きMvを加算して、現在フレームにおける累積値Tを求め、その累積値Tを記録する。そして、滞留数算出部104は、ステップST52において、処理を終了する。
なお、上述では注目部分動きMvの累積値である滞留ブレAmvが閾値の範囲内か否かにより滞留か否かを判断している。さらに、各画面(各フレーム)において、その画面の注目部分動きMvが閾値の範囲内か否かにより滞留か否かを判断することも考えられる。その場合においても、滞留であると判断するとき、注目部分動きMvの最大値および最小値を記録するようにされる。この記録情報は、滞留でないと判断される場合の注目部分動きMvがどの程度であるかを示す注目部分動きMvの挙動情報(メタデータ)となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
[シンボル描画処理の他の例]
また、上述において、注目部分の動きが単方向の場合を例にとって示した。しかし、注目部分の動きが双方向の場合も考えられる。この場合、注目部分の動き方向が順方向(第1の方向)にある各画面に対応したシンボルの描画位置と、注目部分の動き方向が逆方向(第2の方向)にある各画面に対応したシンボルの描画位置とは、例えば、順方向および逆方向と直交する方向にずれるようにされる。これにより、それぞれの方向への注目部分の動きを示すシンボルが重なることがなく、見やすくできる。また、この場合、終端シンボルだけでは画像の動きがわかりにくいことがあるので、滞留シンボルに、滞留の順序を示すシンボル(滞留ID)が加えられる。
また、上述において、注目部分の動きが単方向の場合を例にとって示した。しかし、注目部分の動きが双方向の場合も考えられる。この場合、注目部分の動き方向が順方向(第1の方向)にある各画面に対応したシンボルの描画位置と、注目部分の動き方向が逆方向(第2の方向)にある各画面に対応したシンボルの描画位置とは、例えば、順方向および逆方向と直交する方向にずれるようにされる。これにより、それぞれの方向への注目部分の動きを示すシンボルが重なることがなく、見やすくできる。また、この場合、終端シンボルだけでは画像の動きがわかりにくいことがあるので、滞留シンボルに、滞留の順序を示すシンボル(滞留ID)が加えられる。
図7のフローチャートは、その場合におけるシンボル描画部105の処理手順の一例を示している。シンボル描画部105は、ステップST61において、処理を開始し、その後に、ステップST62の処理に移る。このステップST62において、シンボル描画部105は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向(水平方向と垂直方向の双方)などがある。この場合、シンボル描画部105は、例えば、注目部分算出部103で算出される各画面の注目部分の動き(動きベクトル)に基づいて、注目部分の動き方向を取得する。
次に、シンボル描画部105は、ステップST63において、シンボル描画軸を決定する。この場合、シンボル描画部105は、ステップST62で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。そして、シンボル描画部105は、ステップST64において、処理フレーム(処理画面)を最初のフレーム(最初の画面)とし、さらに、ステップST65において、滞留IDを1とする。
次に、シンボル描画部105は、ステップST66において、処理フレームが最終フレーム(最終画面)であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部105は、ステップST67において、注目部分の動き方向が順方向から逆方向に変更になったか否かを判断する。方向が変更になっていないとき、シンボル描画部105は、直ちに、ステップST68の処理に移る。一方、方向が変更になっているとき、シンボル描画部105は、ステップST69において、描画位置を、上述の順方向および逆方向と直交する方向にシフトした後に、ステップST68の処理に移る。
ステップST68において、シンボル描画部105は、滞留数が0であるか、1であるか、あるいは2以上であるかを判断する。滞留数が0であるとき、シンボル描画部105は、ステップST70において、処理フレームを次のフレームとし、その後に、ステップST66の処理に戻る。また、滞留数が1であるとき、シンボル描画部105は、ステップST71の処理に移る。このステップST71において、シンボル描画部105は、代表画像の現在フレーム(処理画面)の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部105は、ステップST71の処理の後、ステップST70で処理フレームを次のフレームとして、ステップST66の処理に戻る。
さらに、滞留数が2以上であるとき、シンボル描画部105は、ステップST72の処理に移る。このステップST72において、シンボル描画部105は、代表画像の現在フレーム(処理画面)の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
また、シンボル描画部105は、このステップST72において、滞留シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部105は、この滞留シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留IDを描画すると共に、滞留IDを1だけインクリメントする。シンボル描画部105は、ステップST72の処理の後、ステップST70で処理フレームを次のフレームとして、ステップST66の処理に戻る。
また、ステップST66で処理フレームが最終フレームであるとき、シンボル描画部105は、ステップST73の処理に移る。このステップST73において、シンボル描画部105は、代表画像の現在フレーム(=最終フレーム)の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
また、シンボル描画部105は、このステップST73において、終端シンボルの描画位置に対応した位置に滞留数を描画する。さらに、シンボル描画部105は、この終端シンボルの描画位置に対応した位置に、滞留の順序を示すシンボルとしての滞留IDを描画する。そして、シンボル描画部105は、ステップST73の処理の後、ステップST74において、処理を終了する。
図8は、各シンボル、滞留数および滞留IDの描画例を示している。なお、この描画例では、ゴルフクラブのヘッドが注目部分であって、このヘッドの動きを示す各シンボルは線分で表されている。この例においては、滞留IDは、丸数字で表されている。水平方向の動きについて説明する。滞留IDとして丸数字の1が対応して描画されている滞留シンボルの描画位置は最初の滞留位置であり、この位置に15画面(フレーム)だけ滞留していることが分かる。また、滞留IDとして丸数字の2が対応して描画されている滞留シンボルの描画位置は、2番目の滞留位置であり、この位置に3画面(フレーム)だけ滞留していることが分かる。
そして、その後に、注目部分の動き方向が順方向から逆方向に変更される。そのため、シンボルの描画位置がシフトされている。この例においては、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、反対側の辺とされている。滞留IDとして丸数字の3が対応して描画されている終端シンボルの描画位置が最終画面(最終フレーム)の位置であり、この位置に15画面(フレーム)だけ滞留していることが分かる。
次に、垂直方向の動きについて説明する。滞留IDとして丸数字の1が対応して描画されている滞留シンボルの描画位置は最初の滞留位置であり、この位置に15画面(フレーム)だけ滞留していることが分かる。また、滞留IDとして丸数字の2が対応して描画されている終端シンボルの描画位置が最終画面(最終フレーム)の位置であり、この位置に15画面(フレーム)だけ滞留していることが分かる。この垂直方向に関しては、注目部分の動き方向は順方向のままである。
図9(a)は、各シンボル、滞留数および滞留IDの他の描画例を示している。この描画例は、基本的には、図8に示す描画例と同様である。この例においては、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。また、図9(b)は、各シンボル、滞留数および滞留IDの他の描画例を示している。この描画例も、基本的には、図8に示す描画例と同様である。この例においても、注目部分の動き方向が逆方向に変更された後のシンボルの描画位置は、同じ辺側の垂直方向にずらした位置とされている。ただし、図9(a)とは、順方向のシンボル描画位置と、逆方向のシンボル描画位置とが、置き換えられている。
なお、図8および図9の描画例では、滞留IDが丸数字である場合を示した。しかし、1,2,3などの各種数字の他、A,B,C・・・、ア、イ、ウ・・・、イ、ロ、ハ・・・などのように、自明的に順序がわかるようなシンボル、あるいは、▽印のように明示的に進行方向を示すシンボルを用いてもよい。
また、上述では、図5、図8、図9に示すように、注目部分の動きを示すシンボルが線分である例を示した。しかし、線分による表示の他に、数字、図10(a)に示すようなシンボル、図10(b)に示すようなグラフ的図形、図10(c)に示すようなグラデーション、あるいは色合いといったものによる表示も考えられる。
[シンボル描画処理の他の例]
また、上述において、シンボル描画部105で描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の注目部分の動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さhは、H*Mv/Mvmaxとされる。ここで、出力機器における周縁部の表示領域の注目部分の動きの方向(注目部分動き方向)に直交する方向の長さをHとし、注目部分の動きの中で最大の動きをMvmaxとし、さらに、各画面の注目部分の動きをMvとしている。
また、上述において、シンボル描画部105で描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の注目部分の動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さhは、H*Mv/Mvmaxとされる。ここで、出力機器における周縁部の表示領域の注目部分の動きの方向(注目部分動き方向)に直交する方向の長さをHとし、注目部分の動きの中で最大の動きをMvmaxとし、さらに、各画面の注目部分の動きをMvとしている。
図11のフローチャートは、その場合におけるシンボル描画部105の処理手順の一例を示している。この図11において、図4と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図11のフローチャートにおいては、図4のフローチャートのステップST28の代わりに、ステップST28Aが挿入されている。
シンボル描画部105は、ステップST28Aにおいて、滞留数が1であるとき、ステップST28Aの処理に移る。このステップST28Aにおいて、シンボル描画部105は、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。この場合、シンボル描画部105は、描画する通常シンボルの長さhを、上述したように、H*Mv/Mvmaxとし、現在フレームの注目部分の動きの大きさMvに対応した長さとする。
シンボル描画部105は、このステップST28Aの処理の後、ステップST27で処理フレームを次のフレームとして、ステップST25の処理に戻る。なお、詳細説明は省略するが、この図11のフローチャートにおけるその他のステップは、図4のフローチャートの対応する処理と同様である。
図12(a)は、図11のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム(画面)の数が40の場合であって、各フレーム(各画面)の滞留数および累積値が図3に示すようであったときの例である。この描画例では、上述の図5に示す描画例とは異なり、通常シンボルの長さが、注目部分の動きの大きさに対応した長さとなっている。図12(b)は、図12(a)におけるシンボル部分を拡大して示したものでる。上述したように通常シンボルの長さhがH*Mv/Mvmaxとされるので、注目部分の動きの中で最大の動きMvmaxの画面で描画される通常シンボルの長さhはHとなっている。
また、図13も、図11のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム(画面)の数が400の場合の例である。この場合、描画される通常シンボルが混み合った状態(塗りつぶされた状態)となっている。しかし、通常シンボルの長さが注目部分の動きの大きさに対応した長さとされているため、画面の細かな動きは分からないが、包絡線により、各画面の注目部分の動きのおおよその傾向を把握可能となる。
このように、図11のフローチャートによるシンボル描画処理を行うことで、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。[TY1]
[シンボル描画処理の他の例]
また、上述において、シンボル描画部105では、滞留数が1(一般には滞留数が1〜N(Nは以上の整数))となる画面の全てで通常シンボルが描画されている。この場合、描画された通常シンボルが混み合って重複を起こす可能性がある。そのため、描画されるシンボル間の近接を判定し、その判定結果に応じて、通常シンボルの描画態様を変化させることが考えられる。
また、上述において、シンボル描画部105では、滞留数が1(一般には滞留数が1〜N(Nは以上の整数))となる画面の全てで通常シンボルが描画されている。この場合、描画された通常シンボルが混み合って重複を起こす可能性がある。そのため、描画されるシンボル間の近接を判定し、その判定結果に応じて、通常シンボルの描画態様を変化させることが考えられる。
<2.第2の実施の形態>
[画像処理装置の構成例]
図14は、第2の実施の形態としての画像処理装置100Bの構成例を示している。この画像処理装置100Bは、画像入力部101と、代表画像作成部102と、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105Bと、出力機器インタフェース(I/F)106と、間引き数算出部108を有している。この図14において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
[画像処理装置の構成例]
図14は、第2の実施の形態としての画像処理装置100Bの構成例を示している。この画像処理装置100Bは、画像入力部101と、代表画像作成部102と、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105Bと、出力機器インタフェース(I/F)106と、間引き数算出部108を有している。この図14において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
例えば、表示領域上で最も近接しているシンボル間の距離dが算出され、この距離dに基づいて、シンボル間の近接が判定される。距離dは、画面の注目部分の動き方向の長さS、注目部分の動きの中で滞留していないと判定された最小の動きVminおよび出力機器における代表画像の表示領域の注目部分の動き方向の長さWを用い、(1)式で算出される。図15は、長さS、累積値Tおよび長さWが、どこに対応しているかを示している。
d=W*Vmin/S ・・・(1)
d=W*Vmin/S ・・・(1)
シンボル描画部105Bでは、表示領域上で最も近接しているシンボル間の距離dが所定値を超えるように、通常シンボルを所定数の画面毎に描画することが考えられる。この場合、通常シンボルは間引きされて描画される。図16のフローチャートは、その場合における間引き数nを求める間引き数算出部108の処理手順の一例を示している。
間引き数算出部108は、ステップST41において、処理を開始し、その後に、ステップST42の処理に移る。このステップST42において、間引き数算出部108は、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向(水平方向と垂直方向の双方)などがある。この場合、間引き数算出部108は、例えば、注目部分動き算出部103で算出される各画面の注目部分の動き(動きベクトル)に基づいて、注目部分の動き方向を取得する。
次に、間引き数算出部108は、ステップST43において、シンボル描画軸を決定する。この場合、シンボル描画部105は、ステップST42で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。
次に、間引き数算出部108は、表示枠の大きさW、つまり上述した出力機器における代表画像の表示領域の注目部分の動き方向の長さWを取得する。この長さWの情報は、例えば、ユーザ操作により与えられるか、あるいは出力機器インタフェース106を通じて出力機器から自動的に取得される。
次に、間引き数算出部108は、ステップST45において、フレームの合算数nを1とする。そして、シンボル描画部105は、ステップST46において、合算後のフレームの最小動きVminに対して、上述の(1)式で、距離dを算出する。そして、間引き数算出部108は、ステップST47において、この算出された距離dが、描画シンボルの弁別可能な値(例えば2)であるか否かを判別する。距離dが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
距離dが描画シンボルの弁別が可能な値であるとき、間引き数算出部108は、ステップST48のシンボル描画部105Bの処理に移る。一方、距離dが描画シンボルの弁別が可能な値でないとき、間引き数算出部108は、ステップST49の処理に移る。このステップST49において、間引き数算出部108は、フレームの合算数nを1だけインクリメントする。そして、間引き数算出部108は、ステップST50において、注目部分の動きをnフレーム毎に合算して、その後に、ステップST46の処理に戻る。
図17のフローチャートは、図16のフローチャートにおけるステップST48のシンボル描画処理を示している。シンボル描画部105Bは、ステップST51において、処理を開始し、その後に、ステップST52の処理に移る。このステップST52において、シンボル描画部105Bは、処理フレーム(処理画面)を最初のフレーム(最初の画面)とする。つまり、処理フレームのフレーム番号kを0とする。また、間引き数nを表示する
次に、シンボル描画部105Bは、ステップST53において、処理フレームが最終フレーム(最終画面)であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部105Bは、ステップST54の処理に移る。このステップST54において、シンボル描画部105Bは、滞留数が0であるか、1であるか、あるいは2以上であるかを判断する。
滞留数が0であるとき、シンボル描画部105Bは、シンボルを描画せず、ステップST55において、処理フレームを次のフレームとし、その後に、ステップST53の処理に戻る。また、滞留数が1であるとき、シンボル描画部105Bは、ステップST56の処理に移る。このステップST56において、シンボル描画部105Bは、現在のフレーム番号kがnの倍数か否かを判別する。
シンボル描画部105Bは、フレーム番号kがnの倍数であるとき、ステップST57の処理に移る。このステップST57において、シンボル描画部105Bは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。そして、シンボル描画部105Bは、ステップST57の処理の後、ステップST55で処理フレームを次のフレームとして、ステップST53の処理に戻る。一方、フレーム番号kがnの倍数でないとき、シンボル描画部105Bは、シンボルを描画せず、ステップST55において、処理フレームを次のフレームとし、その後に、ステップST53の処理に戻る。これにより、通常シンボルの描画はnフレームで1回だけ行われ、間引きが行われる。
また、ステップST54で滞留数が2以上であるとき、シンボル描画部105Bは、ステップST58の処理に移る。このステップST58において、シンボル描画部105Bは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。
また、シンボル描画部105Bは、このステップST58において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部105Bは、ステップST58の処理の後、ステップST55で処理フレームを次のフレームとして、ステップST53の処理に戻る。
また、ステップST53で処理フレームが最終フレームであるとき、シンボル描画部105Bは、ステップST59の処理に移る。このステップST59において、シンボル描画部105Bは、代表画像の現在フレーム(=最終フレーム)の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。
また、シンボル描画部105Bは、このステップST59において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部105Bは、ステップST59の処理の後、ステップST60において、処理を終了する。
図18は、図16、図17のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム(画面)の数が400、そしてn=10の場合の例である。このように、図16、図17のフローチャートによるシンボル描画処理を行うことで、通常シンボルは間引かれて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
なお、図16のフローチャートの処理では、距離dが描画シンボルの弁別が可能な値となるまで、nを1から変化させていき、間引きの割合に関係する最終的なnの値を得るようにしている。しかし、nの値の求め方は、これに限定されるものではない。例えば、単純に、nの値を、dの逆数1/dに近い整数値としてもよい。また、例えば、nを1から変化させていく代わりに、dの逆数1/dに近い整数値から増減して、最終的なnの値を得るようにしてもよい。
[画像処理装置の動作例]
図14に示す画像処理部100Bの動作例を説明する。画像入力部101に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
図14に示す画像処理部100Bの動作例を説明する。画像入力部101に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
画像入力部101では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部101では、各シーンの画像信号を代表画像作成部102および注目部分動き検出部103に順次供給することが行われる。
代表画像作成部102、注目部分動き検出部103、滞留数算出部104およびシンボル描画部105Bでは、各シーンが順次処理対象のシーン(所定シーン)とされて、処理される。すなわち、代表画像作成部102では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面(フレーム)の画像に基づいて、代表画像が作成される。例えば。所定シーンを構成する各画面の画像から、所定の1画面、例えば先頭の1画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
また、注目部分動き算出部103では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き(動きベクトル)が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部104に供給される。滞留数算出部104では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される(図2参照)。また、間引き数算出部108では、表示領域上で最も近接しているシンボル間の距離dが算出され、この距離dに基づいてシンボル間の近接が判定されて、間引き数が算出される。
滞留数算出部104で算出された所定シーン内の各画面の注目部分の滞留数および累積値は、シンボル描画部105Bに供給される。また、間引き数産出部108で算出された間引き数がシンボル描画部105Bに供給される。さらに、このシンボル描画部105Bには、代表画像作成部102で作成された代表画像の画像信号(画像データ)が供給される。このシンボル描画部105Bでは、間引き数の倍数フレーム毎に、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される(図4参照)。
シンボル描画部105Bでは、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)が得られ、この画像信号(画像データ)は出力機器インタフェース(I/F)106に供給される。出力機器インタフェース106では、シンボル描画部105Bから供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部101に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
以上説明したように、図14に示す画像処理装置100Bにおいては、代表画像作成部102により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部103により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部104により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数が算出される。
そして、シンボル描画部105Bにより、この算出された所定シーン内の各画面の注目部分の滞留数に基づいて、代表画像作成部102で作成された代表画像の周縁部に、注目部分の動きを示すシンボル(通常シンボル、滞留シンボル、終端シンボル)が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
また、図14に示す画像処理装置100Bにおいては、間引き数算出部108では、表示領域上で最も近接しているシンボル間の距離dが算出され、この距離dに基づいてシンボル間の近接が判定されて、間引き数が算出される。そして、シンボル描画部105Bでは、間引き数の倍数フレーム毎に、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される(図4参照)。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。
[シンボル描画処理の他の例]
また、上述の図17のフローチャートの処理では、シンボル描画部105Bで描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の注目部分の動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さhは、H*Mv/Mvmaxとされる。ここで、出力機器における周縁部の表示領域の注目部分の動き方向に直交する方向の長さをHとし、注目部分の動きの中で最大の動きをMvmaxとし、さらに、各画面の注目部分の動きをMvとしている。
また、上述の図17のフローチャートの処理では、シンボル描画部105Bで描画される各通常シンボルは同じ長さの線分で表されている。しかし、この通常シンボルの長さを、各画面の注目部分の動きに応じた長さとすることが考えられる。この場合、例えば、所定の画面で描画される通常シンボルの長さhは、H*Mv/Mvmaxとされる。ここで、出力機器における周縁部の表示領域の注目部分の動き方向に直交する方向の長さをHとし、注目部分の動きの中で最大の動きをMvmaxとし、さらに、各画面の注目部分の動きをMvとしている。
図19のフローチャートは、その場合におけるシンボル描画部105Bの処理手順の一例を示している。この図19において、図17と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図19のフローチャートにおいては、図17のフローチャートのステップST57の代わりに、ステップST57Aが挿入されている。
シンボル描画部105Bは、ステップST56でフレーム番号kがnの倍数であるとき、ステップST57Aの処理に移る。このステップST57Aにおいて、シンボル描画部105Bは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして通常シンボルを描画する。この場合、シンボル描画部105Bは、描画する通常シンボルの長さhを、上述したように、H*Mv/Mvmaxとし、現在フレームの注目部分の動きの大きさMvに対応した長さとする。
シンボル描画部105Bは、このステップST57Aの処理の後、ステップST55で処理フレームを次のフレームとして、ステップST53の処理に戻る。なお、詳細説明は省略するが、この図19のフローチャートにおけるその他のステップは、図17のフローチャートの対応する処理と同様である。
図20は、図19のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム(画面)の数が400、そしてn=10の場合の例である。このように、図19のフローチャートによるシンボル描画処理を行うことで、通常シンボルは間引かれて描画される。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、図19のフローチャートによるシンボル描画処理を行うことで、フレーム番号kがnの倍数毎に描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる。
[シンボル描画処理の他の例]
また、上述の図19のフローチャートの処理では、フレーム番号kがnの倍数の画面では通常シンボルが描画されるが、その他の画面では通常シンボルの描画は行われない。しかし、フレーム番号kがnの倍数の画面では通常シンボルを濃色で濃く描画し、その他の画面では通常シンボルを淡色で薄く描画することも考えられる。
また、上述の図19のフローチャートの処理では、フレーム番号kがnの倍数の画面では通常シンボルが描画されるが、その他の画面では通常シンボルの描画は行われない。しかし、フレーム番号kがnの倍数の画面では通常シンボルを濃色で濃く描画し、その他の画面では通常シンボルを淡色で薄く描画することも考えられる。
図21のフローチャートは、その場合におけるシンボル描画部105Bの処理手順の一例を示している。この図21において、図19と対応するステップには同一の符号を付して示し、その詳細説明は省略する。この図21のフローチャートにおいては、図19のフローチャートのステップST57Aの代わりにステップST57Bが挿入され、さらに、フレーム番号kがnの倍数でないときの処理ステップとして、ステップST61が追加されている。
シンボル描画部105Bは、ステップST56でフレーム番号kがnの倍数であるとき、ステップST57Bの処理に移る。このステップST57Bにおいて、シンボル描画部105Bは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして通常シンボルを、濃色で濃く描画する。この場合、シンボル描画部105Bは、描画する通常シンボルの長さhを、上述したように、H*Mv/Mvmaxとし、現在フレームの注目部分の動きの大きさMvに対応した長さとする。シンボル描画部105Bは、このステップST57Bの処理の後、ステップST55で処理フレームを次のフレームとして、ステップST53の処理に戻る。
また、シンボル描画部105Bは、ステップST56でフレーム番号kがnの倍数でないとき、ステップST61の処理に移る。このステップST61において、シンボル描画部105Bは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして通常シンボルを、淡色で薄く描画する。この場合、シンボル描画部105Bは、描画する通常シンボルの長さhを、上述したように、H*Mv/Mvmaxとし、現在フレームの注目部分の動きの大きさMvに対応した長さとする。シンボル描画部105Bは、このステップST61の処理の後、ステップST55で処理フレームを次のフレームとして、ステップST53の処理に戻る。なお、詳細説明は省略するが、この図21のフローチャートにおけるその他のステップは、図19のフローチャートの対応する処理と同様である。
図22は、図21のフローチャートによるシンボル描画処理による描画例を示している。この描画例は、所定シーンを構成するフレーム(画面)の数が400、そしてn=10の場合の例である。このように、図21のフローチャートによるシンボル描画処理では、濃く描画される通常シンボルは間引かれている。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて注目部分の動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分の動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる[TY2]。
<3.第3の実施の形態>
[画像処理装置の構成例]
図23は、第3の実施の形態としての画像処理装置100Aの構成例を示している。この画像処理装置100Aは、画像入力部101と、代表画像作成部102と、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105Aと、出力機器インタフェース(I/F)106と、等速数算出部107を有している。この図23において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
[画像処理装置の構成例]
図23は、第3の実施の形態としての画像処理装置100Aの構成例を示している。この画像処理装置100Aは、画像入力部101と、代表画像作成部102と、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105Aと、出力機器インタフェース(I/F)106と、等速数算出部107を有している。この図23において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
画像入力部101は、処理対象の画像信号を入力する。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。また、この画像入力部101は、入力された画像信号を処理してシーンチェンジ点を検出し、入力された画像信号をシーン毎に分割して、各シーンの画像信号を、代表画像作成部102および注目部分動き算出部103に、順次供給する。
代表画像作成部102、注目部分動き算出部103、滞留数算出部104、等速数算出部107およびシンボル描画部105Aは、各シーンの処理を、順次行う。ここでは、処理対象のシーンを所定シーンとして、各部を説明する。代表画像作成部102は、所定シーンの画像信号を処理し、所定シーンを構成する各画面の画像信号に基づいて、代表画像を作成する。注目部分動き算出部103は、所定シーンの画像信号を処理し、この所定シーン内の各画面の注目部分の動き(動きベクトル)を算出する。滞留数算出部104は、注目部分動き算出部103で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する(図2、図7参照)
等速数算出部107は、注目部分動き算出部103で算出された所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の等速数を算出する。
[等速数算出処理]
図24のフローチャートは、等速数算出部107における処理手順の一例を示している。等速数算出部107は、ステップST71において、処理を開始し、その後に、ステップST72の処理に移る。このステップST72において、等速数算出部107は、等速カウンタCの値を0とし、動き差分小計ADの値を0に設定する。そして、等速数算出部107は、ステップST73において、処理フレーム(処理画面)を最初のフレーム(最初の画面)とする。
図24のフローチャートは、等速数算出部107における処理手順の一例を示している。等速数算出部107は、ステップST71において、処理を開始し、その後に、ステップST72の処理に移る。このステップST72において、等速数算出部107は、等速カウンタCの値を0とし、動き差分小計ADの値を0に設定する。そして、等速数算出部107は、ステップST73において、処理フレーム(処理画面)を最初のフレーム(最初の画面)とする。
次に、等速数算出部107は、ステップST74において、処理フレームが最終フレーム(最終画面)であるか否かを判断する。処理フレームが最終フレームでないとき、等速数算出部107は、ステップST75の処理に移る。このステップST75において、等速数算出部107は、現在フレームの注目部分の動きから前のフレームの注目部分の動きを引いて、現在フレームの動き差分ADを算出する。また、等速数算出部107は、動き差分小計ADに、現在フレームの注目部分の動き差分Dを加算して、現在フレームにおける動き差分小計ADを求める。
次に、等速数算出部107は、ステップST76において、等速か否かを判断する。ここで、等速数算出部107は、動き差分小計ADが閾値の範囲内にあるか否か否かにより、等速か否かを判断する。すなわち、等速数算出部107は、ADが閾値の範囲内にあるときは等速であると判断し、ADが閾値の範囲を超えるときは等速でないと判断する。
等速数算出部107は、等速であると判断するとき、ステップST77の処理に移る。このステップST77において、等速数算出部107は、現在フレームの等速数を0とし、等速カウンタCの値を1だけインクリメントする。また、等速数算出部107は、このステップST77において、動き差分の小計ADの最大値および最小値を記録する。この記録情報は、等速でないと判断される場合の動き差分の小計ADがどの程度であったかを示す情報(メタデータ)となる。例えば、この情報に基づいて、閾値を適応的に変化させることも考えられる。
ステップST76で等速でないと判断するとき、等速数算出部107は、ステップST78の処理に移る。このステップST78において、等速数算出部107は、1フレーム(1画面)前の等速数を等速カウンタCの値とすると共に、現在フレームの等速数を1とし、さらに、現在フレームの注目部分の動き差分Dを記録する。そして、等速数算出部107は、ステップST79において、等速カウンタCの値を1とすると共に、動き差分の小計ADを0にリセットする。
等速数算出部107は、ステップST77の処理の後、およびステップST79の処理の後に、ステップST80の処理に移る。このステップST80において、等速数算出部107は、処理フレームを次のフレームとし、その後に、ステップST74の処理に戻る。
また、ステップST74で処理フレームが最終フレームであるとき、等速数算出部107は、ステップST81の処理に移る。このステップST81において、等速数算出部107は、現在フレーム(=最終フレーム)の等速数を等速カウンタCの値とする。また、等速数算出部107は、このステップST81において、現在フレームの注目部分の動き差分Dを算出して、記録する。そして、等速数算出部107は、ステップST82において、処理を終了する。
図25は、所定シーンを構成するフレーム(画面)の数が40の場合において、各フレームの注目部分の動きMvと、この各フレームの注目部分の動きMvにより得られた滞留数、累積値、動き差分、等速数の一例を示している。滞留数、累積値は、上述の図2、図7のフローチャートで示す滞留数算出処理で得られたものである。また、動き差分および等速数は、上述の図24のフローチャートで示す等速数算出処理で得られたものである。この例においては、フレーム1からフレーム10までは動き差分Dが0であるので連続して等速と判断される。そして、フレーム11で注目部分の動きMvが50であって動き差分Dが50となるので等速でないと判断される。そのため、フレーム1からフレーム9までの等速数は0とされ、フレーム10の等速数は10とされる。
また、この例においては、フレーム11からフレーム17までは動き差分Dが0であるので連続して等速と判断される。そして、フレーム18で動き差分Dが50となるので等速でないと判断される。そのため、フレーム11からフレーム16までの等速数は0とされ、フレーム17の等速数は7とされる。また、この例においては、フレーム18からフレーム20まで動き差分Dが50となるので連続して等速でないと判断される。そのため、フレーム18からフレーム20の等速数は1とされる。
また、この例においては、フレーム21とフレーム22の動き差分Dが0であるので連続して等速と判断される。そして、フレーム23で動き差分Dが−50となるので等速でないと判断される。そのため、フレーム21の等速数は0とされ、フレーム22の等速数は2とされる。また、この例においては、フレーム23からフレーム25まで動き差分Dが−50となるので連続して等速でないと判断される。そのため、フレーム23からフレーム25の等速数は1とされる。また、この例においては、フレーム26からフレーム39までは動き差分Dが0であるので連続して等速と判断される。そのため、フレーム27からフレーム39までの等速数は0とされ、フレーム40の等速数は15とされる。
なお、図24のフローチャートに示す等速数算出処理では、ステップST76における等速の判断を、動き差分小計ADが閾値内にあるか否かで行っている。しかし、所定のフレームにおける等速の判断を、そのフレームにおける動き差分Dが閾値の範囲内にあるか否かで判断するようにしてもよい。
シンボル描画部105Aは、代表画像作成部102で作成された代表画像の周縁部に、注目部分の動きを示すシンボルを描画する。この場合、シンボル描画部105Aは、滞留数算出部104で算出された各画面の滞留数および等速数算出部107で算出された各画面の動き差分Dおよび等速数に基づいて描画処理を行う。また、シンボル描画部105Aは、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)を、出力機器インタフェース(I/F)106に供給する。
[シンボル描画処理]
図26のフローチャートは、シンボル描画部105Aにおける処理手順の一例を示している。シンボル描画部105Aは、ステップST91において、処理を開始し、その後に、ステップST92の処理に移る。このステップST92において、シンボル描画部105Aは、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向(水平方向と垂直方向の双方)などがある。この場合、シンボル描画部105Aは、例えば、注目部分動き算出部103で算出される各画面の注目部分の動き(動きベクトル)に基づいて、注目部分の動き方向を取得する。
図26のフローチャートは、シンボル描画部105Aにおける処理手順の一例を示している。シンボル描画部105Aは、ステップST91において、処理を開始し、その後に、ステップST92の処理に移る。このステップST92において、シンボル描画部105Aは、注目部分の動き方向を取得する。例えば、動き方向としては、水平方向、垂直方向、斜め方向(水平方向と垂直方向の双方)などがある。この場合、シンボル描画部105Aは、例えば、注目部分動き算出部103で算出される各画面の注目部分の動き(動きベクトル)に基づいて、注目部分の動き方向を取得する。
次に、シンボル描画部105Aは、ステップST93において、シンボル描画軸を決定する。この場合、シンボル描画部105Aは、ステップST92で取得した注目部分の動き方向に対応するようにシンボル描画軸を決定する。例えば、注目部分の動き方向が水平方向であるとき、シンボル描画軸は、水平方向に決定される。そして、シンボル描画部105Aは、ステップST94において、表示枠の大きさW、つまり上述した出力機器における代表画像の表示領域の注目部分の動き方向の長さWを取得する。この長さWの情報は、例えば、ユーザ操作により与えられるか、あるいは出力機器インタフェース106を通じて出力機器から自動的に取得される。
次に、シンボル描画部105Aは、ステップST95において、フレームの最小動きVminに対して、上述の(1)式で、距離dを算出する。そして、ステップST96で、この算出された距離dは描画シンボルの弁別可能な値(例えば2)であるか否かを判別する。距離dが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
距離dが描画シンボルの弁別が可能な値であるとき、シンボル描画部105Aは、ステップST97のシンボル描画の処理に移る。このステップST97におけるシンボル描画の処理は、詳細説明は省略するが、上述の図4、図7、図11のフローチャートで示すシンボル描画処理などと同様である。
また、ステップST96で距離dが描画シンボルの弁別が可能な値でないとき、シンボル描画部105Aは、ステップST98の縮退シンボル描画の処理に移る。図27のフローチャートは、図26のフローチャートにおけるステップST98の縮退シンボル描画の処理を示している。
シンボル描画部105Aは、ステップST101において、処理を開始し、その後に、ステップST102の処理に移る。このステップST102において、シンボル描画部105Aは、処理フレーム(処理画面)を最初のフレーム(最初の画面)とする。
次に、シンボル描画部105Aは、ステップST103において、処理フレームが最終フレーム(最終画面)であるか否かを判断する。処理フレームが最終フレームでないとき、シンボル描画部105Aは、ステップST104の処理に移る。このステップST104において、シンボル描画部105Aは、滞留数が0であるか、1であるか、あるいは2以上であるかを判断する。
滞留数が0であるとき、シンボル描画部105Aは、シンボルを描画せずに、ステップST105において、処理フレームを次のフレームとし、その後に、ステップST103の処理に戻る。また、滞留数が1であるとき、シンボル描画部105Aは、ステップST106の処理に移る。このステップST106において、シンボル描画部105Aは、現在フレームの等速数が0であるか、1であるか、あるいは2以上であるかを判別する。
シンボル描画部105Aは、等速数が0であるとき、シンボルを描画せずに、ステップST105において、処理フレームを次のフレームとし、その後に、ステップST103の処理に戻る。また、シンボル処理部105Aは、等速数が1であるとき、ステップST107の処理に移る。このステップST107において、シンボル描画部105Aは、動き差分が正か負かを判断する。
動き差分が正であるとき、シンボル描画部105Aは、ステップST108の処理に移る。このステップST108において、シンボル描画部105Aは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして注目部分の動きが加速されていることを示す加速シンボルを描画する。一方、動き差分が負であるとき、シンボル描画部105Aは、ステップST109の処理に移る。このステップST109において、シンボル描画部105Aは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして注目部分の動きが減速されていることを示す減速シンボルを描画する。そして、シンボル描画部105Aは、ステップST108またはステップST109の処理の後、ステップST105において、処理フレームを次のフレームとし、その後に、ステップST103の処理に戻る。
また、ステップST106で等速数が2以上であるとき、シンボル描画部105Aは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして注目部分の動きが等速であることを示す等速シンボルを描画する。そして、シンボル描画部105Aは、ステップST110の処理の後、ステップST105において、処理フレームを次のフレームとし、その後に、ステップST103の処理に戻る。
また、ステップST104で滞留数が2以上であるとき、シンボル描画部105Aは、ステップST111の処理に移る。このステップST111において、シンボル描画部105Aは、代表画像の現在フレーム(現在画面)の注目部分に対応した位置に、シンボルとして滞留シンボルを描画する。この滞留シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルとは区別可能とされる。また、シンボル描画部105Aは、このステップST111において、滞留シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部105Aは、ステップST111の処理の後、ステップST105で処理フレームを次のフレームとして、ステップST103の処理に戻る。
また、ステップST103で処理フレームが最終フレームであるとき、シンボル描画部105Aは、ステップST112の処理に移る。このステップST112において、シンボル描画部105Aは、代表画像の現在フレーム(=最終フレーム)の注目部分に対応した位置に、シンボルとして終端シンボルを描画する。この終端シンボルは、形状、大きさ、模様、色などにより、上述した通常シンボルおよび滞留シンボルとは区別可能とされる。また、シンボル描画部105Aは、このステップST112において、終端シンボルの描画位置に対応した位置に滞留数をさらに描画する。そして、シンボル描画部105Aは、ステップST112の処理の後、ステップST113において、処理を終了する。
図28は、所定シーンを構成するフレーム(画面)の数が40の場合において、各フレーム(各画面)の滞留数、動き差分、等速数などが図25に示すようであったときの、各シンボルおよび滞留数の描画例を示している。なお、図28の描画例においては、等速、加速、減速のフレーム継続数も表示しているが、この表示はなくともよい。
出力機器インタフェース106は、シンボル描画部105Aから供給される画像データ、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)を、画像表示装置、あるいは記録装置等の出力機器に供給する。例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部101に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
[画像処理装置の動作例]
図23に示す画像処理部100Aの動作例を説明する。画像入力部101に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
図23に示す画像処理部100Aの動作例を説明する。画像入力部101に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
画像入力部101では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部101では、各シーンの画像信号を代表画像作成部102および注目部分動き検出部103に順次供給することが行われる。
代表画像作成部102、注目部分動き算出部103、滞留数算出部104、等速数算出部107およびシンボル描画部105Aでは、各シーンが順次処理対象のシーン(所定シーン)とされて、処理される。すなわち、代表画像作成部102では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面(フレーム)の画像に基づいて、代表画像が作成される。例えば。所定シーンを構成する各画面の画像から、所定の1画面、例えば先頭の1画面の画像が選択されて代表画像とされる。また、例えば、所定シーンを構成する各画面の画像を重ね合わせた合成画像が代表画像として作成される。また、例えば、所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像が代表画像として作成される。
また、注目部分動き算出部103では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き(動きベクトル)が算出される。このように算出された所定シーン内の各画面の注目部分の動きは、滞留数算出部104に供給される。滞留数算出部104では、各画面の注目部分の動きに基づいて、各画面の滞留数および累積値が算出される(図2、図7参照)。さらに、等速数算出部107では、所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の等速数および動き差分が算出される(図24参照)。
滞留数算出部104で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部105Aに供給される。また、等速数算出部107で算出された所定シーン内の各画面の等速数および動き差分は、シンボル描画部105Aに供給される。また、このシンボル描画部105Aには、代表画像作成部102で作成された代表画像の画像信号(画像データ)が供給される。このシンボル描画部105Aでは、所定シーン内の各画面の滞留数、等速数、動き差分などに基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される(図26、図27参照)。
この場合、表示領域上で最も近接しているシンボル間の距離dが算出される。そして、この距離dが描画シンボルの弁別可能な値であるときは、滞留数が1である画面において、代表画像のその画面の注目部分に対応した位置に、シンボルとして通常シンボルが描画される(図4、図7、図11参照)。また、距離dが描画シンボルの弁別可能な値でないとき、滞留数が1で、かつ等速数が1以上である画面において、代表画像のその画面の注目部分に対応した位置に、縮退シンボルとして、加速シンボル、等速シンボル、減速シンボルが描画される(図27参照)。
また、滞留数が2以上である画面においては、代表画像のその画面の注目部分に対応した位置に、シンボルとして滞留シンボルが描画されると共に、それに対応して滞留数も描画される。さらに、終端画面においては、その画面に対応した位置に、シンボルとして終端シンボルが描画されると共に、それに対応して滞留数も描画される。
シンボル描画部105Aでは、シーン毎に、周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)が得られ、この画像信号(画像データ)は出力機器インタフェース(I/F)106に供給される。出力機器インタフェース106では、シンボル描画部105Aから供給される画像信号、つまり周縁部に注目部分の動きを示すシンボルが描画された代表画像の画像信号(画像データ)を、画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
これにより、例えば、画像表示装置においては、周縁部に注目部分の動きを示すシンボルが描画された代表画像の表示が行われる。また、例えば、記録装置においては、画像入力部101に入力された画像信号の各シーンに対応付けされて、各シーンのシンボル描画代表画像の画像信号が、記録媒体に記録される。
以上説明したように、図23に示す画像処理装置100Aにおいては、代表画像作成部102により、所定シーンの画像信号が処理され、この所定シーンを構成する各画面の画像に基づいて代表画像が作成される。また、注目部分動き算出部103により、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動きが算出される。また、滞留数算出部104により、この算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の注目部分の滞留数および動き累積値が算出される。さらに、等速数算出部107により、算出された所定シーン内の各画面の注目部分の動きに基づいて、所定シーン内の各画面の等速数および動き差分が算出される。
シンボル描画部105Aにより、この算出された所定シーン内の各画面の滞留数、動き差分、等速数などに基づいて、代表画像作成部102で作成された代表画像の周縁部に、注目部分の動きを示すシンボル(通常シンボル、滞留シンボル、終端シンボル)が描画される。したがって、閲覧者、編集者等は、シーン内における注目部分の全体的な動きを容易に把握可能となる。つまり、閲覧者、編集者等は、シーン内における注目部分の動きを総覧的に知覚することが可能となる。
また、図23に示す画像処理装置100Aにおいては、表示領域上で最も近接しているシンボル間の距離dが描画シンボル(通常シンボル)の弁別が可能な値でないときは、縮退シンボルとしての加速、等速、減速などシンボルが描画される。そのため、出力機器における代表画像の表示サイズが小さい場合に、描画されるシンボル数を少なくでき、シンボルが混み合い過ぎて注目部分の面動きの把握が困難になるということを防止できる。また、この場合、注目部分の動きの加速期間、等速期間、減速期間を容易に把握可能となる。
なお、図28に示す描画例における加速、等速、減速の縮退シンボルは一例であって、これに限定されるものではない。例えば、図29に示すように、加速、等速、減速の縮退シンボルとして、図形、記号、矢印太さ、矢印向き、矢印の色、言語的シンボル(漢字[加|等|減]、英語[acc|eq|br]など)、矢印の色違い重畳など、が考えられる。また、図示は省略するが、出力機器の形態によっては、点滅や動きのあるアイコンによる表示手法なども適用可能である
図30(a)〜(f)は、種々の縮退シンボルを用いた描画例を示している。この際、矢印の向きについては、基準線に対して上向き、下向き、という形でもよい。また、上述したように画面動きの大きさに対応した長さの通常シンボルを描画する場合と同様のアルゴリズムを用いて、その包絡線に沿った矢印(図30(d)参照)とすることで、各画面の動きの大まかな分布も表すことができる。また、図31(a)〜(c)に示すように、多角形や、長方形の色、グラデーション等を用いての表示なども考えられる。
また、図23に示す画像処理装置100Aにおける上述の縮退シンボルの描画処理では、撮像機(カメラ)の等速運動時にはシンボル数が劇的に減る。しかし、ここでは加速シンボルや減速シンボルが込み合った形で描画される可能性がある。シンボルの形状を工夫することによって、可読性を担保することも可能であるが、以下の方法によって、さらに加速シンボルや減速時シンボルの数を縮退することも可能である。
1つは、等速数で1が連続していることを検知しておき、連続しているうちの最後の1のタイミングでのみ加速シンボルや減速シンボルを描画する手法である。他の1つは、動き差分の、さらに前フレームとの差分を計算する。これを、動き加速差分と呼ぶ。この動き加速差分に基づいて、図24のフローチャートの処理と同様の処理によって、加速等速数を算出し、この加速等速数を上述の等速数と同様に用いて(図27参照)、加速、減速のシンボルを描画するようにしてもよい。
また、図23に示す画像処理装置100Aにおいて、シンボル描画部105Aでは、等速数が1である画面で加速または減速シンボルが描画され、等速数が2以上である画面で等速シンボルが描画されるようになっている(図27参照)。しかし、一般に、等速数が1〜M(Mは1以上の整数)である画面で加速または減速シンボルが描画され、等速数がMを超える画面で等速シンボルが描画されるようにしてもよい。そして、この場合、Mの値を、ユーザが、図示しないユーザ操作部により任意に設定可能としてもよい。
<4.第4の実施の形態>
上述の図23に示す画像処理装置100Aにおけるシンボル描画処理では、表示領域上で最も近接しているシンボル間の距離dが描画シンボルの弁別が可能な値でないときは、縮退シンボル描画の処理を行うようになっている(図26のステップST98)。しかし、この距離dが描画シンボルの弁別が可能な値でないとき、ユーザの選択設定に応じて、縮退シンボル描画か、あるいは間引き描画のいずれかの処理が行われるようにすることもできる。
上述の図23に示す画像処理装置100Aにおけるシンボル描画処理では、表示領域上で最も近接しているシンボル間の距離dが描画シンボルの弁別が可能な値でないときは、縮退シンボル描画の処理を行うようになっている(図26のステップST98)。しかし、この距離dが描画シンボルの弁別が可能な値でないとき、ユーザの選択設定に応じて、縮退シンボル描画か、あるいは間引き描画のいずれかの処理が行われるようにすることもできる。
[画像処理装置の構成例]
図32は、第4の実施の形態としての画像処理装置100Cの構成例を示している。画像処理装置100Cは、画像入力部101と、代表画像作成部102と、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105Cと、出力機器インタフェース(I/F)106と、等速数算出部107と、間引き数算出部108を有している。この図32において、図1、図14、図23と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
図32は、第4の実施の形態としての画像処理装置100Cの構成例を示している。画像処理装置100Cは、画像入力部101と、代表画像作成部102と、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105Cと、出力機器インタフェース(I/F)106と、等速数算出部107と、間引き数算出部108を有している。この図32において、図1、図14、図23と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
図33のフローチャートは、その場合におけるシンボル描画部105Cの処理手順の一例を示している。この図33において、図26と対応するステップには同一の符号を付し、その詳細説明は省略する。シンボル描画部105Cは、ステップST94で表示枠の大きさWを取得した後、ステップST121において、フレームの合算数nを1として、その後に、ステップST95の処理に移る。
そして、シンボル描画部105Cは、ステップST95において、フレームの最小動きVminに対して、上述の(1)式で、距離dを算出する。そして、ステップST96で、この算出された距離dは描画シンボルの弁別が可能な値(例えば2)であるか否かを判別する。距離dが描画シンボルの大きさに比べて小さいときは、ユーザにとって描画された描画シンボルが見にくいものであることが想定される。
また、ステップST96で距離dが描画シンボルの弁別が可能な値でないとき、シンボル描画部105Cは、ステップST122において、ユーザの選択設定が、縮退シンボル描画であるか間引き描画のいずれであるかを判別する。縮退シンボル描画に設定されているとき、シンボル描画部105Cは、ステップST98の縮退シンボル描画の処理に移る。
一方、間引き描画に設定されているとき、シンボル描画部105Cは、ステップST123の処理に移る。このステップST123において、シンボル描画部105Cは、フレームの合算数nを1だけインクリメントする。そして、シンボル描画部105Cは、ステップST124において、注目部分動きをnフレーム毎に合算して、その後に、ステップST95の処理に戻る。
また、シンボル描画部105Cは、ステップST96において、距離dが描画シンボルの弁別が可能な値であるとき、ステップST125のシンボル描画の処理に移る。このシンボル描画の処理は、図16のフローチャートのステップST48の処理に対応する(図17参照)。
<5.第5の実施の形態>
[画像処理装置の構成例]
図34は、第5の実施の形態としての画像処理装置100Dの構成例を示している。この画像処理装置100Dは、画像入力部101と、代表画像作成部102Dと、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105Dと、出力機器インタフェース(I/F)106を有している。また、この画像処理装置100Dは、全画面動き算出部113と、滞留数算出部114を有している。この図34において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
[画像処理装置の構成例]
図34は、第5の実施の形態としての画像処理装置100Dの構成例を示している。この画像処理装置100Dは、画像入力部101と、代表画像作成部102Dと、注目部分動き算出部103と、滞留数算出部104と、シンボル描画部105Dと、出力機器インタフェース(I/F)106を有している。また、この画像処理装置100Dは、全画面動き算出部113と、滞留数算出部114を有している。この図34において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
従来、全体が撮像機(カメラ)の1画面分に収まらない被写体を、パンあるいはチルトなどの手法を用いて、複数フレームで撮影することが行われている。図35は、水平方向に延びる被写体を、撮像機(カメラ)で、パン手法を用いて撮影する例を示している。
また、従来、撮影された、あるいは作成された画像信号を処理して、シーン毎に、所定画面(例えば、最初の画面等)を選択し、その画面の画像を代表画像とすることが行われている。この場合、例えば上述したようにパン手法を用いて撮影された撮像機(カメラ)の1画面分に収まらない被写体に関して、閲覧者、編集者等は、その全体像を把握することができない。
そこで、シーン毎に、上述した和集合画像を代表画像(サムネイル)として作成することが考えられている。このように作成される代表画像にあっては、撮像機(カメラ)の1画面分に収まらない、例えば上述したようにパン手法を用いて撮影された被写体に関して、閲覧者、編集者等は、その全体像を把握することが可能となる。しかし、この代表画像にあっても、どのような速度でパンされているか等の情報を得ることはできない。これでは、画像の閲覧者、編集者等が、そのシーンに、「何が映っているか」だけではなく、「何がどのような表現で映っているか」を総覧的に見る際に問題となる。
図34に示す画像処理装置100Dは、シーン内における注目部分の全体的な動きを容易に把握可能とする他に、和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能とするものである。
代表画像作成部102Dは、所定シーンの画像信号を処理し、この所定シーンを構成する各画面(フレーム)の画像をつなぎ合わせた和集合画像を作成し、その和集合画像を、所定シーンの代表画像とする。この和集合画像を作成する手法については、ここでは詳細説明を省略するが、従来周知であり、特開平07−298137号公報、特開平06−326965号公報などに詳述されている。例えば、代表画像作成部102Dは、所定シーンを構成する各画面の全画面動き(動きベクトル)を算出し、この算出された各画面の全画面動きに基づいて、各画像をつなぎ合わせて、和集合画像を作成する。
全画面動き算出部113は、所定シーンの画像信号を処理し、この所定シーン内の各画面の全画面動き(動きベクトル)を算出する。この全画面動きの算出手法については、ここでは詳細説明を省略するが、従来周知であり、例えば、特開2001−086387号公報、特開2007−104516号公報、特開2004−88474号公報などに詳述されている。例えば、全画面動き算出部113は、上述した代表画像作成部102Dにおける全画面動き(動きベクトル)の算出処理と同様の処理で、所定シーンを構成する各画面の全画面動き(動きベクトル)を算出する。
滞留数算出部114は、全画面動き検出部113で算出された所定シーン内の各画面の全画面動きに基づいて、各画面の滞留数を算出する。詳細説明は省略するが、この滞留数算出部114は、滞留数算出部104と同様にして、各フレームの全画面動きMvに基づいて、各フレーム(各画面)の滞留数および累積値を算出する。すなわち、滞留数算出部104では各フレームの注目部分動きMvが使用されるのに対して、滞留数算出部114では各フレームの全画面動きMvが使用される点で異なる。
シンボル描画部105Dは、滞留数算出部104で算出された各画面の滞留数に基づいて、代表画像作成部102Dで作成された代表画像(和集合画像)の周縁部に、注目部分の動きを示すシンボルを描画する。また、シンボル描画部105Dは、滞留数算出部114で算出された各画面の滞留数に基づいて、代表画像作成部102Dで作成された代表画像(和集合画像)の周縁部に、全画面動きを示すシンボルを描画する。
詳細説明は省略するが、この全画面動きを示すシンボルの描画処理は、注目部分の動きを示すシンボルの描画処理と同様に行われる。なお、あるフレーム(画面)において、注目部分の動きを示すシンボルは代表画像(和集合画像)のそのフレームの注目部分に対応した位置に描画されるが、全画面動きを示すシンボルは代表画像(和集合画像)のそのフレームに対応した位置に描画される。
また、シンボル描画部105Dは、周縁部に注目部分動きおよび全画面動きを示すシンボルがそれぞれ描画された代表画像の画像信号(画像データ)を、出力機器インタフェース(I/F)106に供給する。図34に示す画像処理装置100Dのその他は、詳細説明は省略するが、図1に示す画像処理装置100と同様に構成される。
[画像処理装置の動作例]
図34に示す画像処理部100Dの動作例を説明する。画像入力部101に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
図34に示す画像処理部100Dの動作例を説明する。画像入力部101に、処理対象の画像信号が入力される。この処理対象の画像信号は、例えば、撮像機(カメラ)で撮像されて得られたものであり、撮像機(カメラ)から直接供給され、あるいは、所定の記録媒体から読み出されて供給される。
画像入力部101では、入力された画像信号が処理されてシーンチェンジ点が検出され、入力された画像信号がシーン毎に分割される。そして、画像入力部101では、各シーンの画像信号を代表画像作成部102D、注目部分動き検出部103および全画面動き算出部113に順次供給することが行われる。
代表画像作成部102、注目部分動き検出部103、滞留数算出部104、全画面動き算出部113、滞留数算出部114およびシンボル描画部105Dでは、各シーンが順次処理対象のシーン(所定シーン)とされて、処理される。代表画像作成部102Dでは、各シーンが順次処理対象のシーン(所定シーン)とされて、処理される。すなわち、代表画像作成部102では、所定シーンの画像信号が処理され、この所定シーンを構成する各画面(フレーム)の画像をつなぎ合わせた和集合画像が作成され、その和集合画像が所定シーンの代表画像とされる。
注目部分動き算出部103では、所定シーンの画像信号が処理され、この所定シーン内の各画面の注目部分の動き(動きベクトル)が算出される。この所定シーン内の各画面の注目部分の動きは、滞留数算出部104に供給される。滞留数算出部104では、所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数および累積値が算出される(図2参照)。
全画面動き算出部113では、所定シーンの画像信号が処理され、この所定シーン内の各画面の全画面動き(動きベクトル)が算出される。このように算出された所定シーン内の各画面の全画面動きは、滞留数算出部114に供給される。滞留数算出部114では、所定シーン内の各画面の全画面動きに基づいて、所定シーン内の各画面の滞留数および累積値が算出される。
滞留数算出部104で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部105に供給される。また、滞留数算出部114で算出された所定シーン内の各画面の滞留数および累積値は、シンボル描画部105Dに供給される。さらに、このシンボル描画部105Dには、代表画像作成部102Dで作成された代表画像の画像信号(画像データ)が供給される。
シンボル描画部105Dでは、各画面の注目部分の滞留数に基づいて、代表画像の周縁部に、注目部分の動きを示すシンボルが描画される(図4参照)。また、シンボル描画部105Dでは、各画面の全画面の滞留数に基づいて、代表画像の周縁部に、全画面動きを示すシンボルが描画される。
これにより、シンボル描画部105Dでは、シーン毎に、周縁部に注目部分の動きおよび全画面動きをそれぞれ示すシンボルが描画された代表画像(和集合画像)の画像信号(画像データ)が得られる。この画像信号(画像データ)は、出力機器インタフェース(I/F)106に供給される。そして、出力機器インタフェース106では、この画像信号(画像データ)を画像表示装置、あるいは記録装置等の出力機器に供給することが行われる。
図36は、注目部分の動き方向および全画面動きの方向が水平方向の描画例を示している。代表画像(和集合画像)の周縁に、注目部分の動きを示すシンボル(シンボル群)120Aおよび全画面動きを示すシンボル(シンボル群)120Bが描画されている。
上述したように、図34に示す画像処理装置100Dにおいては、シーン内における注目部分の全体的な動きを容易に把握可能となると共に、和集合画像からなるシーン代表画像において、シーン内の全体像を把握できるだけでなく、シーン内の各画面の動きも把握可能となる。
なお、全画面動きを示すシンボルの描画態様に関しても、上述した注目部分の動きを示すシンボルの描画態様と同様に種々の態様を取ることができることは勿論である(図8、図9、図10、図12、図13、図18、図20、図22、図28など参照)。図37は、代表画像(和集合画像)の周縁に、注目部分の動きを示すシンボル(シンボル群)120Aおよび全画面動きを示すシンボル(シンボル群)120Bが描画されている他の描画例を示している。
この描画例では、濃く描画される通常シンボルは間引かれている。そのため、出力機器における代表画像の表示サイズが小さい場合であっても、描画された通常シンボルが混み合い過ぎて動きの把握が困難になるということを防止できる。また、この場合、各画面で描画される通常シンボルの長さはその画面の注目部分動き、全画面動きに対応したものとなり、この通常シンボルが示す情報量を増すことができる[TY3]。
なお、上述したように、所定シーンを構成する各画面(フレーム)の画像をつなぎ合わせた和集合画像を代表画像とする場合、表示領域上で最も近接しているシンボル間の距離dは、上述した(1)式の代わりに、以下の(2)式で算出される。すなわち、距離dは、画面の全画面動き方向の長さS、全画面動きの累積値T、全画面動きの中で滞留していないと判定された最小の動きVminおよび出力機器における代表画像の表示領域の全画面動き方向の長さWを用い、(2)式で算出される。図38は、長さS、累積値Tおよび長さWが、どこに対応しているかを示している。
d=W*Vmin/(S+T) ・・・(2)
d=W*Vmin/(S+T) ・・・(2)
この発明は、シーン毎の画像信号から、各シーンの代表画像(サムネイル)を作成する画像処理装置に適用できる。
100,100A〜100D・・・画像処理装置
101・・・画像入力部
102,102D・・・代表画像作成部
103・・・注目部分動き算出部
104・・・滞留数算出部
105,105A〜105D・・・シンボル描画部
106・・・出力機器インタフェース
107・・・等速数算出部
108・・・間引き数算出部
113・・・全画面動き算出部
114・・・滞留数算出部
120A,120B・・・シンボル(シンボル群)
101・・・画像入力部
102,102D・・・代表画像作成部
103・・・注目部分動き算出部
104・・・滞留数算出部
105,105A〜105D・・・シンボル描画部
106・・・出力機器インタフェース
107・・・等速数算出部
108・・・間引き数算出部
113・・・全画面動き算出部
114・・・滞留数算出部
120A,120B・・・シンボル(シンボル群)
Claims (17)
- 所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成部と、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置。 - 上記所定シーン内の各画面の注目部分の動きに基づいて、各画面の注目部分の滞留数を算出する滞留数算出部をさらに備え、
上記滞留数算出部は、
所定画面の注目部分において、滞留していると判断するとき、該所定画面の注目部分の滞留数を0にすると共に、滞留カウンタを1だけインクリメントし、滞留していないと判断するとき、1つ前の画面の注目部分の滞留数を上記滞留カウンタの値とし、該所定画面の注目部分の滞留数を1とすると共に、該滞留カウンタの値を1とし、さらに、最終画面の注目部分の滞留数を上記滞留カウンタの値とし、
上記シンボル描画部は、
上記滞留数算出部で算出された各画面の注目部分の滞留数に基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画する
請求項1に記載の画像処理装置。 - 上記シンボル描画部は、所定画面の注目部分の滞留数が1以上のとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルを描画する
請求項2に記載の画像処理装置。 - 上記シンボル描画部は、
上記所定画面の注目部分の滞留数が1以上N(Nは1以上の整数)以下であるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルとして通常シンボルを描画し、
上記所定画面の注目部分の滞留数が上記Nを超えるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記シンボルとして滞留シンボルを描画する
請求項3に記載の画像処理装置。 - 上記シンボル描画部は、
上記シンボルとして上記注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、
上記所定画面の注目部分の滞留数がN以下で描画する上記通常シンボルの長さを、該所定画面の注目部分の動きの大きさに対応した長さとする
請求項4に記載の画像処理装置。 - 上記シンボル描画部は、
出力機器における上記周縁部の表示領域の上記注目部分の動きの方向に直交する方向の長さをHとし、上記注目部分の動きの中で最大の動きをMvmaxとし、さらに、各画面の注目部分の動きをMvとするとき、上記所定画面の注目部分の滞留数が1以上N以下で描画する上記通常シンボルの長さhを、H*Mv/Mvmaxとする
請求項5に記載の画像処理装置。 - 上記シンボル描画部は、
上記描画されるシンボル間の近接を判定し、該判定結果に応じて、上記所定画面の注目部分の滞留数が1以上N以下で描画される上記通常シンボルの描画態様を変化させる
請求項4に記載の画像処理装置。 - 上記シンボル描画部は、
上記注目部分の動きの方向の上記描画されるシンボル間の距離が出力機器の表示領域上で所定値を超えるように、上記通常シンボルを所定数の画面毎に描画する
請求項7に記載の画像処理装置。 - 上記シンボル描画部は、
上記シンボルとして上記注目部分の動きの方向に直交する方向に延びる線分状のシンボルを描画し、
上記出力機器における上記周縁部の表示領域の、上記注目部分の動きの方向に直交する方向の長さをHとし、上記注目部分の動きの中で最大の動きをMvmaxとし、さらに、各画面の注目部分の動きをMvとするとき、上記所定画面の注目部分の滞留数が1以上N以下で描画する上記通常シンボルの長さhを、H*Mv/Mvmaxとし、
上記所定数の画面毎に描画する上記通常シンボルを濃く描画し、その他の画面で上記通常シンボルを薄く描画する
請求項8に記載の画像処理装置。 - 上記シンボル描画部は、
上記注目部分の動きの方向の、上記描画されるシンボル間の距離が上記出力機器の表示領域上で所定値より小さいとき、各画面における前の画面との間の注目部分の動き差分に応じて、加速期間に対応して加速シンボルを描画し、等速期間に対応して等速シンボルを描画し、減速期間に対応して減速シンボルを描画する
請求項7に記載の画像処理装置。 - 上記所定シーン内の各画面の前の画面との間の注目部分の動き差分に基づいて、各画面の等速数を算出する等速数算出部をさらに備え、
上記等速数算出部は、
所定画面の注目部分において、滞留していると判断するとき、該所定画面の注目部分の等速数を0にすると共に、等速カウンタを1だけインクリメントし、滞留していないと判断するとき、1つ前の画面の注目部分の等速数を上記等速カウンタの値とし、該所定画面の注目部分の等速数を1とすると共に、該等速カウンタの値を1とし、
上記シンボル描画部は、
上記所定画面の注目部分の等速数が1以上M(Mは1以上の整数)以下であるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記加速シンボルまたは上記減速シンボルを表示し、
上記所定画面の注目部分の等速数が上記Mを超えるとき、上記代表画像の周縁部の該所定画面の注目部分に対応した位置に、上記等速シンボルを描画する
請求項10に記載の画像処理装置。 - 上記等速数算出部は、
各画面の上記注目部分の動き差分を累積していく累積手段を有し、
上記所定画面の注目部分において、累積手段の累積値が閾値の範囲内にあるか否かにより、等速動きをしているか否かを判断し、さらに、等速動きをしていないと判断するとき上記累積手段の累積値を0にリセットする
請求項11に記載の画像処理装置。 - 上記等速数算出部は、
上記所定画面の注目部分において、該所定画面の注目部分の動き差分が閾値の範囲内にあるか否かにより、等速動きをしているか否かを判断する
請求項11に記載の画像処理装置。 - 上記シンボル描画部は、
上記注目部分の動きの方向の1画面分の長さをSとし、上記注目部分の動きの中で滞留していないと判定された最小の動きをVminとし、さらに、出力機器における上記代表画像の表示領域の上記注目部分の動きの方向の長さをWとして、該表示領域上で最も近接しているシンボル間の距離dを、W*Vmin/Sの式で算出し、該距離dに基づいて、上記シンボル間の近接を判定する
請求項7に記載の画像処理装置。 - 上記所定シーンの画像信号を処理し、該所定シーン内の各画面の注目部分の動きを算出する注目部分動き算出部をさらに備え、
上記シンボル描画部は、上記注目部分動き算出部で算出された上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画する
請求項1に記載の画像処理装置。 - 所定シーンを構成する各画面の画像に基づいて代表画像を作成する代表画像作成ステップと、
上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成ステップで作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画ステップと
を有する画像処理方法。 - 所定シーンを構成する各画面の画像をつなぎ合わせた和集合画像を代表画像として作成する代表画像作成部と、
上記所定シーン内の各画面の全画面動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、全画面動きを示すシンボルを描画すると共に、上記所定シーン内の各画面の注目部分の動きに基づいて、上記代表画像作成部で作成された上記代表画像の周縁部に、上記注目部分の動きを示すシンボルを描画するシンボル描画部と
を備える画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274387A JP2012124739A (ja) | 2010-12-09 | 2010-12-09 | 画像処理装置および画像処理方法 |
US13/308,657 US8588475B2 (en) | 2010-12-09 | 2011-12-01 | Image processing apparatus and image processing method for indicating movement information |
CN2011104026558A CN102572268A (zh) | 2010-12-09 | 2011-12-02 | 图像处理装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274387A JP2012124739A (ja) | 2010-12-09 | 2010-12-09 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012124739A true JP2012124739A (ja) | 2012-06-28 |
Family
ID=46199428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010274387A Withdrawn JP2012124739A (ja) | 2010-12-09 | 2010-12-09 | 画像処理装置および画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8588475B2 (ja) |
JP (1) | JP2012124739A (ja) |
CN (1) | CN102572268A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101977703B1 (ko) * | 2012-08-17 | 2019-05-13 | 삼성전자 주식회사 | 단말의 촬영 제어 방법 및 그 단말 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06333048A (ja) | 1993-05-27 | 1994-12-02 | Toshiba Corp | 動画像処理装置 |
JPH11168685A (ja) * | 1997-12-04 | 1999-06-22 | Sony Corp | 画像処理方法 |
US6609064B1 (en) * | 1999-08-31 | 2003-08-19 | Qwest Communications Int'l, Inc. | System and method for grouping GPS data into moving and stationary segments |
US7447331B2 (en) * | 2004-02-24 | 2008-11-04 | International Business Machines Corporation | System and method for generating a viewable video index for low bandwidth applications |
US7561989B2 (en) * | 2006-04-04 | 2009-07-14 | Procise | Extracting performance metrics from images |
JP4933354B2 (ja) * | 2007-06-08 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、及び情報処理方法 |
US8717412B2 (en) * | 2007-07-18 | 2014-05-06 | Samsung Electronics Co., Ltd. | Panoramic image production |
-
2010
- 2010-12-09 JP JP2010274387A patent/JP2012124739A/ja not_active Withdrawn
-
2011
- 2011-12-01 US US13/308,657 patent/US8588475B2/en not_active Expired - Fee Related
- 2011-12-02 CN CN2011104026558A patent/CN102572268A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN102572268A (zh) | 2012-07-11 |
US20120148107A1 (en) | 2012-06-14 |
US8588475B2 (en) | 2013-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1899025B1 (en) | Image enhancement in sport recordings | |
KR100215586B1 (ko) | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 | |
JP4819001B2 (ja) | 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム | |
US9542754B2 (en) | Device and method for detecting moving objects | |
JP4685465B2 (ja) | 監視記録装置 | |
JP4898532B2 (ja) | 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 | |
US8199221B2 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
JP5810307B2 (ja) | 撮像装置 | |
CN101548546B (zh) | 输出设备、输出方法和程序 | |
JP2003219225A (ja) | 動体画像監視装置 | |
JP2005277531A (ja) | 動画像処理装置 | |
JP5754458B2 (ja) | 動画像抽出装置、動画像抽出方法及びプログラム | |
JP2014215604A (ja) | 画像処理装置および画像処理方法 | |
CN114419073B (zh) | 一种运动模糊生成方法、装置和终端设备 | |
JP2011077754A (ja) | カメラ及びカメラの記録方法 | |
WO2007129591A1 (ja) | 遮蔽物映像識別装置及び方法 | |
JP5272775B2 (ja) | 電子スチルカメラ | |
JP2012124739A (ja) | 画像処理装置および画像処理方法 | |
JP2013218049A (ja) | 撮像装置とフォーカス制御方法およびプログラム | |
JP5598041B2 (ja) | 画像処理装置および画像処理方法 | |
US20130106850A1 (en) | Representative image decision apparatus, image compression apparatus, and methods and programs for controlling operation of same | |
US11696025B2 (en) | Image processing apparatus capable of classifying an image, image processing method, and storage medium | |
US20120169937A1 (en) | Image processing apparatus and image processing method | |
JP5029573B2 (ja) | 撮像装置及び撮像方法 | |
JP2001238130A (ja) | 移動体画像の高画質化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140304 |