JP2011130187A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】 撮影を行う場合や撮影画像の編集を行う場合に、イマジナリラインをユーザに意識させる。
【解決手段】 プレビュー用に撮影された画像から複数の特徴点を検出し、検出した特徴点から、始点となる始点特徴点と終点となる終点特徴点をユーザに選択させる。その後、撮影が開始すると、始点特徴点と終点特徴点が撮影された画像にあるか否かを判定し、ある場合には、始点特徴点及び終点特徴点の位置関係と、直前に得られた始点特徴点及び終点特徴点の位置関係とを比較する。そして、始点特徴点及び終点特徴点の位置関係が同じである場合には、始点特徴点から終点特徴点に向かうイマジナリラインを表示する。一方、始点特徴点及び終点特徴点の位置関係が同じでない場合には、始点特徴点から終点特徴点に向かうイマジナリラインを、位置関係が同じ場合に表示するイマジナリラインと異なる態様で表示する。
【選択図】 図７

Description

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、イマジナリラインの法則に従った撮影や編集を行うために用いて好適なものである。

従来、ビデオカメラで撮影した映像を鑑賞する場合、カットの前後で画面上の人物の位置等が逆になってしまい、視聴者が混乱をきたすことがあった。これは、撮影技法の「イマジナリラインの法則」を守らないために発生する。イマジナリラインとは、会話する二人や２つの互いに関係する物体の間（星と宇宙船、パソコンと操作する人等）の仮想のラインである（図１０（ａ）のイマジナリライン１００１を参照）。このイマジナリライン１００１をまたいで撮影を行うと、画面上で人物の位置等が逆になってしまい、視聴者が混乱することになる。ここで、図１０（ａ）に示すようなカメラ１００４〜１００６の配置であるとする。図１０（ｂ）に示すように、Ａカメラ１００４からＢカメラ１００５に映像を切り替えた場合、イマジナリライン１００１をまたいで撮影されていないので、カット間で被写体１００２、１００３の左右の関係に変化はない。このため、視聴者が混乱することはない。一方、図１０（ｃ）に示すようにＡカメラ１００４からＣカメラ１００６に映像を切り替えた場合には、イマジナリライン１００１をまたいで撮影されているため、カット間で被写体１００２、１００３の左右が逆転し、視聴者に混乱を与える虞がある。

イマジナリラインをまたがない撮影の方法としては、周囲の状況をセンシングにより把握して自動的に撮影手法を設計するという方法がある（特許文献１を参照）。また、複数のカメラからイマジナリラインをまたがないカメラを選択する方法として、撮影技法に基づいた評価を行い、その結果に基づいて一つのカメラを選択するという方法がある（特許文献２を参照）。

特開２００７−２３５３９９号 特開２００６−２１１５３１号 特開平９−２５１５３４号公報

しかしながら、特許文献１、２に記載の技術では、カメラを固定させた状態で撮影するようにしているため、予め撮影位置が限定されてしまう。また、特許文献１、２に記載の技術は、撮影手法や撮影に使用するカメラが装置側で自動的に決められるものである。よって、ユーザにイマジナリラインを意識させることが困難であるという問題点があった。
本発明は、このような問題点に鑑みてなされたものであり、撮影中や撮影画像の編集時に、イマジナリラインをユーザに意識させるようにすることを目的とする。

本発明の画像処理装置は、撮影された画像における第１の特徴点および第２の特徴点により定まるイマジナリラインを、前記画像に重ねて表示させる表示手段と、前記画像よりも前に撮影された画像における前記第１の特徴点および前記第２の特徴点の位置関係に対して、前記画像における前記第１の特徴点および前記第２の特徴点の位置関係が反転したか否かを判定し、位置関係が反転していると判定すると、ユーザに警告する警告手段と、を有することを特徴とする。

本発明によれば、撮影された画像における第１の特徴点および第２の特徴点の位置関係に対して、当該画像よりも前に撮影された画像における第１の特徴点および第２の特徴点との位置関係が反転している場合にはユーザに警告するための情報を表示する。したがって、撮影を行う場合や撮影画像の編集を行う場合に、イマジナリラインをユーザに意識させることができる。

画像処理装置の構成を示す図である。 第２の実施形態の画像処理装置の処理の流れを示すフローチャートである。 図２のステップＳ２０１の詳細を示す図である。 初期の始点と終点をユーザが選択する様子を示す図である。 図２のステップＳ２０３及びＳ２０４の詳細を示すフローチャートである。 図５のステップＳ７０７の判定方法の詳細を説明する図である。 イマジナリライン設定画面を示す図である。 第２の実施形態の画像処理装置の処理の流れを示すフローチャートである。 図８のステップＳ１００７の詳細を示すフローチャートである。 イマジナリラインをまたがる撮影とまたがらない撮影を説明する図である。

（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、画像処理装置（本実施形態では撮影装置）の構成の一例を示す図である。尚、撮影装置は、デジタルカメラやデジタルビデオカメラ等である。
撮像部１０１は、被写体の光量を検知する。撮像部１０１は、例えば、ズームレンズと、フォーカスレンズと、ぶれ補正レンズと、絞りと、シャッターと、光学ローパスフィルタと、ｉＲカットフィルタと、カラーフィルタと、CMOSセンサやCCDセンサ等のセンサ等を備えて構成される。
Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、Ａ／Ｄ変換部１０２で得られたデジタル値に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理等を行い、デジタル画像（映像）を生成する。Ｄ／Ａ変換部１０４は、信号処理部１０３で得られたデジタル画像に対しアナログ変換を行う。

エンコーダ部１０５は、信号処理部１０３で得られたデジタル画像を、JPEG・MPEG・H.264等のファイルフォーマットに変換する処理を行う。メディアインターフェース（メディアＩ／Ｆ）１０６は、ＰＣ、その他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。
ＣＰＵ１０７は、各構成の処理の全てに関わり、ＲＯＭ１０８やＲＡＭ１０９に格納された命令を順に読み出して解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ１０７に提供する。

撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節する等、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤル等を備え、ＣＰＵ１０７は、これらを介して入力されたユーザからの指示を受け取る。キャラクタージェネレーション部１１２は、文字やグラフィック等を生成する。
表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１２やＤ／Ａ変換部１０４から受け取った撮影画像や文字の表示を行う。また、表示部１１３は、タッチスクリーン機能を有していても良く、その場合は、表示部１１３（タッチスクリーン）に対するユーザからの指示を操作部１１１の入力として扱うことも可能である。
尚、画像処理装置１００の構成要素は、図１に示したもの以外にも存在するが、本実施形態の主眼ではないので、ここではその詳細な説明を省略する。

次に、本実施形態における画像処理装置１００の処理の概要の一例について説明する。本実施形態では、画像処理装置１００は、撮影された画像の特徴点をユーザに指定させ、撮影時及びプレビュー時に、イマジナリラインの表示及び警告を行う。

図２のフローチャートを参照しながら、イマジナリラインの表示、警告を行う場合の画像処理装置１００の基本的な流れの一例を説明する。
まず、ステップＳ２０１において、画像処理装置１００は、プレビュー表示された画像に対するユーザからの指示に基づいて、初期の始点と終点（特徴点）を設定する。
次に、ステップＳ２０２において、画像処理装置１００は、動画像の撮影を開始する。
次に、ステップＳ２０３において、画像処理装置１００は、イマジナリラインの表示及び警告を行う。
次に、ステップＳ２０４において、画像処理装置１００は、撮影した画像と、撮影した画像の始点・終点（特徴点）とを相互に関連付けて記憶メディアに保存する。特徴点のデータは、画像に付加してもよいし、画像と別々であってもよい。画像と別々にした場合、特徴点のデータには画像と同期できるようにタイムコードやマーカを付加する。

次に、図２のステップＳ２０１の詳細を説明する。
本実施形態では、画像処理装置１００の操作部１１１には、撮影開始・終了ボタンがある。この撮影開始・終了ボタンをユーザが押すと撮影が開始し、もう一度押すと撮影が終了する。また、操作部１１１には、特徴点指定モードの開始ボタンがある。特徴点指定モードの開始ボタンをユーザが押すと、ユーザは特徴点を指定できるようになる。そして、表示部１１３のタッチスクリーンをユーザが操作することで、初期の始点と終点（特徴点）が指定される。

図３は、図２のステップＳ２０１の詳細を説明するフローチャートである。
まず、ステップＳ４０１において、ＣＰＵ１０７は、特徴点指定モードに移行するまで待機する。具体的にＣＰＵ１０７は、特徴点指定モードの開始ボタンがユーザによって押下されるまで待機する。そして、特徴点指定モードに移行すると、ステップＳ４０２に進む。
次に、ステップＳ４０２において、ＣＰＵ１０７は、現在の画像から特徴点を検出する。特徴点とは、例えば、画像処理装置１００内の顔検出アルゴリズムで検出される顔領域である。顔検出を行う手法としては、例えば、分離度フィルタによって予め探索点数を減らした後、パターンマッチングにより特徴点の候補を検出する方法がある（特許文献３を参照）。顔検出アルゴリズムは、公知の技術を用いることにより実現できるので、ここではその詳細な説明を省略する。

次に、ステップＳ４０３において、ＣＰＵ１０７は、ステップＳ４０２で特徴点が２箇所以上検出できたか否かを判定する。この判定の結果、ステップＳ４０２で特徴点が２箇所以上検出できなかった場合には、ステップＳ４０９に進み、ＣＰＵ１０７は、イマジナリラインの設定ができないことを示す情報を表示部１１３に表示させる。そして、図３（図２）のフローチャートによる処理を終了する。
一方、ステップＳ４０３で特徴点が２箇所以上検出できた場合には、ステップＳ４０４に進み、ＣＰＵ１０７は、ステップＳ４０２で検出した特徴点を表示部１１３に表示させる。また、このとき、ＣＰＵ１０７は、ステップＳ４０２で検出した特徴点の中から始点となる特徴点を指定することをユーザに促すメッセージも表示部１１３に表示させる。
図４は、複数の特徴点から初期の始点と終点をユーザが選択する様子の一例を示す図である。
ステップＳ４０４で表示される特徴点は、図４（ａ）に示すように、点線等で囲まれている顔検出された領域４０１ａ〜４０１ｄである。また、図４（ａ）に示すように、領域４０１ａ〜４０１ｄの中から始点となる特徴点（第１の特徴点）である被写体を指定することをユーザに促すメッセージ４０２も表示部１１３に表示される。

次に、ステップＳ４０５において、ＣＰＵ１０７は、ステップＳ４０２で検出した特徴点の中から始点となる特徴点がユーザによって１つ指定されるまで待機する。前述したように、特徴点の指定は、表示部１１３のタッチスクリーンを用いて行われる。このときの様子を、図４（ｂ）に示す。そして、始点となる特徴点が指定されるとステップＳ４０６に進む。
ステップＳ４０６に進むと、ＣＰＵ１０７は、ステップＳ４０２で検出した特徴点のうち、ステップＳ４０５で指定された特徴点を除く特徴点の中から終点となる特徴点（第２の特徴点）を指定することをユーザに促すメッセージを表示部１１３に表示させる。また、このとき、ＣＰＵ１０７は、ステップＳ４０５で指定された特徴点（領域４０１）を囲む線の表示態様を点線から実線に変更させる。このときの様子を図４（ｃ）に示す。図４（ｃ）に示すように、領域４０１ｂ〜４０１ｄの中から終点となる特徴点（被写体）を指定することをユーザに促すメッセージ４０３も表示部１１３に表示される。

次に、ステップＳ４０７において、ＣＰＵ１０７は、ステップＳ４０２で検出した特徴点のうち、ステップＳ４０５で指定された特徴点を除く特徴点の中から終点となる特徴点がユーザによって１つ指定されるまで待機する。この特徴点の指定も、表示部１１３のタッチスクリーンを用いて行われる。このときの様子を、図４（ｄ）に示す。そして、終点となる特徴点が指定されるとステップＳ４０８に進む。

次に、ステップＳ４０８において、ＣＰＵ１０７は、始点の特徴量C＿s＿Val及び始点の中心座標C＿s(0)と、終点の特徴量C＿e＿Val及び終点の中心座標C＿e(0)とを記憶メディアに記憶する。ここで、始点の中心座標C＿s(0)から終点の中心座標C＿e(0)に向かうベクトルをV(0)とする。また、このとき、ＣＰＵ１０７は、始点と終点とが指定されたことを示すメッセージを表示部１１３に表示させると共に、ステップＳ４０７で指定された特徴点を囲む線の表示態様を点線から実線に変更させる。このときの様子を、図４（ｅ）に示す。図４（ｅ）に示すように、始点と終点とが指定されたことを示すメッセージ４０４が表示部１１３に表示されると共に、終点として指定された特徴点（領域４０１ｂ）を囲む線の表示態様が点線から実線に変更される。

ここで、図４（ｆ）に示すように、顔領域４０１とは顔の全体を示し、顔領域４０１を検出するために用いるのが特徴量４０５であり、顔領域４０１の中心点４０６が始点及び終点である。
以上のようにして図３のフローチャートによる処理が終了する。

次に、図５のフローチャートを参照しながら、図２のステップＳ２０３及びＳ２０４の詳細を説明する。尚、ステップＳ２０３及びＳ２０４の処理と並行して、撮像部１０１で得られた画像が取り込まれる。
まず、ステップＳ７０１において、ＣＰＵ１０７は、ＲＡＭ１０９等に記憶されているカウンタｉを「０」にリセットする。カウンタｉは、フレーム等、処理対象の画像を特定するためのものである。
次に、ステップＳ７０２において、ＣＰＵ１０７は、ｉで特定される画像に始点となる特徴点が存在するか否かを判定する。ここで、始点となる特徴点とは、図３のステップＳ４０５で指定された特徴点であり、本実施形態では顔領域４０１のことである。特徴点が存在するか否かは、例えば、特徴量C＿s＿Valに対し既定の閾値以内の特徴量が撮影されている画像に存在するか否かで判定する。

この判定の結果、ｉで特定される画像に始点となる特徴点が存在した場合には、ステップＳ７０３に進み、存在しなかった場合には、後述するステップＳ７１２に進む。
ステップＳ７０３に進むと、ＣＰＵ１０７は、ｉで特定される画像に終点の特徴点が存在するか否かを判定する。ここで、終点となる特徴点とは、図３のステップＳ４０７で指定された特徴点であり、本実施形態では顔領域４０１のことである。特徴点が存在するか否かは、例えば、特徴量C＿e＿Valに対し既定の閾値以内の特徴量が撮影されている画像に存在するか否かで判定する。
この判定の結果、撮影されている画像に終点となる特徴点が存在した場合は、ステップＳ７０４に進み、存在しなかった場合には、後述するステップＳ７１２に進む。

ステップＳ７０４に進むと、ＣＰＵ１０７は、でカウンタｉの値に「１」を加算する。
次に、ステップＳ７０５において、ＣＰＵ１０７は、ｉで特定される画像に始点となる特徴点が存在するか否かを判定する。この判定の結果、ｉで特定される画像に始点となる特徴点が存在した場合には、ステップＳ７０６に進み、存在しなかった場合には、後述するステップＳ７１２に進む。
ステップＳ７０６に進むと、ＣＰＵ１０７は、ｉで特定される画像に終点の特徴点が存在するか否かを判定する。この判定の結果、撮影されている画像に終点となる特徴点が存在した場合は、ステップＳ７０７に進み、存在しなかった場合には、後述するステップＳ７１２に進む。
本実施形態では、以上のステップＳ７０２、Ｓ７０３、Ｓ７０５、Ｓ７０６によって、ユーザによって指定された特徴点が、撮影されている画像から検索される。

次に、ステップＳ７０７において、ＣＰＵ１０７は、次の処理を行う。すなわち、ＣＰＵ１０７は、ｉで特定される画像における始点から終点までのベクトルV(i)のＸ成分（画面の横方向の成分）と、ｉ−１で特定される画像における始点から終点までのベクトルV(i-1)のＸ成分とが同符号か否かを判定する。V(i)は、ステップＳ７０５、Ｓ７０６の処理で存在すると判定された始点及び終点から求められ、V(i-1)は、ステップＳ７０２、Ｓ７０３の処理で存在すると判定された始点及び終点から求められる。

ここで、図６を参照しながら、ステップＳ７０７の判定方法の詳細を説明する。図６の左図は、撮影された画像を示し、右図は、撮影された画像をベクトルで表記したものである。
図６（ａ）は、画像処理装置１００に保存されている特徴点（直前に得られた特徴点）の一例を示す。図６（ａ）において、始点６０１を原点に取り、画面の縦・横で正規化して縦・横の成分を表記すると、始点６０１から終点６０２までのベクトルVaは、Va(0.5, −0.1)と表記できる。
図６（ｂ）は、撮影された画像から検出された特徴点の第１の例を示す。図６（ｂ）において、ベクトルVaと同様にして縦・横の成分を表記すると、ベクトルVbは、Vb(0.7, -0.1)と表記できる。図６（ａ）と図６（ｂ）のＸ成分の符号は同符号であり、変化がないため、このような場合には、図５のステップＳ７０７からステップＳ７０８に処理が進む。

図６（ｃ）は、撮影された画像から検出された特徴点の第２の例を示す。次に撮影された画像が、図６（ｃ）の左図に示すような画像であった場合、図６（ｃ）において、ベクトルVaと同様にして縦・横の成分を表記すると、ベクトルVcは、Vc（-0.6, -0.1）と表記される。図６（ａ）と図６（ｃ）のＸ成分の符号は異符号となる。このような場合には、イマジナリラインをまたいだ撮影であるため、図５のステップＳ７０７からステップＳ７０９に処理が進む。

ステップＳ７０８に進むと、ＣＰＵ１０７は、始点から終点へのイマジナリラインを、撮影されている画像に重ねて表示部１１３に矢印線で表示させる（図６（ｂ）のイマジナリライン６０３を参照）。このとき、ＣＰＵ１０７は、イマジナリライン６０３が表示されたことを示すメッセージを撮影されている画像と共に表示部１１３に表示させる（図６（ｂ）のメッセージ６０４を参照）。
一方、ステップＳ７０９に進むと、ＣＰＵ１０７は、始点から終点へのイマジナリラインを、撮影されている画像に重ねて表示部１１３に警告矢印線で表示する（図６（ｃ）のイマジナリライン６０５を参照）。ここでの警告矢印線（イマジナリライン６０５）は、ステップＳ７０６で表示されるイマジナリライン６０３と異なる態様で表示されるものである（イマジナリライン６０３よりも目立つ表示にするのが好ましい）。ここで、異なる態様とは、例えば、矢印線の太さ、色、線の内容（実線・破線・点線等）等、視覚上異なる矢印であることをいう。また、このとき、ＣＰＵ１０７は、イマジナリラインをまたがった撮影がなされていることを示すメッセージを撮影されている画像と共に表示部１１３に表示させる（図６（ｃ）のメッセージ６０６を参照）。

以上のようにしてイマジナリラインが表示された後、ステップＳ７１０に進む。ステップＳ７１０に進むと、ＣＰＵ１０７は、ステップＳ７０２、Ｓ７０３、Ｓ７０５、Ｓ７０６で検出された特徴点の始点の中心座標C＿s(i)と終点の中心座標C＿e(i)を、撮影した画像と相互に関連付けて記憶メディアに記憶する。
次に、ステップＳ７１１において、ＣＰＵ１０７は、撮影が終了したか否かを判定する。この判定は、画像処理装置１００の操作部１１１に設けられた撮影開始・終了ボタンが押下されたか否かによって行われる。この判定の結果、撮影が終了していない場合には、ステップＳ７０４に戻る。ここでは、イマジナリラインの検出間隔が画像処理装置１００に予め設定されており、この検出間隔でステップＳ７０４の処理が繰り返し行われる。一方、撮影が終了している場合には、図５のフローチャートによる処理を終了する。

前述したように、ステップＳ７０２、Ｓ７０５において、画像に始点となる特徴点が存在していない場合と、ステップＳ７０３、Ｓ７０６において、画像に終点となる特徴点が存在していないと判定された場合には、ステップＳ７１２に進む。ステップＳ７１２に進むと、ＣＰＵ１０７は、特徴点を抽出できず、イマジナリラインを表示できないことを示すエラーメッセージを、撮影されている画像と共に表示部１１３に表示させる（図６（ｄ）のメッセージ６０７を参照）。

以上のように本実施形態では、プレビュー用に撮影された画像から複数の特徴点を検出し、検出した特徴点から、始点となる始点特徴点と終点となる終点特徴点をユーザに選択させる。その後、撮影が開始すると、始点特徴点と終点特徴点が撮影された画像にあるか否かを判定し、ある場合には、始点特徴点及び終点特徴点の位置関係と、直前に得られた始点特徴点及び終点特徴点の位置関係とを比較する。そして、時間的に前後する画像における始点特徴点及び終点特徴点の位置関係が反転していない場合には、始点特徴点から終点特徴点に向かうイマジナリラインを表示する。これにより、イマジナリラインをまたいだ撮影が行われていないことをユーザに報知する。一方、時間的に前後する画像における始点特徴点及び終点特徴点の位置関係が反転した場合には、始点特徴点から終点特徴点に向かうイマジナリラインを、位置関係が同じ場合に表示するイマジナリラインと異なる態様で表示する。これにより、イマジナリラインをまたがる撮影が行われていることをユーザに報知する。このように、撮影技法の「イマジナリラインの法則」を守っているか否かの評価結果を撮影中に表示することで、適切な撮影を行うための情報を表示することができ、イマジナリラインをユーザに意識させることができる。

尚、図２のステップＳ２０３、Ｓ２０４（図５）を参照しながら説明したように、本実施形態では、イマジナリラインの表示を撮影時に行う場合を例に挙げて説明したが、必ずしもこのようにする必要はない。例えば、撮影画像に代えて又は撮影画像に加えて、プレビュー画像を表示しているときに、図６に示したようにしてプレビュー画像に対してイマジナリライン６０３、６０５を表示したり、メッセージ６０４、６０６、６０７を表示したりしてもよい。
また、本実施形態では、イマジナリラインの検出間隔が予め設定（固定）されている場合を例に挙げて説明したが、イマジナリラインの検出間隔をユーザが選択できるようにしてもよい。

図７は、イマジナリラインの表示・警告条件と検出間隔を設定するためのイマジナリライン設定画面の一例を示す図である。
図７において、イマジナリライン設定画面７００は、例えば、操作部１１１の所定のボタンをユーザが押下することによって表示部１１３に表示される。図７に示す例では、ユーザは、プレビュー時と、撮影時と、プレビュー時及び撮影時との何れかのタイミングでイマジナリラインを表示することを選択することができる。また、ユーザは、イマジナリラインを表示せずに保存することも選択することができる。さらに、ユーザは、イマジナリラインの検出間隔として任意の時間隔を設定することができる。

また、本実施形態では、図５のステップＳ７０７において、ベクトルV(i)のＸ成分（画面の横方向の成分）と、前回のベクトルV(i-1)のＸ成分とが同符号か否かを判定する場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はなく、例えばＹ成分が同符号か否かを判定するようにしてもよい。
また、始点及び終点となる特徴点をユーザが選択する数は「１」に限定されない。また、例えば、始点及び終点に加え、中間点をユーザに指定させ、始点から中間点を経由して終点に到達する線をイマジナリラインとしてもよい。

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、イマジナリラインの表示及び警告を撮影時やプレビュー時に行う場合について説明した。このような時に限らず、撮影した画像を編集する場合にも編集された画像がイマジナリラインをまたぐ可能性がある。そこで、本実施形態では、イマジナリラインの表示及び警告を編集時に行う場合について説明する。ここで、編集後の動画像は、複数のフレームと呼ばれる静止画から構成される。一般的に、編集後の動画像は、１秒間当たり、３０フレームや６０フレームの静止画像で構成されている。このように本実施形態と前述した第１の実施形態とでは、イマジナリラインの表示及び警告を行うタイミングが主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付す等して詳細な説明を省略する。

図８のフローチャートを参照しながら、イマジナリラインの表示、警告を行う場合の画像処理装置の基本的な処理の流れの一例を説明する。尚、図８のステップＳ１００１〜Ｓ１００４の処理は、第１の実施形態（図２のステップＳ２０１〜Ｓ２０４）と同一である。そこで、ステップＳ１００５から処理を説明する。
まず、ステップＳ１００５において、画像処理装置は、画像及び特徴点を読み出す。前述したように、特徴点のデータは、画像に付加されている場合や、画像とは別になっており、画像と同期させるためのタイムコードやマーカが付加されている場合がある。尚、ここで読み出される編集対象の画像は、ユーザによる操作部１１１の操作に元と付いて決定される。
次に、ステップＳ１００６において、画像処理装置は、画像データを特徴点データとあわせて編集する。
次に、ステップＳ１００７において、画像処理装置は、編集時におけるイマジナリラインの表示及び警告を行う。

次に、図９のフローチャートを参照しながら、図８のステップＳ１００７の詳細を説明する。
まず、ステップＳ１１０１において、ＣＰＵ１０７は、ＲＡＭ１０９等に記憶されているカウンタCount、ｉをそれぞれ「０」に初期化する。カウンタCountは、処理対象のカットを特定するためのものであり、カウンタｉは、処理対象の画像（フレーム）を特定するためのものである。
次に、ステップＳ１１０２において、ＣＰＵ１０７は、イマジナリベクトルV(i)を(0,0)に初期化する。ここで、イマジナリベクトルV(i)とは、始点と終点に指定された特徴点を結ぶイマジナリライン上のベクトルのことである。

次に、ステップＳ１１０３において、ＣＰＵ１０７は、ｉで特定される画像に始点となる特徴点が存在するか否かを判定する。この判定の結果、ｉで特定される画像に始点となる特徴点が存在した場合には、ステップＳ１１０４に進み、存在しなかった場合には、後述するステップＳ１１１６に進む。

ステップＳ１１０４に進むと、ＣＰＵ１０７は、ｉで特定される画像に終点の特徴点が存在するか否かを判定する。この判定の結果、撮影されている画像に終点となる特徴点が存在した場合は、ステップＳ１１０５に進み、存在しなかった場合には、後述するステップＳ１１１６に進む。
ステップＳ１１０５に進むと、ＣＰＵ１０７は、でカウンタｉの値に「１」を加算する
。
次に、ステップＳ１１０６において、ＣＰＵ１０７は、ｉで特定される画像に始点となる特徴点が存在するか否かを判定する。この判定の結果、ｉで特定される画像に始点となる特徴点が存在した場合には、ステップＳ１１０７に進み、存在しなかった場合には、後述するステップＳ１１１６に進む。
ステップＳ１１０７に進むと、ＣＰＵ１０７は、ｉで特定される画像に終点の特徴点が存在するか否かを判定する。この判定の結果、撮影されている画像に終点となる特徴点が存在した場合は、ステップＳ１１０８に進み、存在しなかった場合には、後述するステップＳ１１１６に進む。
本実施形態では、以上のステップＳ１１０３、Ｓ１１０４、Ｓ１１０６、Ｓ１１０７によって、ユーザによって指定された特徴点が、撮影されている画像から検索される。

ステップＳ１１０８に進むと、ＣＰＵ１０７は、次の処理を行う。すなわち、ＣＰＵ１０７は、ｉで特定される画像における始点から終点までのベクトルV(i)のＸ成分（画面の横方向の成分）と、ｉ−１で特定される画像における始点から終点までのベクトルV(i-1)のＸ成分とが同符号か否かを判定する。V(i)は、ステップＳ１１０６、Ｓ１１０７の処理で存在すると判定された始点及び終点から求められ、V(i-1)は、ステップＳ１１０３、Ｓ１１０４の処理で存在すると判定された始点及び終点から求められる。

この判定の結果、Ｘ成分が同符号である場合にはステップＳ１１０９に進み、異符号であった場合には、ステップＳ１１１０に進む。
ステップＳ１１０９に進むと、ＣＰＵ１０７は、イマジナリベクトルV(i)に対応する、始点から終点へのイマジナリラインを、カウンタｉの値で特定されるフレームの画像に重ねて表示部１１３に矢印線で表示させる。このとき、イマジナリラインが表示されたことを示すメッセージを、カウンタｉの値で特定されるフレームの画像と共に表示部１１３に表示させるようにしてもよい。

一方、ステップＳ１１１０に進むと、ＣＰＵ１０７は、イマジナリベクトルV(i)に対応する、始点から終点へのイマジナリラインを、カウンタｉの値で特定されるフレームの画像に重ねて表示部１１３に警告矢印線で表示させる。ここでの警告矢印線（イマジナリライン）は、ステップＳ１１０９で表示されるイマジナリラインと異なる態様で表示されるものである（ステップＳ１１０９で表示されるイマジナリラインよりも目立つ表示にするのが好ましい）。また、このとき、ＣＰＵ１０７は、イマジナリラインをまたがった撮影がなされていることを示すメッセージを、カウンタｉの値で特定されるフレームの画像と共に表示部１１３に表示させるようにしてもよい。

以上のようにしてイマジナリラインが表示された後、ステップＳ１１１１に進む。ステップＳ１１１１に進むと、ＣＰＵ１０７は、Countで特定されるカットの全てのフレームについて処理が終了したか否かを判定する。この判定の結果、Countで特定されるカットの全てのフレームについて処理が終了した場合には、ステップＳ１１１２に進む。一方、Countで特定されるカットの全てのフレームについて処理が終了していない場合には、ステップＳ１１０５に戻る。

ステップＳ１１１２に進むと、ＣＰＵ１０７は、カウンタCountの値に「１」を加算して、処理対象を次のカットに進める。
次に、ステップＳ１１１３において、ＣＰＵ１０７は、全てのカット（編集対象としてユーザにより指定された全映像）において処理が終了したか否かを判定する。この判定の結果、全てのカットにおいて処理が終了していない場合には、ステップＳ１１１４に進む。ステップＳ１１１４に進むと、ＣＰＵ１０７は、カウンタｉに「０」をセットし、次のカットについて、ステップＳ１１０３以降の処理を行う。一方、全てのカットにおいて処理が終了した場合には、図９のフローチャートによる処理を終了する。
以上のように、撮影画像を編集する時にも、撮影技法の「イマジナリラインの法則」を守っているか否かの評価結果を表示させることができ、イマジナリラインをユーザに意識させることができる。

尚、本実施形態では、１フレームごとに処理を行う場合を例に挙げて説明したが、所定の複数フレーム、又はユーザによって指定された複数フレーム毎に処理を行ってもよい。
また、本実施形態では、画像処理装置が撮影装置である場合を例に挙げて説明したが、その他の情報処理装置（パーソナルコンピュータ等）であってもよい。このようにした場合には、画像処理装置は、図８のステップＳ１００１〜Ｓ１００４の処理は行わず、ステップＳ１００５〜Ｓ１００７の処理を行う。すなわち、画像処理装置は、ステップＳ１００５において、図８のステップＳ１００１〜Ｓ１００４の処理を行う撮影装置で得られた画像の中からユーザにより指定された画像と、その画像における特徴点とを、当該撮影装置や記憶メディア等から取得する。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

Claims (15)

1. 撮影された画像における第１の特徴点および第２の特徴点により定まるイマジナリラインを、前記画像に重ねて表示させる表示手段と、
   前記画像よりも前に撮影された画像における前記第１の特徴点および前記第２の特徴点の位置関係に対して、前記画像における前記第１の特徴点および前記第２の特徴点の位置関係が反転したか否かを判定し、位置関係が反転していると判定すると、ユーザに警告する警告手段と、を有することを特徴とする画像処理装置。
2. 撮影された画像における特徴点から、ユーザによって予め指定された前記第１の特徴点および前記第２の特徴点を検索する検索手段と、
   前記検索手段により検索された前記第１の特徴点および前記第２の特徴点を記憶する記憶手段と、を有し、
   前記警告手段は、前記検索手段により検索された前記第１の特徴点および前記第２の特徴点であって、時間的に前後する画像における前記第１の特徴点および前記第２の特徴点の位置関係が反転したか否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. ユーザによって指定された画像と、当該画像における第１の特徴点および第２の特徴点とを記憶媒体から取得する取得手段を有し、
   前記警告手段は、前記取得手段により取得された画像における第１の特徴点および第２の特徴点の位置関係に対して、当該画像よりも前に前記取得手段により取得された画像における第１の特徴点および第２の特徴点の位置関係が反転したか否かを判定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示手段は、前記警告手段を含み、前記位置関係が反転したと判定すると、前記位置関係が反転していないと判定されたときと異なる態様でイマジナリラインを表示することで、ユーザに警告するための情報を表示することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記第１の特徴点は、画像における特徴点からユーザによって始点として予め指定された特徴点であり、前記第２の特徴点は、画像における特徴点からユーザによって予め終点として指定された特徴点であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記表示手段は、前記第１の特徴点と前記第２の特徴点とを相互に結び、且つ、前記第１の特徴点から前記第２の特徴点に向かう矢印線を前記イマジナリラインとして表示することを特徴とする請求項５に記載の画像処理装置。
7. 前記警告手段は、前記第１の特徴点から前記第２の特徴点に向かうベクトルが、所定の方向において反転したか否かを判定することを特徴とする請求項５又は６に記載の画像処理装置。
8. 撮影された画像における第１の特徴点および第２の特徴点により定まるイマジナリラインを、前記画像に重ねて表示させる表示工程と、
   前記画像よりも前に撮影された画像における前記第１の特徴点および前記第２の特徴点の位置関係に対して、前記画像における前記第１の特徴点および前記第２の特徴点の位置関係が反転したか否かを判定し、位置関係が反転していると判定すると、ユーザに警告する警告工程と、を有することを特徴とする画像処理方法。
9. 撮影された画像における特徴点から、ユーザによって予め指定された前記第１の特徴点および前記第２の特徴点を検索する検索工程と、
   前記検索工程により検索された前記第１の特徴点および前記第２の特徴点を記憶する記憶工程と、を有し、
   前記警告工程は、前記検索工程により検索された前記第１の特徴点および前記第２の特徴点であって、時間的に前後する画像における前記第１の特徴点および前記第２の特徴点の位置関係が反転したか否かを判定することを特徴とする請求項８に記載の画像処理方法。
10. ユーザによって指定された画像と、当該画像における第１の特徴点および第２の特徴点とを記憶媒体から取得する取得工程を有し、
    前記警告工程は、前記取得工程により取得された画像における第１の特徴点および第２の特徴点の位置関係に対して、当該画像よりも前に前記取得工程により取得された画像における第１の特徴点および第２の特徴点の位置関係が反転したか否かを判定することを特徴とする請求項８又は９に記載の画像処理方法。
11. 前記表示工程で、前記警告工程を行い、前記表示工程は、前記位置関係が反転したと判定すると、前記位置関係が反転していないと判定されたときと異なる態様でイマジナリラインを表示することで、ユーザに警告するための情報を表示することを特徴とする請求項８〜１０の何れか１項に記載の画像処理方法。
12. 前記第１の特徴点は、画像における特徴点からユーザによって始点として予め指定された特徴点であり、前記第２の特徴点は、画像における特徴点からユーザによって予め終点として指定された特徴点であることを特徴とする請求項８〜１１の何れか１項に記載の画像処理方法。
13. 前記表示工程は、前記第１の特徴点と前記第２の特徴点とを相互に結び、且つ、前記第１の特徴点から前記第２の特徴点に向かう矢印線を前記イマジナリラインとして表示することを特徴とする請求項１２に記載の画像処理方法。
14. 前記警告工程は、前記第１の特徴点から前記第２の特徴点に向かうベクトルが、所定の方向において反転したか否かを判定することを特徴とする請求項１２又は１３に記載の画像処理方法。
15. 撮影された画像における第１の特徴点および第２の特徴点により定まるイマジナリラインを、前記画像に重ねて表示させる表示工程と、
    前記画像よりも前に撮影された画像における前記第１の特徴点および前記第２の特徴点の位置関係に対して、前記画像における前記第１の特徴点および前記第２の特徴点の位置関係が反転したか否かを判定し、位置関係が反転していると判定すると、ユーザに警告する警告工程と、をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images