JP2020190903A - 画像処理装置および画像処理方法およびプログラム - Google Patents

Abstract

【課題】 オプティカルフローの概形と被写体形状が一致するかを確認できるオプティカルフローの可視化画像を生成できる。【解決手段】 被写体を含む表示用画像データを生成する画像処理装置であって、被写体を含む第１の画像データを取得する第１の取得部と、第１の画像データの画素毎の動きベクトルを表すオプティカルフローを第２の画像データとして取得する第２の取得部と、該第２の取得部で取得したオプティカルフローを、カラー画像の成分を表すデータに変換する変換部と、第１の取得部で取得した第１の画像データと、変換部で得た成分とを合成することで、表示用の第３の画像データを生成する合成部とを有する。【選択図】 図２

Description

本発明は、オプティカルフローを用いた画像処理技術に関するものである。

近年、画像間の画素の対応付けを行う技術の重要性が高まっている。ここで言う対応とは、着目画像の画素と同一であるとみなす参照画像の画素の関係であり、二点の座標で表現できる。ステレオや多視点画像を入力した場合は、画素の対応関係から被写体の奥行きを算出できるため、３次元画像処理に応用することも可能である。また、時間的に連続して撮像された画像（動画）を入力し、その対応関係を相対座標として表現すれば、それは動きベクトルとなる。このように動きベクトルを求めることを動き検出という。複数の画素の動き検出を行って、得た動きベクトルの集合をオプティカルフローと呼ぶ（狭義には画素に対応する動きベクトルをマップ化した情報をオプティカルフローと呼ぶ）。オプティカルフローを利用することによって、動体追跡、動画の防振、フレーム補間などが可能となる。

オプティカルフローを取得する代表的な手法としては勾配法とテンプレートマッチングがある。勾配法は、画素の時空間の輝度変化の方向と大きさから、オプティカルフローを算出する。基本的な勾配法の考え方は、着目画素を中心とするパッチ（以下着目領域）の画素の平均的な時空間の輝度変化から動きベクトルを算出する。代表的な方法には、Ｌｕｃａｓ Ｋａｎａｄｅ法（以下、ＬＫ法，非特許文献１）が知られている。

テンプレートマッチングは、着目領域に対し、参照画像上に様々な位置にパッチ（以下、参照領域）を複数設定して、着目領域の参照領域の相関を算出し、相関が最も高い参照領域の相対位置を動きベクトルを得る。これを動き探索と呼ぶ。着目画素を走査しながら、動き探索を行って、各画素の動きベクトルを算出することによって、オプティカルフローを算出する。一般的なテンプレートマッチングでは、相関値算出にＳＳＤやＳＡＤ（Sum of Absolute Difference）を用いることが多い。

オプティカルフローを可視化するには、動きベクトルを矢印として画像に重畳したり（特許文献１）、画素の動きベクトルの方向を色相、長さを彩度としてＨＳＶ値を計算し、それをＲＧＢに変換した画像を生成したりして、記録、表示する方法もある（非特許文献２）。

特開２０００−２３１６７号公報

B. D. Lucas and T. Kanade (1981), An iterative image registration technique with an application to stereo vision. Proceedings of Imaging Understanding Workshop, pages 121-130 Simon Baker, A Database and Evaluation Methodology for Optical Flow, In Proc. Eleventh IEEE International Conference on Computer Vision (ICCV 2007), Rio de Janeiro, Brazil, October 2007

オプティカルフローの概形と被写体形状との相関を確認できるオプティカルフローの可視化画像を生成できなかった。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
被写体を含む表示用画像データを生成する画像処理装置であって、
被写体を含む第１の画像データを取得する第１の取得手段と、
前記第１の画像データの画素毎の動きベクトルを表すオプティカルフローを第２の画像データとして取得する第２の取得手段と、
該第２の取得手段で取得したオプティカルフローを、カラー画像の成分を表すデータに変換する変換手段と、
前記第１の取得手段で取得した前記第１の画像データと、前記変換手段で得た成分とを合成することで、表示用の第３の画像データを生成する合成手段とを有する。

本発明によれば、オプティカルフローの概形と被写体形状との相関を確認できるオプティカルフローの可視化画像を生成できる。

実施形態の画像処理装置のブロック構成の例を示す図。 第１の実施形態における画像処理手順を示すフローチャート。 第２の実施形態における画像処理手順を示すフローチャート。 第３の実施形態における画像処理手順を示すフローチャート。 第４の実施形態における画像処理手順を示すフローチャート。 第１の実施形態における画像処理内容を説明するための図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、第１の実施形態におけるオプティカルフローを可視化する画像処理装置のブロック構成図である。

本装置は、バス１０１、ＣＰＵ１０２と、メモリ１０３と、不揮発メモリ１０４、表示部１０８、操作部１０９、及び、画像取得部１１０を有する。バス１０１は各モジュール間のデータ伝送を行う。ＣＰＵ１０２は、各構成を統括的に制御し、計算処理、画像処理を実行するプロセッサである。メモリ１０３は、ＣＰＵ１０２の主メモリ、ワークエリアとして機能する。不揮発メモリ１０４は画像処理プログラムや、処理対象の各種データやパラメータ等を格納するメモリである。ＣＰＵ１０２は、メモリ１０３をワークエリアとして不揮発メモリ１０４に格納されたプログラムを実行し、不揮発メモリ１０４に格納された各種データを読み出し、後述する画像処理を行う。不揮発メモリ１０４は、典型的にはＨＤＤ（ハードディスクドライブ）であるが、他の記憶媒体であっても構わない。表示部１０８は、各種メニューの表示や、処理結果である画像を表示する。操作部１０９は、キーボード、マウス、タッチパネル等を含み、ユーザからの指示入力を受け付ける。そして、表示部１０８及び操作部１０９により、ユーザインタフェースを構成することになる。画像取得部１１０は画像を取得する。本画像処理装置をカメラとする場合には、センサーにあたる。

実施形態における不揮発性メモリ１０４には、既に１枚の静止画像の画像ファイル、並びに、当該静止画像（以下、対象画像という）に対応するオプティカルフローのファイルが既に格納されているものとする。静止画像は、例えばデジタルカメラの連写モードで撮影された画像である。また、オプティカルフローはその静止画と時間的に離接する画像とから求めた、画素単位の動きベクトルである。動きベクトルは、水平、垂直成分で表されているものとする。

本実施形態におけるＣＰＵ１０２が実行する画像処理を、図２のフローチャートを参照して以下に説明する。なお、同図に係るプログラムは、不揮発性メモリ１０４に格納されており、実行時にメモリ１０３に読み出され、ＣＰＵ１０２により実行されるものである。

Ｓ２０００にて、ＣＰＵ１０２は、不揮発性メモリ１０４に格納されている画像ファイルから被写体の写った静止画像を読み出す。そして、ＣＰＵ１０２は、読み出した静止画像がカラー画像データの場合には、明度（もしくは輝度）の１成分のみで構成されるモノクロ画像データへ変換する。

Ｓ２０１０にて、ＣＰＵ１０２は、不揮発性メモリ１０３に格納されている、対応するオプティカルフローファイルから、オプティカルフローを読み出す。オプティカルフローは、事前に生成されたもの、本ステップの処理としてオプティカルフロー生成サブルーチンを呼び出し生成したもの、いずれでも構わない。

Ｓ２０２０にて、ＣＰＵ１０２は、オプティカルフローの画素に相当するベクトルを、向きと長さに変換する。この向きは、例えば水平右方向を０度とし、反時計回りの角度とする。具体的には、arctan{ｙ成分値／ｘ成分値}を求めることで得られる。また長さは、ベクトルのｘ成分値、ｙ成分値の二乗和の平方根を求めればよい。ＣＰＵ１０２は、オプティカルフローの全ベクトルについて、この処理を行う。

Ｓ２０３０にて、ＣＰＵ１０２は、上記Ｓ２０２０で求めたベクトルの向き及び長さを、色空間における色相、彩度に変換する。これを全画素に対して実施する。

ここで、オプティカルフローにおける或るベクトルをｖ＝（ｖｘ，ｖｙ）とし、色相をＨ，彩度をＳとしたとき、ＣＰＵ１０２は次式（１）、（２）に従って演算処理を行うことになる。

なお、本実施例では色相、および、その計算は度数とする。だたし、Ｖがゼロベクトル、もしくは、限りなくゼロベクトルに近い場合、ＨにＮａＮ（Ｎｏｔ Ａ Ｎｕｍｂｅｒ）を設定するものとする。ゼロベクトルに近いことを判定する条件としてｖｘ，ｖｙがそれぞれ、εより小さいか否かを判定している。本実施形態ではεは０．０１とするがこの値に限定はない。εはオプティカルフローの画素精度以下で、十分０に近い値を設定すればよい。画素単位の動き探索を行う場合、精度は１である。また、勾配法を利用した場合は、少数精度まで算出可能であるが一般な同被写体をターゲットした場合、０．０１画素以下の精度を得ることは難しいため、本実施形態ではε＝０．０１とした。なお、色相Ｈは、色相環の角度として定義できるが、基準となる角度０をどの色相に割り当てるかはユーザが自由に設定できるようにしてもよい。

また、彩度Ｓの強さを決める係数はｒで表す。ｒは、画像内の最大の動きベクトルの長さが最終的に飽和しないようにするか、あるいは、表現したい動きの長さのレンジに決められる。具体的には、画像上のベクトル長の最大値が１００画素の場合、ｒ＝１／１００とする。または、表現したい動きの長さのレンジが０から１０画素の場合は、ｒ＝１／１０とする。このときは、最終的に可視化したオプティカルフローの彩度は飽和することになる。

上記の結果、静止画像から得たモノクロ画像データの成分値である明度、オプティカルフローから得た色相及び彩度が得られることになる。つまり、カラー画像の各画素の３つの成分（もしくは属性）「明度、色相、彩度」が揃うことになる。

そこで、ＣＰＵ１０２は、Ｓ２０４０にて、明度、色相、彩度からＲＧＢ値への変換を画素毎に実行し、可視化するための表示用の画像データを生成する。［明度、色相、彩度］→「Ｒ，Ｇ，Ｂ」への変換は、例えば次式（３）乃至（５）に示す演算を行えばよい。

ここで、式（３）から式（５）が、先に示した式（１）と式（２）で算出したＨＳＶ値をＲＧＢ値に変換する式になる。式中の“ｍｏｄ”は剰余を表し、本実施形態では小数点以下の値が算出されるものとする。“ｃｌａｍｐ”は、第二引数を上限、第三引数を下限として、第一引数を上限、下限の閉区間内に制限した値を返す関数を表す。

次式（６）は、上式で算出されたＲＧＢ値に対し、モノクロ画像の明度Ｌを掛けて、可視化画像のＲＧＢ画素値(Ｒ'，Ｇ'，Ｂ')を生成する式を示している。

式（６）は、モノクロ画像にオプティカルフローを重畳する式を表しているとも言える。ここで、ｇａｉｎとｏｆｆｓｅｔは、可視化画像の色合いを決める要素で、本実施形態では、それぞれ１．０と０．０とするが、これらの値はユーザが操作部１０９により適宜修正しても構わない。ＣＰＵ１０２は、全画素についてこの上記式（３）乃至（６）を実行することで、表示用の画像データを生成する。

Ｓ２０５０にて、ＣＰＵ１０２は、Ｓ２０４０で生成された表示用画像データを表示部１０８に出力する。ユーザにしてみれば、オプティカルフローが可視化され、且つ、オリジナルの画像の被写体とオプティカルフローとの関係も直感的に把握可能な画像が表示されることになる。

以上の通り、本実施形態によれば、モノクロ画像に対し、色差（色相、彩度）でオプティカルフロー、つまり、動きを表現した画像を重畳したかのようなオプティカフローの可視化画像を生成することができる。この画像では、矢印を重畳した画像や、単純なオプティカルフローを可視化画像と違い、被写体細部の動きの有無、動きの大きさと方向を確認できることになる。とくに、高密度に動きを表現できるため、被写体境界部分の動きや、小さい被写体の動きの可視化に適していると言える。逆に、オプティカルフローの算出精度が低い場合には、オプティカルフローの概形と被写体形状とが一致するかの確認にも役立つ。

ここで、上記処理の理解を容易にするため、図６を参照して説明する。

図６における参照符号１５０は、図２のＳ２０００で取得される、被写体（図示の場合は旅客機）が写ったモノクロ画像（明度成分）の例である。参照符号１５１は、図２のＳ２０１０で取得するオプティカルフローファイルから読み出されるオプティカルフローである。そして、参照符号１５２は、図２のＳ２０３０にて得られる、オプティカルフローのベクトルからの変換で得た色相、彩度を可視化した画像を示している。そして、参照符号１５３は、図２のＳ２０４０で得られる、明度成分、色相、彩度成分からＲＧＢ空間への変換で得た表示用画像を示している。特許図面では、カラー画像を図面として示すことができなので、図示の画像そのものが表示されるものではない点に注意されたい。

なお、本実施では、オプティカルフローの可視化をＨＳＶ表色系で表現したが、これに限定されない。ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＢＴ．７０９に代表される色空間を用いて、オプティカルフローの水平、垂直成分をそれぞれ、輝度と、青成分の色差、赤成分の色差にマップングをした上で、モノクロ画像を合成してもよい。

本実施形態例では、各ステップの処理を画像単位で行うものとして説明したが、これに限定されず、各ステップの処理を画素単位で行い、一連のフローを全画素に対して行う構成であってもよい。

本実施形態では、ｇａｉｎとｏｆｆｓｅｔは、それぞれ１．０と０．０としたが、これに限定されない。例えば、それぞれ、０．５，０．５としてよい。これは、画像内の被写体形状が判別さえできれば、可視化画像の輝度成分が入力画像に対し必ずしも一致する必要がないことを示している。

ＨＳＶ表色系において、入力したモノクロ画像が暗いと生成した可視化画像も、鮮やかにならない、ｇａｉｎとｏｆｆｓｅｔを調整することによって、ＨＳＶ値としての輝度が大きくなり、可視化したときにより鮮やかな可視化画像が得られる。本実施形態では、オプティカルフローの動きベクトルの向きを、色相で表現したが、動きの速さのみ可視化してもよい。このためには、例えば、Ｈ＝０として、式３から式６を計算すればよい。

本実施形態では、式１から式６で計算される、変換処理やオプティカルフロー生成をＣＰＵ１０２が行うものとして説明したがそれに限定されない。例えば、図１（ｂ）のような構成をとり、専用モジュールが計算する構成をとってよもよい。図１（ｂ）における変換部１０５は、動きベクトルの画像化や色変換など式１から式５の計算を行う。オプティカルフロー生成部１０６は、取得した画像と時間的に前後する画像からオプティカルフローを生成する。画像合成部１０７は、式６の計算処理を行う。データの入出力は、図４で説明したフローと同じである。このような構成であっても、オプティカルフローの可視化画像を生成できる。

本実施形態では、揮発性メモリ１０４から画像を取得する構成を説明したが、それに限定されず、本画像処理装置をカメラとみなした場合、画像取得部110をから画像を逐次取得し、リアルタイムに動画として可視化画像を表示部108に表示する構成をとってもよい。

［第２の実施形態］
次に、本第２の実施形態における処理手順を説明する。なお、特別な説明ない限り、装置構成は第１の実施形態と同じであるものとし、その説明は省略する。

図３のフローチャートは、本第２の実施形態におけるＣＰＵ１０２が実行する処理手順を示している。図２との違いは、Ｓ２０１０の後にＳ３０１５が追加されている点であり、それ以外は図２と同じであるため、同参照符号を付し、その説明は省略する。

Ｓ３０１５にて、ＣＰＵ１０２は、モノクロ画像データからエッジの度合いを示す画像（エッジ画像データ）を生成する。本実施形態では水平、垂直のＳｏｂｅｌフィルタ値の二乗和平方根とする。得られるエッジ画像データは１成分で表される画像である。それ故、このエッジ度を明度と見立てれば、上記第１の実施形態と同様に合成画像データを生成できる。なお、一般に、エッジ画像データは、エッジの度合いが高いほど大きな値を割り当てている。本実施形態で生成するエッジ画像データのエッジ度と明度との関係は、エッジの度合いが高いほどその暗く、エッジ度が低いほど明るい画像データとして生成するものとする。それ故、エッジ画像データが８ビットであれば、最大値が２５５であるので、実施形態では「２５５−エッジ度」を、エッジ画像データとして生成するものとする。この結果、エッジの度合いが高いほど黒い線として協調されるようになり、且つ、非エッジ部では明るくなるのでオプティカルフローから得た色相、彩度が色として知覚し易くできる。なお、モノクロ画像からエッジ画像の画素値Ｌ’を得る式は次式’（７）で与えられる。

ここで、Ｌsobel_xとＬsobel_yは、着目画素のＳｏｂｅｌフィルタの結果とする。Ｋは、エッジを可視化する際の強度を示す。本実施形態では“２”とするが、ユーザが操作部１０９を介して、最終的な可視化画像の見やすさに応じて設定すればよく、この値に限定されるものではない。

Ｓ３０４０にて、色相、彩度、エッジ画像の画素値をＲＧＢ値に変換し、可視化画像を生成する。実施例１のＳ２０４０の説明において、式（６）が次式（８）に変更されている以外は、同じ処理になる。

本第２の実施形態によれば、第１の実施形態と同様に、オプティカルフローの概形と被写体形状が一致する可視化画像を静止することができる。特に、グラデーションがある被写体の場合は、第１の実施形態では、可視化画像上の色の変化が動きによるものか、被写体そのものの輝度変化によるものかの判別が難しくなる。これに対し、本第２の実施形態によれば、画像のエッジを抽出し、そのエッジ成分を明度のモノクロ画像と見立てて、そこにオプティカルフローを重畳することによって、２つの判別の容易な可視化画像を生成することができる。

なお、本第２の実施形態では、モノクロ画像を取得して、エッジ画像を生成したが、直接エッジ画像を入力する構成であってもよい。

本第２の実施形態では、エッジ画像の生成にＳｏｂｅｌフィルタを用いたが、これに限定されず、ラプラシアンフィルタやＣａｎｎｙ法など他のエッジ抽出法を用いてもよい。また、エッジ強調処理を行った画像からＲＧＢ値を作っても良い。例えば、中心を９，他を−１とする３×３のカーネルでフィルタを掛けたエッジ強調画像の画素値をＬ”とすると、可視化画像のＲＧＢ値は、式８の代わりに次式（９）で計算できる。

ここで、ｇａｉｎ２とｏｆｆｓｅｔ２は、画像の見え方を調整するパラメータである。本第２の実施形態では、ｇａｉｎ２＝０．４，ｏｆｆｓｅｔ２＝０．５とするが、これに限定されず、ユーザが適宜設定できるようにしても良い。ラプラシアンフィルタの結果、画素値が１を超えている場合、単純に１から０のレンジでクランプすると、強調したエッジが飽和処理により潰れてしまう。本第２の実施形態では、Ｏｆｆｓｅｔ２を加えても１を超えにくい十分小さい値をｇａｉｎ２に設定することにより、強調したエッジがｃｌａｍｐ関数による飽和処理で潰れてないようにしている。ｏｆｆｓｅｔ２を、０に比べれば十分に大きい０．５としたのは、第１の実施形態でも説明したとおり、ＲＧＢ値が暗くなりすぎ、オプティカルフローを重畳したときの鮮やかさが損なわれるのを防ぐためである。

［第３の実施形態］
次に、本第３の実施形態における処理手順を説明する。なお、特別な説明ない限り、装置構成は第１の実施形態と同じであるものとし、その説明は省略する。

図４のフローチャートは、本第３の実施形態におけるＣＰＵ１０２が実行する処理手順を示している。図２との違いは、Ｓ４０１５、Ｓ４０１６がＳ２０１０の後に追加されている点であり、それ以外については図２と同じであるため説明は省略する。

Ｓ４０１５にて、ＣＰＵ１０１は、グローバルモーションベクトル（ＧＭＶ）を取得する。ＧＭＶは、画面全体の動きを代表する二次元のベクトルである。ＧＭＶの算出方法は特に問わないが、一例として、オプティカルフローからも算出する方法を説明する。オプティカルフローにおける全動きベクトルから、水平成分と、垂直成分をそれぞれ、一画素単位でその頻度を示すヒストグラムを生成する。水平成分と垂直成分のヒストグラムそれぞれの最頻値を、それぞれ水平成分と垂直成分の動きベクトルとし、それをＧＭＶとする。

Ｓ４０１６にて、ＣＰＵ１０２は、オプティカルフローの各動きベクトルから、上記で求めたＧＭＶを減じ、補正後のベクトルＶを求める。本実施形態において、オプティカルフローの各画素位置の動きベクトルをｖ’とすると、補正後のベクトルｖは、次式（１０）で表現される。

以後、補正後の動きベクトルｖを持つオプティカルフローとして処理がなされる。

動く被写体に追従するようにカメラをパンしながら撮影して得た画像は、その画面上は背景が動き、被写体が画角に対し相対的に静止するようになる。動きベクトルからＧＭＶを引き、それを全画素分実施することにより、背景部分がとまり被写体が動くオプティカルフローを作ることができる。

オプティカルフローは、一般に画面に対する相対速度で表現される。本第３の実施形態によればＧＭＶを取得し、オプティカルフローの各動きベクトルからＧＭＶを引くことにより、相対速度でなく、絶対速度を得ることができる。つまり、本第３の実施形態によれば、絶対速度で、動きを可視化する画像を生成することができる。

なお、本第３の実施形態でＧＭＶを、オプティカルフローの画素が表すベクトルから減じることで得た差分のベクトルから、色差、彩度を求める点は、上記第１、第２の実施形態、並びに、以下に説明する第４の実施形態にも適用できるものである。

［第４の実施形態］
次に、本第４の実施形態における処理手順を説明する。なお、特別な説明ない限り、装置構成は第１の実施形態と同じであるものとし、その説明は省略する。

図５のフローチャートは、本第４の実施形態におけるＣＰＵ１０２が実行する処理手順を示している。第１の実施形態（図２）に対し、Ｓ２０００がＳ５０００、Ｓ２０４０がＳ５０４０に変更され、Ｓ２０１０の次にＳ５０１５が追加された点が異なり、それ以外については図２と同じであるため説明は省略する。

上記第１乃至第３の実施形態では、被写体の存在を示す画像として単一成分で表現されるモノクロ画像、もしくはエッジ画像を用いる例であったが、本第４の実施形態では被写体が写っているカラー画像を用いる点が異なる。

Ｓ５０１０にて、ＣＰＵ１０２は、被写体が写っているオリジナルのカラー画像データを入力する。なお、次のＳ２０１０で取得するオプティカルフローは、このオリジナル画像に対応したものになる。

Ｓ５０１５にて、ＣＰＵ１０２は、オリジナルのカラー画像データの色差成分を弱めた第２のカラー画像データを生成する。本実施形態では、以下の式（１１）、（１２）、（１３）で色差成分を弱めるものとする。

式（１１）は、画素のＲＧＢ値のＹＵＶ値への変換式である。また、式（１２）は、ＹＵＶ値のうち、色差成分であるＵ，Ｖをｄ（ｄ＞１）で割って、色差の強さを弱めている。本実施例では、ｄは１０とする。式（１３）は、ＹＵＶ値をさらにＲＧＢ値に変換する式であり、これをオリジナルのカラー画像データの全画素に対して行うことで、色差成分を弱めた第２のカラー画像が生成される。

Ｓ５０４０にて、ＣＰＵ１０２は、オプティカルフローから求めた色相、彩度と、第２のカラー画像の画素値に適用し、表示用の可視化画像を生成する。ここでは第１の実施形態で説明した式（６）の代わりに以下の式（１４）を使って、ＲＧＢ値が算出されることになる。式（１４）における(Ｒ'，Ｇ'，Ｂ')が、表示用の可視化画像の画素値になる。なお、式中の“○”は、ベクトルの要素毎の積であるアダマール積の計算を示すものとする。

ＣＰＵ１０２は、これらの処理を全画素に対して実施することで、ＲＧＢ値で構成される可視化画像を生成する。

本第４の実施形態によれば、オプティカルフローを重畳する画像がモノクロ画像でなくとも、色の成分を弱めることにより、オプティカルフローを重畳し、可視化画像を作ることができる。なお、本第４の実施形態では、色差成分を弱めるためにＹＵＶ表色系を用いて、色差を弱めたがこれに限定されない。ＲＧＢをＨＳＶ表色系に変換して、彩度を弱めてからＲＧＢに戻す構成であってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…バス、１０２…ＣＰＵ、１０３…メモリ、１０４…不揮発メモリ、１０５…変換部、１０６…オプティカルフロー生成部、１０７…画像合成部
１０７ 画像合成部

Claims (10)

1. 被写体を含む表示用画像データを生成する画像処理装置であって、
   被写体を含む第１の画像データを取得する第１の取得手段と、
   前記第１の画像データの画素毎の動きベクトルを表すオプティカルフローを第２の画像データとして取得する第２の取得手段と、
   該第２の取得手段で取得したオプティカルフローを、カラー画像の成分を表すデータに変換する変換手段と、
   前記第１の取得手段で取得した前記第１の画像データと、前記変換手段で得た成分とを合成することで、表示用の第３の画像データを生成する合成手段と
   を有することを特徴とする画像処理装置。
2. 前記合成手段は、前記第１の画像データと前記第２の画像データとを重畳することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の取得手段は、前記被写体を含むカラー画像データから明度成分のみで構成されるモノクロ画像データに変換し、当該変換で得たモノクロ画像データを前記第１の画像データとして取得する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の取得手段は、前記被写体を含むモノクロ画像データをエッジの強度を表すエッジ画像データに変換し、当該変換で得たエッジ画像データを前記第１の画像データとして取得する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第１の取得手段が取得する第１の画像データは、エッジの度合いが高いほど小さい値を持ち、エッジの度合いが低いほど大きな値を持つ画像データである
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記変換手段は、前記オプティカルフローが表すベクトルの向きと大きさを、色空間における色相、彩度を示す値に変換し、
   前記合成手段は、前記第１の取得手段で取得した前記第１の画像データの画素値を明度、前記変換手段で得た色相、彩度とから合成画像データを生成し、当該合成画像データからＲＧＢの成分値で表すカラー画像を前記第３の画像データとして生成する
   ことを特徴とする請求項第１項乃至第５項のいずれか１項に記載の画像処理装置。
7. 前記第１の取得手段は、前記被写体を含むカラー画像データから、予め設定された値に従って色差を弱めたカラー画像データに変換し、当該変換で得たカラー画像データを前記第１の画像データとして取得し、
   前記合成手段は、前記第１の取得手段で取得した前記第１の画像データの各成分値と、前記変換手段で得た色相、彩度とから合成画像データを生成し、当該合成画像データからＲＧＢの成分値で表すカラー画像データを前記第３の画像データとして生成する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記変換手段は、前記オプティカルフローの全ベクトルの水平、垂直成分のヒストグラムを求め、それぞれの最頻の成分値をグローバルモーションベクトルの成分値として抽出し、
   前記オプティカルフローの各画素に相当するベクトルから、前記グローバルモーションベクトルを減じることで得た差分のベクトルを、前記カラー画像の成分を表すデータに変換する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 被写体を含む表示用画像データを生成する画像処理装置の制御方法であって、
   第１の取得手段が、被写体を含む第１の画像データを取得する第１の取得工程と、
   第２の取得手段が、前記第１の画像データの画素毎の動きベクトルを表すオプティカルフローを第２の画像データとして取得する第２の取得工程と、
   変換手段が、前記第２の取得工程で取得したオプティカルフローを、カラー画像の成分を表すデータに変換する変換工程と、
   合成手段が、前記第１の取得工程で取得した前記第１の画像データと、前記変換工程で得た成分とを合成することで、表示用の第３の画像データを生成する合成工程と
   を有することを特徴とする画像処理装置の制御方法。
10. コンピュータが読み込み実行することで、前記コンピュータに、請求項９に記載の方法の各工程を実行させるためのプログラム。