JP2014038229A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザが感じる煩わしさを低減させ、かつ、ディスプレイの焼き付きを低減させることができる技術が求められていた。
【解決手段】本開示によれば、入力画像から静止画部分を抽出し、静止画部分を変動させる制御部を備える、画像処理装置が提供される。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、及びプログラムに関する。

特許文献１、２には、ディスプレイの焼き付きを防止するために、表示画像全体をディスプレイの表示画面内で移動させる技術を開示する。

特開２００７−３０４３１８号公報 特開２００５−４９７８４号公報

しかし、上述した技術は、表示画像全体を移動させるため、ユーザは視認の際に煩わしさを感じてしまっていた。このため、ユーザが感じる煩わしさを低減させ、かつ、ディスプレイの焼き付きを低減させることができる技術が求められていた。

本開示によれば、入力画像から静止画部分を抽出し、静止画部分を変動させる制御部を備える、画像処理装置が提供される。

本開示によれば、入力画像から静止画部分を抽出し、静止画部分を変動させることを含む、画像処理方法が提供される。

本開示によれば、コンピュータに、入力画像から静止画部分を抽出し、静止画部分を変動させる制御機能を実現させる、プログラムが提供される。

本開示によれば、入力画像から静止画部分を抽出し、静止画部分を変動させることができる。

以上説明したように本開示によれば、画像処理装置は、静止画部分が変動した入力画像をディスプレイに表示することができる。これにより、画像処理装置は、表示画像全体の表示位置を固定した上で、静止画部分を変動させることができるので、ユーザが感じる煩わしさを低減させ、かつ、ディスプレイの焼き付きを低減させることができる。

本開示の実施形態に係る画像処理装置に入力される入力画像の一例を示す説明図である。 本開示の実施形態に係る画像処理装置に入力される入力画像の一例を示す説明図である。 本開示の実施形態に係る画像処理装置に入力される入力画像の一例を示す説明図である。 画像処理装置による処理の一例を示す説明図である。 画像処理装置による処理の一例を示す説明図である。 画像処理装置の構成を示すブロック図である。 画像処理装置による処理の手順を示すフローチャートである。 画像処理装置に入力される入力画像の一例を示す説明図である。 画像処理装置による処理の一例を示す説明図である。 画像処理装置による処理の一例を示す説明図である。 画像処理装置による処理の一例を示す説明図である。 画像処理装置による処理の一例を示す説明図である。 画像処理装置による処理の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．背景技術の検討
２．画像処理装置による処理の概要
３．画像処理装置の構成
４．画像処理装置による処理の手順

＜１．背景技術の検討＞
本発明者は、背景技術を検討することで、本実施形態に係る画像処理装置１０に想到するに至った。そこで、まず、本発明者が行った検討について説明する。

陰極線管（ＣＲＴ）、プラズマディスプレイパネル（ＰＤＰ）、有機発光ディスプレイ（ＯＬＥＤ）といった自発光型表示装置は、バックライトを必要とする液晶表示装置と比べて、動画特性、視野角特性、色再現性等が優れている。しかし、静止画が長時間表示されると、その静止画を表示する素子が同じ色で発光し続けるために、発光特性が劣化する場合がある。そして、発光特性が劣化した素子は、画像が切り替わった場合に、前の画像を残像のように表示してしまう場合がある。この現象のことを焼き付きと呼ぶ。焼き付きは、静止画の輝度（コントラスト）が大きいほど発生しやすい。

この焼き付きを防止・軽減させるために、表示画面全体を時間の経過と共に数画素分移動させることにより、発行する画素を分散させ、ひいては、静止画の焼き付き境界線を目立たなくさせる方法が提案されている。

例えば特許文献１は、ＯＬＥＤの発光特性を考慮し、画面全体の表示位置を移動させる方法を開示している。また特許文献２は、画像全体を動かす方向を動画の動きベクトルから求める方法を開示している。すなわち、特許文献１、２には、ディスプレイの焼き付きを防止するために、表示画像全体をディスプレイの表示画面内で移動させる技術を開示する。

しかし、この技術では、表示画像全体が移動してしまう。さらに、表示画像が動くと、表示画像の外側の部分、いわゆる黒枠の幅が変わるので、ユーザは表示画像の表示位置が変わっていることを容易に認識してしまう。このため、ユーザは、表示画像の移動に煩わしさを感じてしまっていた。さらに、表示画像表示画面内で上下左右に動いても表示画像全部を表示するためには、ディスプレイデバイスの画素数を、表示画像の画素数より多くする必要があった。

そこで、本発明者は、上記の背景技術を鋭意検討した結果、本実施形態に係る画像処理装置１０に想到するに至った。画像処理装置１０は、概略的には、入力画像から静止画部分を抽出し、静止画部分を変動させる（例えば、移動させる、表示倍率を変更する等）。そして、画像処理装置１０は、入力画像を表示画像としてディスプレイに表示する。これにより、画像処理装置１０は、表示画像全体の表示位置を固定した上で、静止画部分を変動させることができるので、ユーザが感じる煩わしさを低減させ、かつ、ディスプレイの焼き付きを低減させることができる。さらに、ディスプレイの画素数は、表示画像の画素数と同程度であればよいので、画像処理装置１０は、ディスプレイの画素数を低減させることができる。

＜２．画像処理装置による処理の概要＞
次に、図１〜図５に基づいて、画像処理装置１０による処理の概要について説明する。図１〜図３は、画像処理装置１０に入力される入力画像の例を示す。この例では、同じシーンを構成する第（ｎ−１）フレームの入力画像Ｆ１（ｎ−１）、第ｎフレームの入力画像Ｆ１（ｎ）、第（ｎ＋１）フレームの入力画像Ｆ１（ｎ＋１）が画像処理装置１０に順次入力される（ｎは整数）。なお、本実施形態では、各入力画像を構成する画素はｘｙ座標を有する。ｘ軸は図１中横方向に伸びる軸であり、ｙ軸は垂直方向に伸びる軸である。また、本実施形態では、処理の説明に使用される入力画像には、単純な画像（星型画像等）が描かれるが、より複雑な形状の画像（テロップ等）にも本実施形態は当然に適用可能である。

入力画像Ｆ１（ｎ−１）、Ｆ１（ｎ）、Ｆ１（ｎ＋１）（以下、これらの入力画像をまとめて「入力画像Ｆ１」とも称する）には、円形画像１１０と星型画像１２０とが描かれる。星型画像１２０は各フレームで表示位置が固定されているので静止画部分となり、円形画像１１０はフレーム毎に表示位置が移動している（左端から右端に移動している）ので、動画部分である。仮に星型画像１２０が長時間同じ表示位置に表示された場合、星型画像１２０の表示位置で焼き付きが発生する可能性がある。星型画像１２０の輝度が高いほど、焼き付きが発生する可能性が高まる。

そこで、画像処理装置１０は、星型画像１２０を変動させる。具体的には、図２及び図４に示すように、画像処理装置１０は、入力画像Ｆ１（ｎ）中の星型画像１２０の表示位置を移動させる（いわゆるオービット処理を行う）ことで、静止補間画像Ｆ１ａ（ｎ）を生成する。ここで、移動方向は、円形画像１１０の周辺領域を構成する動画部分、ここでは円形画像１１０の動きベクトルと同一方向または逆方向である。また、移動量は動きベクトルの絶対値に等しいが、異なっていてもよい。

ここで、静止補間画像Ｆ１ａ（ｎ）には、星型画像１２０の移動によって空白部分１２０ａが形成される。空白部分１２０ａは、入力画像Ｆ１（ｎ）中の星型画像１２０の表示領域のうち、静止補間画像Ｆ１ａ（ｎ）中の星型画像１２０の表示領域と重ならない部分に形成される。

そこで、画像処理装置１０は、空白部分１２０ａを補間する。具体的には、画像処理装置１０は、空白部分１２０ａに相当する空白相当部分を前後フレームの入力画像Ｆ１（ｎ−１）、Ｆ１（ｎ＋１）から抽出する（動き補間）。より具体的には、画像処理装置１０は、星型画像１２０を円形画像１１０の動きベクトルと同一方向に移動させた場合には、前フレームの入力画像Ｆ１（ｎ−１）から空白相当部分を抽出する。一方、画像処理装置１０は、星型画像１２０を円形画像１１０の動きベクトルと逆方向に移動させた場合には、後フレームの入力画像Ｆ１（ｎ＋１）から空白相当部分を抽出する。そして、画像処理装置１０は、図５に示すように、抽出した領域を空白部分１２０ａに重畳することで、合成画像Ｆ１ｂ（ｎ）を生成する。そして、画像処理装置１０は、第ｎフレームの入力画像として、入力画像Ｆ１（ｎ）の代わりに合成画像Ｆ１ｂ（ｎ）をディスプレイに表示する。

これにより、画像処理装置１０は、星型画像１２０を変動させる（この例では数画素移動させる）ことができるので、星型画像１２０を表示する素子の劣化を抑制することができ、ひいては、ディスプレイの焼き付きを低減させることができる。さらに、画像処理装置１０は、表示画像全体の表示位置を移動させる必要がないので、ユーザが感じる煩わしさを低減させることができる。さらに、ディスプレイの画素数は、表示画像の画素数と同程度であればよいので、画像処理装置１０は、ディスプレイの画素数を低減させることができる。なお、この例では、第ｎフレームの入力画像Ｆ１（ｎ）の星型画像１２０のみ調整されるが、他のフレームの入力画像も同様に調整されてもよい。また、星型画像１２０は、図４では右方向に移動するが、左方向に移動してもよい。

＜３．画像処理装置の構成＞
次に、図６に示すブロック図に基づいて、画像処理装置１０の構成について説明する。画像処理装置１０は、メモリ１１、１８と、制御部１０ａとを備える。制御部１０ａは、動きベクトル演算部１２と、ピクセル差分演算部１３と、動き箇所検出部１４と、静止箇所検出部１５と、静止種類判断部１６と、方向等判断部１７とを備える。さらに、制御部１０ａは、静止補間部１９と、動き補間部２０と、スケーリング補間部２１と、合成部２２とを備える。

なお、画像処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びハードディスク等のハードウェア構成を有する。ＲＯＭには、画像処理装置１０に制御部１０ａを実現させるためのプログラムが記録されている。ＣＰＵは、ＲＯＭに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、制御部１０ａが実現される。なお、本実施形態では、「前フレーム」は現フレームの１フレーム前のフレームを意味し、「後フレーム」は現フレームの１フレーム後のフレームを意味するものとする。すなわち、制御部１０ａは、前後１フレームから空白相当部分を検出するが、より前（または後）のフレームから空白相当部分を抽出してもよい。

メモリ１１はフレームメモリを兼ねており、少なくとも２以上フィールド、あるいは２以上フレームの入力画像を記憶する。動きベクトル演算部１２は、現フレームの入力画像及び前フレームの入力画像をメモリ１１から取得する。さらに、動きベクトル演算部１２は、静止箇所検出部１５から静止画部分情報を取得する。ここで、静止画部分情報は、静止画部分を構成する画素を示すものである。

そして、動きベクトル演算部１２は、これらの情報に基づいて、現フレームの入力画像の動きベクトルをブロック単位で算出する。すなわち、動きベクトル演算部１２は、現フレームから静止画部分を除外し、静止画部分以外の領域を複数のブロックに分割する。ここで、動きベクトル演算部１２は、静止画部分の周辺領域を第１のブロックに分割し、それ以外の領域（すなわち離間領域）を第２のブロックに分割する。第１ブロックは第２ブロックよりも小さい。すなわち、動きベクトル演算部１２は、静止画部分の周辺領域の動きを詳細に検出する一方、他の領域の動きを周辺領域よりも大雑把に検出する。後述するように、静止画部分の周辺領域は、空白部分の補間に必要な領域だからである。第１のブロック及び第２のブロックの大きさは特に制限されないが、例えば第１のブロックは２×２画素の大きさを有し、第２のブロックは１６×１６画素の大きさを有する。周辺領域の大きさも特に制限されないが、周辺領域の外縁部分と静止画部分との距離は数画素（例えば５〜６画素）程度とされてもよい。

そして、動きベクトル演算部１２は、前フレームの動きベクトル情報をメモリ１１から取得し、現フレームのブロックと前フレームのブロックとをマッチングする（ブロックマッチングする）ことで、現フレームのブロックを前フレームのブロックに関連付ける。そして、動きベクトル演算部１２は、現フレームのブロックと前フレームのブロックとに基づいて、現フレームのブロックの動きベクトルを算出する。動きベクトルは、各ブロックが１フレームの間に移動した方向及び量を示すベクトル情報である。ブロックマッチング及び動きベクトルの算出方法は特に制限されない。例えば、ＭＰＥＧ画像の動き評価に使用されるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ ｅｓｔｉｍａｔｉｏｎ）を用いてこれらの処理が行われる。

動きベクトル演算部１２は、各ブロックの動きベクトルに関する動きベクトル情報を動き箇所検出部１４、静止箇所検出部１５、静止補間部１９、及び動き補間部２０に出力する。また、動きベクトル演算部１２は、動きベクトル情報をメモリ１１に記憶する。メモリ１１に記憶された動きベクトル情報は、次フレームの動きベクトルを算出する際に使用される。

ピクセル差分演算部１３は、メモリ１１から現フレームの入力画像、前フレームの入力画像、及び後フレームの入力画像を取得する。そして、ピクセル差分演算部１３は、現フレームを構成する画素と前後フレームを構成する画素とを比較することで、静止画部分を画素ごとに抽出する。

具体的には、ピクセル差分演算部１３は、以下の式（１）に基づいて、各画素Ｐ（ｘ，ｙ）の輝度差分値△ＰＬを算出する。

式（１）中、Ｐ（Ｆ（ｎ−１），ｘ，ｙ）、Ｐ（Ｆ（ｎ），ｘ，ｙ）、及びＰ（Ｆ（ｎ＋１），ｘ，ｙ）は、それぞれ前フレーム、現フレーム、及び後フレームにおける画素Ｐ（ｘ、ｙ）の輝度を示す。

ここで、輝度差分値△ＰＬの算出例を図８及び図９に基づいて説明する。この例では、図８に示すように、第（ｎ−１）〜第（ｎ＋２）フレームの入力画像Ｆ２（ｎ−１）〜Ｆ２（ｎ＋２）が画像処理装置１０に入力される。これらの入力画像Ｆ２（ｎ−１）〜Ｆ２（ｎ＋２）は同じシーンを構成する。この例では、円形画像２１０は各フレームで表示位置が固定されているので静止画部分となり、三角画像２２０はフレーム毎に表示位置が移動している（右下端部から左上端部に移動している）ので、動画部分である。矢印２２０ａは三角画像２２０の動きベクトルを示す。この例では、円形画像２１０内のある画素Ｐ（ｘ，ｙ）の輝度差分値△ＰＬは、上述した式（１）で算出される。

ピクセル差分演算部１３は、各画素の輝度差分値△ＰＬに関する輝度差分値情報を生成し、動き箇所検出部１４及び静止箇所検出部１５に出力する。

なお、ピクセル差分演算部１３の処理は画素ごとに行われるため、ブロックごとの演算に比べると処理の負荷が大きい。そこで、動きベクトル演算部１２により入力画像を大雑把に静止画ブロックと動画ブロックとに区分し、静止画ブロックに対してピクセル差分演算部１３の処理を行なってもよい。

この場合、例えば、動きベクトル演算部１２は、入力画像を同じ大きさのブロックに区分し、各ブロックに対しブロックマッチング等を行うことで、各ブロックの動きベクトルを算出する。そして、動きベクトル演算部１２は、動きベクトル情報をピクセル差分演算部１３に出力する。ピクセル差分演算部１３は、動きベクトルの絶対値（大きさ）が所定の基準ベクトル量未満となる場合に、その動きベクトルを有するブロックを静止画ブロックとする。そして、ピクセル差分演算部１３は、静止画ブロックを構成する画素の輝度差分値△ＰＬを算出し、輝度差分値情報を静止箇所検出部１５に出力する。静止箇所検出部１５は、後述する処理により静止画部分情報を生成し、動きベクトル演算部１２に出力する。動きベクトル演算部１２は、静止画部分情報に基づいて、静止画部分の周辺領域のみ第１のブロックに再分割し、第１のブロックに対して上述した処理を行う。そして、動きベクトル演算部１２は、動きベクトル情報を動き箇所検出部１４等に出力する。この処理によれば、ピクセル差分演算部１３は、入力画像のうち、静止画部分となる蓋然性の高い箇所のみ輝度差分値△ＰＬを算出することができるので、処理負荷を低減させることができる。

動き箇所検出部１４は、動きベクトル情報と、輝度差分値情報とに基づいて、現フレームの入力画像から動画部分を検出する。具体的には、動き箇所検出部１４は、輝度差分値が所定の基準差分値以上となる画素を含むブロックを動画部分とする。さらに、動き箇所検出部１４は、動きベクトルの絶対値（大きさ）が所定の基準ベクトル量以上である場合には、その動きベクトルを有するブロックを動画部分とする。そして、動き箇所検出部１４は、動画部分となるブロックを示す動画部分情報を生成し、静止種類判断部１６に出力する。

静止箇所検出部１５は、輝度差分値情報に基づいて、現フレームの入力画像から静止画部分を検出する。具体的には、静止箇所検出部１５は、輝度差分値が所定の基準差分値未満となる画素を静止画部分とする。このように、本実施形態では、静止箇所検出部１５は、静止画部分を画素単位で検出する。これにより、静止画部分の検出精度が向上する。静止箇所検出部１５は、静止画部分を構成する画素を示す静止画情報を生成し、動きベクトル演算部１２及び静止種類判断部１６に出力する。

なお、静止画部分としては、例えば、一定の大きさを有する領域、数字、及び文字等が挙げられる。より具体的には、静止画部分としては、ロゴ、時計の数字、画面下に現れるテロップ、スポーツのスコアなどが挙げられる。静止箇所検出部１５は、静止画情報をメモリ１８に記憶する。また、静止箇所検出部１５は、シーンチェンジがあった場合には、メモリ１８内の静止画情報を消去する。

静止種類判断部１６は、動画部分情報及び静止画情報に基づいて、入力画像の静止種類を判断する。ここで、本実施形態では、静止種類は「動画」、「一部領域静止」、及び「全領域静止」のいずれかである。

「動画」は、静止画部分が後述する「一部領域静止」以外の形状となる入力画像を示す。「動画」の入力画像では、静止画部分は、ロゴ、時計の数字、及びスポーツのスコアなどのように、動画部分に比べて小さくなる場合が多い。

「一部領域静止」は、静止画部分が入力画像のｘ方向またはｙ方向の両端にわたって形成されている入力画像を示す。「一部領域静止」となる入力画像の例を図１１に示す。この例では、静止画部分３２０がｘ方向の両端にわたって形成されている。「一部領域静止」の入力画像としては、画像下部がテロップ等の領域となる入力画像、「動画」に区分される画像の周辺に黒帯画像（または何らかの静止画部分）が形成された入力画像等が挙げられる。これらの入力画像では、静止画部分と動画部分との境界が固定されやすく、したがって焼き付きが起こりやすい。

「全領域静止」は、何らかの原因（例えばユーザがポーズ操作を行った）で全領域が静止した「動画」または「一部領域静止」を示す。「全領域静止」の入力画像としては、全域が完全静止している入力画像、人物が中央で話している様子を示す入力画像等が挙げられる。なお、前者の完全静止が長く続く時は、スクリーンセイバーなどに移行してもよい。本実施形態では、主に、動画状態と静止状態と間の状態遷移や、このような状態遷移が繰り返される場合が想定されている。なお、テロップなどの静止画部分は、入力画像の状態が移行しても、静止画部分の表示位置は同じあるので、焼き付く傾向にある。「全領域静止」となる入力画像の例を図１３に示す。この例では、入力画像Ｆ５は静止画部分５２０と動画部分５１０とを含むが、何らかのタイミングで動画部分５１０も静止した状態となっている。この場合、静止画部分５２０は、入力画像Ｆ５の状態にかかわらず表示位置が固定されるので、静止画部分５２０を表示する素子は、動画部分５１０を表示する素子よりも焼き付きを起こしやすい。

このように、本実施形態では、入力画像の静止種類を３種類に区分している。また、後述するように、静止種類毎に静止画部分の変動方法を変える必要がある。そこで、静止種類判断部１６は、動画部分情報及び静止画部分情報に基づいて、入力画像の静止種類を判断する。そして、静止種類判断部１６は、判断結果に関する静止種類情報を方向等判断部１７に出力する。

方向等判断部１７は、静止種類情報等に基づいて、静止画部分の変動方法、変動方向、及び変動量を決定する。

方向等判断部１７は、入力画像が「動画」となる場合、変動方法を「移動」に決定する。上述したように、静止画部分を移動させた場合、空白部分が形成されるが、空白部分は他フレームの空白相当部分を用いて補間可能だからである。もちろん、方向等判断部１７は、変動方法を「表示倍率の変更」としてもよい。この場合、後述する「全領域静止」と同様の調整が行われる。

方向等判断部１７は、静止画部分の変動方向を動画部分の動きベクトルに基づいて決定する。すなわち、方向等判断部１７は、静止画部分の周辺領域を構成する動画部分の動きベクトルを抽出し、この動きベクトルの算術平均値を算出する。そして、方向等判断部１７は、静止画部分の変動方向、すなわち移動方向を動きベクトルの算術平均値と同じ方向または逆方向とする。

ここで、方向等判断部１７は、メモリ１８から画素劣化情報を取得し、この画素劣化情報に基づいて、移動方向を決定してもよい。ここで、画素劣化情報は、素子の表示輝度を素子ごとに積算した値を示す。この値が大きいほど、素子が頻繁に使用されている（言い換えれば、劣化している）ことを示す。すなわち、画素劣化情報は、ディスプレイの表示画面を構成する各画素の使用状況を示す。焼き付き抑制の観点からは、より劣化の少ない素子に静止画部分を表示させた方が好ましい。そこで、方向等判断部１７は、移動方向先の素子の画素劣化情報を参照し、より劣化の少ない画素が存在する方向に静止画部分を移動させる。なお、画素劣化情報は、表示輝度を積算した値以外の値であってもよい。例えば、画素劣化情報は、所定値以上の輝度を表示した回数であってもよい。

なお、「動画」の入力画像は、静止画部分及び動画部分の表示位置が頻繁に入れ替わるため、「動画」の入力画像を表示する素子はまんべんなく使用されている。このため、劣化の度合いも全素子でほぼ均一となることが多い。一方、後述する「一部領域静止」では、特定の素子が静止画部分を表示し続けるため、劣化の度合いも大きくなる。したがって、画素劣化情報は、「一部領域静止」の静止画部分の移動方向を決定する際に特に有益となる。

方向等判断部１７は、静止画部分の変動量、すなわち移動量を動画部分の動きベクトルに基づいて決定する。すなわち、方向等判断部１７は、静止画部分の周辺領域を構成する動画部分の動きベクトルを抽出し、この動きベクトルの算術平均値を算出する。そして、方向等判断部１７は、静止画部分の移動量を動きベクトルの算術平均値と同じ値とする。もちろん、移動量はこれに限られず、例えば動きベクトルの算術平均値未満の値であってもよい。例えば、方向等判断部１７は、画素劣化情報に基づいて変動量を決定してもよい。具体的には、方向等判断部１７は、変動量が動きベクトルの算術平均値未満とした場合のほうが素子の劣化を少なくできる場合には、変動量を動きベクトルの算術平均値未満とする。

方向等判断部１７は、入力画像が「一部領域静止」となる場合、変動方法を「移動」に決定する。この静止種類においても、静止画部分の移動によって空白部分が生じるが、この空白部分は他フレームの空白相当部分または現フレームの静止画部分によって補間可能だからである。詳細は後述する。

方向等判断部１７は、静止画部分の変動方向、すなわち移動方向をｘ方向またはｙ方向とする。具体的には、方向等判断部１７は、静止画部分がｘ方向両端にわたって形成される場合、変動方向をｙ方向とする。一方、方向等判断部１７は、静止画部分がｙ方向両端にわたって形成される場合、変動方向をｘ方向とする。静止画部分の移動方向は、動画部分の動きベクトルと交差する方向、同一方向、または逆方向となる。なお、方向等判断部１７は、移動方向を斜め方向としてもよい。この場合、移動方向はｘ方向とｙ方向との組み合わせとなる。移動方向が斜め方向となる場合、後述する静止補間部１９及び動き補間部２０による処理も、ｘ方向に対応する処理とｙ方向に対応する処理との組み合わせとなる。

ここで、方向等判断部１７は、メモリ１８から画素劣化情報を取得し、この画素劣化情報に基づいて、移動方向を決定してもよい。すなわち、方向等判断部１７は、移動方向先の素子の画素劣化情報を参照し、より劣化の少ない画素が存在する方向に静止画部分を移動させる。

方向等判断部１７は、静止画部分の変動量、すなわち移動量を動画部分の動きベクトルに基づいて決定する。すなわち、方向等判断部１７は、静止画部分の周辺領域を構成する動画部分の動きベクトルを抽出し、この動きベクトルの算術平均値を算出する。そして、方向等判断部１７は、静止画部分の移動量を動きベクトルの算術平均値と同じ値とする。もちろん、移動量はこれに限られず、例えば動きベクトルの算術平均値未満の値であってもよい。例えば、方向等判断部１７は、画素劣化情報に基づいて変動量を決定してもよい。具体的には、方向等判断部１７は、変動量が動きベクトルの算術平均値未満とした場合のほうが素子の劣化を少なくできる場合には、変動量を動きベクトルの算術平均値未満とする。

また、方向等判断部１７は、静止画部分を動きベクトルと交差する方向、特に垂直方向に移動する場合、動きベクトルを考慮せずに変動量を決定してもよい。後述するように、静止画部分が動きベクトルに対して垂直方向に移動する場合、静止画部分に基づいて空白部分が補間されるので、動きベクトルを考慮する必要がないからである。

方向等判断部１７は、入力画像が「全領域静止」となる場合、変動方法を「表示倍率の変更」に決定する。入力画像が「全領域静止」となる場合、動画部分も一時的に停止している。このため、動画部分の動きベクトルが正確に算出されない（動きベクトルが一時的に０またはその近傍の値となる）。したがって、画像処理装置１０は、静止画部分を移動させることによって生じた空白部分を動きベクトルに基づいて補間することができない場合がある。そこで、方向等判断部１７は、入力画像が「全領域静止」となる場合、変動方法を「表示倍率の変更」に決定する。

方向等判断部１７は、静止画部分の変動方向及び変動量、すなわち表示倍率のｘ成分及びｙ成分を決定する。ｘ成分が１より大きくなる場合、静止画部分をｘ方向に拡大することになり、ｘ成分が１未満の値となる場合、静止画部分をｘ方向に縮小することになる。ｙ成分についても同様である。ここで、方向等判断部１７は、メモリ１８から画素劣化情報を取得し、この画素劣化情報に基づいて、表示倍率のｘ成分及びｙ成分を決定してもよい。具体的な内容は「動画」及び「一部領域静止」の場合と同様である。

方向等判断部１７は、変動方法、変動方向、及び変動量に関する変動情報を静止補間部１９、動き補間部２０、及びスケーリング補間部２１に出力する。

静止補間部１９は、メモリ１１から現フレームの入力画像を取得し、現フレームの入力画像と、動きベクトル演算部１２及び方向等判断部１７から与えられた情報とに基づいて、静止補間画像を生成する。

静止補間部１９による処理の具体例を図８、図１０〜図１３に基づいて説明する。まず、入力画像が「動画」である場合に行われる処理の例を説明する。この例では、図８に示す入力画像Ｆ２（ｎ−１）〜Ｆ２（ｎ＋２）が画像処理装置１０に入力されているものとする。また、現フレームは第ｎフレームであるものとする。

静止補間部１９は、図１０に示すように、入力画像Ｆ２（ｎ）の静止画部分である円形画像２１０を矢印２１０ａ方向（三角画像２２０の動きベクトルと同一方向）に移動させることで、静止補間画像Ｆ２ａ（ｎ）を生成する。ここで、移動量は三角画像２２０の動きベクトルの大きさと同程度とされる。これにより、静止補間画像Ｆ２ａ（ｎ）には空白部分２１０ｂが形成される。

次に、入力画像の静止種類が「一部領域静止」である場合に行われる処理の例を説明する。この例では、図１１に示す入力画像Ｆ３が画像処理装置１０に入力されているものとする。入力画像Ｆ３は、動画部分３１０と静止画部分３２０とを含む。矢印３１０ａは動画部分３１０の動きベクトルを示す。

静止補間部１９は、図１１に示すように、静止画部分３２０を上方向（矢印３２０ａの方向）に移動させる。すなわち、静止補間部１９は、静止画部分３２０を動きベクトルと垂直な方向に移動させる。これにより、静止補間部１９は、静止補間画像Ｆ３ａを生成する。静止補間画像Ｆ３ａには空白部分３３０が形成される。

次に、入力画像の静止種類が「一部領域静止」である場合に行われる処理の他の例を説明する。この例では、図１２に示す入力画像Ｆ４が画像処理装置１０に入力されているものとする。入力画像Ｆ４は、動画部分４１０と静止画部分４２０とを含む。矢印４１０ａは動画部分４１０の動きベクトルを示す。

静止補間部１９は、図１２に示すように、静止画部分４２０を下方向（矢印４２０ａの方向）に移動させる。すなわち、静止補間部１９は、静止画部分４２０を動きベクトルと同じ方向に移動させる。これにより、静止補間部１９は、静止補間画像Ｆ４ａを生成する。静止補間画像Ｆ４ａには空白部分４３０が形成される。なお、静止補間部１９は、静止画部分４２０の下方向への移動により静止補間画像Ｆ４ａが拡大されるので、静止画部分４２０の縮小、切り抜き等を行うことで、静止補間画像Ｆ４ａのサイズを入力画像Ｆ４に揃える。

なお、静止補間部１９は、静止画部分４２０の特性に基づいて、縮小及び切り抜きのうちどちらの処理を行うのかを決定してもよい。例えば、静止補間部１９は、静止画部分４２０が単一色（例えば黒色）の帯となる場合、縮小処理及び切り抜き処理のいずれ行なってもよい。一方、静止補間部１９は、静止画部分４２０に何らかの柄（テロップ等）が描かれている場合、縮小処理を行うことが好ましい。切り抜き処理が行われた場合、静止画部分４２０の情報が一部失われる可能性があるからである。

次に、入力画像の静止種類が「全領域静止」である場合に行われる処理の例を説明する。この例では、図１３に示す入力画像Ｆ５が画像処理装置１０に入力されているものとする。入力画像Ｆ５は、動画部分５１０と静止画部分５２０とを含む。ただし、動画部分５１０も一時的に静止している。

静止補間部１９は、図１３に示すように、入力画像Ｆ５をｘ方向及びｙ方向（矢印５００方向）に拡大することで、静止補間画像Ｆ５ａを生成する。したがって、この場合、表示倍率のｘ成分及びｙ成分はいずれも１より大きい。これにより、静止画部分５２０は拡大されて拡大静止画部分５２０ａとなり、動画部分５１０は拡大されて拡大動画部分５１０ａとなる。なお、拡大動画部分５１０ａのうち、外縁部分５１０ｂは、入力画像Ｆ５からはみ出た部分となるので、この部分はディスプレイに表示されない可能性がある。そこで、後述するように、動き補間部２０は、外縁部分５１０ｂがなくなるように、ノンリニアスケーリングを行う。詳細は後述する。静止補間部１９は、静止補間画像を合成部２２に出力する。

なお、図１３に示す例では、静止補間部１９は、入力画像Ｆ５を拡大するが、方向等判断部１７から与えられた変動情報が入力画像の縮小を示す場合、入力画像Ｆ５を縮小する。この場合、静止補間画像は入力画像よりも小さくなるので、動き補間部２０は、動画部分をノンリニアスケーリングすることで、静止補間画像を拡大する。詳細は後述する。

動き補間部２０は、メモリ１１から現フレーム及び前後フレームの入力画像を取得し、現フレーム及び前後フレームの入力画像と、動きベクトル演算部１２及び方向等判断部１７から与えられた情報とに基づいて、空白相当部分または調整動画部分を生成する。

動き補間部２０による処理の具体例を図８、図１０〜図１３に基づいて説明する。まず、入力画像が「動画」である場合に行われる処理の例を説明する。この例では、図８に示す入力画像Ｆ２（ｎ−１）〜Ｆ２（ｎ＋２）が画像処理装置１０に入力されているものとする。また、現フレームは第ｎフレームであるものとする。この例では、静止補間部１９により、円形画像２１０が三角画像２２０の動きベクトルと同じ方向に移動し、空白部分２１０ｂが形成されている。

そこで、動き補間部２０は、前フレームの入力画像を構成するブロック、特に第１のブロックから空白部分２１０ｂに相当する空白相当部分２１０ｃを抽出する。具体的には、動き補間部２０は、前フレームの各ブロックの動きベクトルに基づいて、各ブロックの現フレームでの位置を予測する。そして、動き補間部２０は、前フレームの各ブロックのうち、現フレームで空白部分２１０ｂ内に移動すると予測されるブロックを空白相当部分２１０ｃとする。これにより、動き補間部２０は、空白相当部分２１０ｃを抽出する。

一方、動き補間部２０は、静止画部分が動きベクトルと逆方向に移動している場合、後フレームの構成するブロック、特に第１のブロックから空白部分に相当する空白相当部分を抽出する。具体的には、動き補間部２０は、後フレームの動きベクトルの符号を入れ替えることで、逆動きベクトルを算出し、逆動きベクトルに基づいて、後フレームの各ブロックが現フレームでどの位置にいたのかを推定する。そして、動き補間部２０は、現フレームで空白部分に存在すると推定される部分を空白相当部分とする。これにより、動き補間部２０は、空白相当部分２１０ｃを抽出する。

次に、入力画像の静止種類が「一部領域静止」である場合に行われる処理の例を説明する。この例では、図１１に示す入力画像Ｆ３が画像処理装置１０に入力されているものとする。入力画像Ｆ３は、動画部分３１０と静止画部分３２０とを含む。矢印３１０ａは動画部分３１０の動きベクトルを示す。また、静止補間部１９により、静止画部分３２０が上方向（矢印３２０ａの方向）に移動し、空白部分３３０が形成されている。

この場合、静止画部分３２０の移動方向は動きベクトルに垂直な方向となるので、動きベクトルに基づく補間はできない。空白相当部分は前後フレーム内に存在しないからである。そこで、動き補間部２０は、静止画部分３２０に基づいて空白部分３３０を補間する。具体的には、動き補間部２０は、静止画部分３２０を拡大することで、空白部分３３０に相当する空白相当部分３３０ａを生成する（スケーリング処理）。また、動き補間部２０は、静止画部分３２０のうち、空白部分３３０に隣接する部分を空白相当部分３３０ａとしてもよい（繰り返し処理）。この場合、静止画部分３２０の一部が繰り返し表示されることとなる。

なお、動き補間部２０は、静止画部分３２０の特性に応じてどちらの処理を行うのかを決定してもよい。例えば、動き補間部２０は、静止画部分３２０が単一色（例えば黒色）の帯となる場合、スケーリング処理及び繰り返し処理のいずれ行なってもよい。一方、動き補間部２０は、静止画部分３２０に何らかの柄（テロップ等）が描かれている場合、スケーリング処理を行うことが好ましい。繰り返し処理が行われた場合、空白相当部分３３０ａにおいて静止画部分３２０の柄が不連続となる可能性があるからである。また、この例では、動画部分３１０の下端部に静止画部分３２０が重畳されることになるので、動き補間部２０は、動画部分３１０の縮小、切り抜き等を行なってもよい。

次に、入力画像の静止種類が「一部領域静止」である場合に行われる処理の他の例を説明する。この例では、図１２に示す入力画像Ｆ４が画像処理装置１０に入力されているものとする。入力画像Ｆ４は、動画部分４１０と静止画部分４２０とを含む。矢印４１０ａは動画部分４１０の動きベクトルを示す。また、静止補間部１９により、静止画部分４２０が下方向（矢印４２０ａの方向）に移動し、空白部分４３０が形成されている。

この例では、静止画部分４２０の移動方向は動きベクトルと同じ方向となるので、動きベクトルに基づく補間が可能となる。具体的には、図１０に示す例と同様の補間が可能となる。そこで、動き補間部２０は、前フレームの入力画像から空白相当部分を抽出する。

次に、入力画像の静止種類が「全領域静止」である場合に行われる処理の例を説明する。この例では、図１３に示す入力画像Ｆ５が画像処理装置１０に入力されているものとする。入力画像Ｆ５は、動画部分５１０と静止画部分５２０とを含む。ただし、動画部分５１０も一時的に静止している。また、静止補間部１９により、入力画像Ｆ５がｘｙ方向に拡大されており、外縁部分５１０ｂが入力画像Ｆ５からはみ出している。

そこで、動き補間部２０は、拡大動画部分５１０ａを、拡大静止画部分５２０ａの周辺領域５１０ａ−１と外側の領域５１０ａ−２とに区分し、外側の領域５１０ａ−２を縮小する（矢印５０１方向に縮小する）。これにより、動き補間部２０は、調整動画部分５１０ｃを生成する。これにより、動き補間部２０は、動画部分５１０のノンリニアスケーリングを行う。後述する合成部２２は、静止補間画像Ｆ５ａの外側の領域５１０ａ−２を調整動画部分５１０ｃに置き換えることで、合成画像を生成する。

なお、動き補間部２０は、静止補間部１９が入力画像Ｆ５を縮小した場合、外側の領域５１０ａ−２を拡大する処理を行うことで、調整動画部分５１０ｃを生成することとなる。また、動き補間部２０は、静止画部分が複数存在する場合にも、同様の処理が可能である。すなわち、動き補間部２０は、各静止画部分の周辺領域を拡大（または縮小）し、それ以外の領域、すなわち動画部分を縮小（または拡大）すればよい。

動き補間部２０は、生成した空白相当部分または調整動画部分に関する動画補間情報を合成部２２に出力する。

スケーリング補間部２１は、動き補間部２０により補間しきれなかった空白部分を補間する処理を行う。すなわち、動画部分の動きが動画部分内のすべての画素で均一となる場合には、動き補間部２０による処理によって空白部分は補間される。しかし、動画部分の動きは画素ごとに異なる（乱れる）場合がある。また、動画部分はイレギュラーな動きをする場合がある。すなわち、動画部分は、ある時間では一定方向に動くが、特定のフレームで急に動きを変える可能性がある。これらの場合、動き補間部２０による処理だけでは空白部分が完全に補間されない場合がある。

また、動画部分がその倍率を変動させながら移動する場合（例えば、動画部分が縮小しながら移動する場合）には、空白相当部分の絵柄と空白部分周辺の絵柄とが繋がらない場合がある。

そこで、まず、スケーリング補間部２１は、現フレームの入力画像をメモリ１１から取得し、さらに、静止補間部１９及び動き補間部２０から静止補間画像及び空白相当部分を取得する。そして、スケーリング補間部２１は、空白部分に空白相当部分を重畳することで、合成画像を生成する。そして、スケーリング補間部２１は、空白部分に隙間が形成されるか否かを判定し、隙間が形成される場合には、空白相当部分をフィルタリング、スケーリング等することで、隙間を埋める。

さらに、スケーリング補間部２１は、空白相当部分の絵柄と空白部分周辺の絵柄とが繋がらない場合、空白相当部分と空白部分周辺部分との境界でフィルタリング処理を行うことで、境界をぼかす。そして、スケーリング補間部２１は、上記の処理により調整された合成画像、すなわち調整画像を合成部２２に出力する。

合成部２２は、静止補間画像、空白相当部分（または調整動画部分）、及び調整画像を合成することで、合成画像を生成する。図１１に、静止補間画像Ｆ３ａと空白相当部分３３０ａとの合成画像Ｆ３ｂを示す。また、図１２に、静止補間画像Ｆ４ａと空白相当部分４１０ｂとの合成画像Ｆ４ｂを示す。また、図１３に、静止補間画像Ｆ５ａと調整動画部分５１０ｃとの合成画像Ｆ５ｂを示す。これらの例に示されるように、合成画像では、静止画部分が変動しており、かつ、静止画部分の周辺領域がなんらかの方法で調整されている。合成部２２は、合成画像を例えばディスプレイに出力する。ディスプレイは、合成画像を表示する。なお、ディスプレイは、合成画像の表示位置を変動させる必要がないので、ディスプレイの素子数は合成画像の画素数と同程度であればよい。

＜４．画像処理装置による処理の手順＞
次に、画像処理装置１０による処理の手順を図７に示すフローチャートに沿って説明する。なお、上述したように、動きベクトル演算では、静止画部分の周辺領域のブロックが小さくなるので、事前に静止画部分が判明している必要がある。

そこで、まず、ステップＳ１において、ピクセル差分演算部１３は、メモリ１１から現フレームの入力画像、前フレームの入力画像、及び後フレームの入力画像を取得する。そして、ピクセル差分演算部１３は、現フレームを構成する画素と前後フレームを構成する画素とを比較することで、静止画部分を画素ごとに抽出する。具体的には、ピクセル差分演算部１３は、上述した式（１）に基づいて、各画素Ｐ（ｘ，ｙ）の輝度差分値△ＰＬを算出する。

ピクセル差分演算部１３は、各画素の輝度差分値△ＰＬに関する輝度差分値情報を生成し、動き箇所検出部１４及び静止箇所検出部１５に出力する。

ステップＳ２において、静止箇所検出部１５は、シーンチェンジがあったか否かを判定し、シーンチェンジがあったと判定した場合には、ステップＳ３に進み、シーンチェンジがないと判定した場合には、ステップＳ４に進む。なお、シーンチェンジがあったか否かは、例えば入力画像の出力元の装置などから通知されてもよい。ステップＳ３において、静止箇所検出部１５は、メモリ１８内の静止画情報を消去する。

ステップＳ４において、静止箇所検出部１５は、輝度差分値情報に基づいて、現フレームの入力画像から静止画部分（静止箇所）を検出する。具体的には、静止箇所検出部１５は、輝度差分値が所定の基準差分値未満となる画素を静止画部分とする。静止箇所検出部１５は、静止画部分を構成する画素を示す静止画情報を生成し、動きベクトル演算部１２及び静止種類判断部１６に出力する。なお、静止箇所検出部１５は、静止画情報をメモリ１８に記憶する。

ステップＳ５において、動きベクトル演算部１２は、現フレームの入力画像及び前フレームの入力画像をメモリ１１から取得する。さらに、動きベクトル演算部１２は、静止箇所検出部１５から静止画部分情報を取得する。

そして、動きベクトル演算部１２は、これらの情報に基づいて、現フレームの入力画像の動きベクトルをブロック単位で算出する。すなわち、動きベクトル演算部１２は、現フレームから静止画部分を除外し、静止画部分以外の領域を複数のブロックに分割する。ここで、動きベクトル演算部１２は、静止画部分の周辺領域を第１のブロックに分割し、それ以外の領域を第２のブロックに分割する。第１ブロックは第２ブロックよりも小さい。すなわち、動きベクトル演算部１２は、静止画部分の周辺領域の動きを詳細に検出する一方、他の領域の動きを周辺領域よりも大雑把に検出する。

そして、動きベクトル演算部１２は、前フレームの動きベクトル情報をメモリ１１から取得し、ブロックマッチング等を行うことで、現フレームのブロックの動きベクトルを算出する。

動きベクトル演算部１２は、各ブロックの動きベクトルに関する動きベクトル情報を動き箇所検出部１４、静止箇所検出部１５、静止補間部１９、及び動き補間部２０に出力する。また、動きベクトル演算部１２は、動きベクトル情報をメモリ１１に記憶する。メモリ１１に記憶された動きベクトル情報は、次フレームの動きベクトルを算出する際に使用される。

ステップＳ６において、動き箇所検出部１４は、動きベクトル情報と、輝度差分値情報とに基づいて、現フレームの入力画像から動画部分（動き箇所）を検出する。具体的には、動き箇所検出部１４は、輝度差分値が所定の基準差分値以上となる画素を含むブロックを動画部分とする。さらに、動き箇所検出部１４は、動きベクトルの絶対値（大きさ）が所定の基準ベクトル量以上である場合には、その動きベクトルを有するブロックを動画部分とする。そして、動き箇所検出部１４は、動画部分となるブロックを示す動画部分情報を生成し、静止種類判断部１６に出力する。

ステップＳ８において、静止種類判断部１６は、動画部分情報及び静止画情報に基づいて、入力画像の静止種類を判断する。ここで、本実施形態では、静止種類は「動画」、「一部領域静止」、及び「全領域静止」のいずれかである。そして、静止種類判断部１６は、判断結果に関する静止種類情報を方向等判断部１７に出力する。

方向等判断部１７は、静止種類情報等に基づいて、静止画部分の変動方法、変動方向、及び変動量を決定する。

すなわち、方向等判断部１７は、入力画像が「動画」となる場合、ステップＳ９において、変動方法を「移動」に決定する。上述したように、静止画部分を移動させた場合、空白部分が形成されるが、空白部分は他フレームの空白相当部分を用いて補間可能だからである。

一方、方向等判断部１７は、入力画像が「一部領域静止」となる場合、ステップＳ１０において、変動方法を「移動」に決定する。この静止種類においても、静止画部分の移動によって空白部分が生じるが、この空白部分は他フレームの空白相当部分または現フレームの静止画部分によって補間可能だからである。

一方、方向等判断部１７は、入力画像が「全領域静止」となる場合、ステップＳ１１において、変動方法を「表示倍率の変更」に決定する。入力画像が「全領域静止」となる場合、動画部分も一時的に停止している。このため、動画部分の動きベクトルが正確に算出されない。したがって、画像処理装置１０は、静止画部分を移動させることによって生じた空白部分を動きベクトルに基づいて補間することができない。そこで、方向等判断部１７は、入力画像が「全領域静止」となる場合、変動方法を「表示倍率の変更」に決定する。

ステップＳ１２において、方向等判断部１７は、静止画部分の変動方向（移動方向）、変動量（移動量）、及び輝度を決定する。

具体的には、方向等判断部１７は、入力画像が「動画」となる場合、静止画部分の変動方向を動画部分の動きベクトルに基づいて決定する。すなわち、方向等判断部１７は、静止画部分の周辺領域を構成する動画部分の動きベクトルを抽出し、この動きベクトルの算術平均値を算出する。そして、方向等判断部１７は、静止画部分の変動方向、すなわち移動方向を動きベクトルの算術平均値と同じ方向または逆方向とする。ここで、方向等判断部１７は、メモリ１８から画素劣化情報を取得し、この画素劣化情報に基づいて、移動方向を決定してもよい。

さらに、方向等判断部１７は、静止画部分の変動量、すなわち移動量を動画部分の動きベクトルに基づいて決定する。すなわち、方向等判断部１７は、静止画部分の周辺領域を構成する動画部分の動きベクトルを抽出し、この動きベクトルの算術平均値を算出する。そして、方向等判断部１７は、静止画部分の移動量を動きベクトルの算術平均値と同じ値とする。

さらに、方向等判断部１７は、静止画部分の輝度が所定輝度よりも大きくなる場合、輝度を所定輝度以下の値としてもよい。これにより、焼き付きがより確実に低減される。この処理は入力画像の静止種類によらず行われてよい。

一方、方向等判断部１７は、入力画像が「一部領域静止」となる場合、静止画部分の変動方向、すなわち移動方向をｘ方向またはｙ方向とする。具体的には、方向等判断部１７は、静止画部分がｘ方向両端にわたって形成される場合、変動方向をｙ方向とする。一方、方向等判断部１７は、静止画部分がｙ方向両端にわたって形成される場合、変動方向をｘ方向とする。ここで、方向等判断部１７は、メモリ１８から画素劣化情報を取得し、この画素劣化情報に基づいて、移動方向を決定してもよい。

さらに、方向等判断部１７は、静止画部分の変動量、すなわち移動量を動画部分の動きベクトルに基づいて決定する。すなわち、方向等判断部１７は、静止画部分の周辺領域を構成する動画部分の動きベクトルを抽出し、この動きベクトルの算術平均値を算出する。そして、方向等判断部１７は、静止画部分の移動量を動きベクトルの算術平均値と同じ値とする。

一方、方向等判断部１７は、入力画像が「全領域静止」となる場合、方向等判断部１７は、静止画部分の変動方向及び変動量、すなわち表示倍率のｘ成分及びｙ成分を決定する。ｘ成分が１より大きくなる場合、静止画部分をｘ方向に拡大することになり、ｘ成分が１未満の値となる場合、静止画部分をｘ方向に縮小することになる。ｙ成分についても同様である。ここで、方向等判断部１７は、メモリ１８から画素劣化情報を取得し、この画素劣化情報に基づいて、表示倍率のｘ成分及びｙ成分を決定してもよい。

方向等判断部１７は、変動方法、変動方向、及び変動量に関する変動情報を静止補間部１９、動き補間部２０、及びスケーリング補間部２１に出力する。

ステップＳ１４において、動き補間部２０は、メモリ１１から現フレーム及び前後フレームの入力画像を取得する。そして、動き補間部２０は、現フレーム及び前後フレームの入力画像と、動きベクトル演算部１２及び方向等判断部１７から与えられた情報とに基づいて、空白相当部分または調整動画部分を生成する。そして、動き補間部２０は、空白相当部分または調整動画部分に関する動画補間情報を合成部２２に出力する。

一方、ステップＳ１５において、静止補間部１９は、メモリ１１から現フレームの入力画像を取得し、現フレームの入力画像と、動きベクトル演算部１２及び方向等判断部１７から与えられた情報とに基づいて、静止補間画像を生成する。静止補間部１９は、静止補間画像を合成部２２に出力する。

一方、ステップＳ１６において、スケーリング補間部２１は、動き補間部２０により補間しきれなかった空白部分を補間する処理を行う。すなわち、まず、スケーリング補間部２１は、現フレームの入力画像をメモリ１１から取得し、さらに、静止補間部１９及び動き補間部２０から静止補間画像及び空白相当部分を取得する。そして、スケーリング補間部２１は、空白部分に空白相当部分を重畳することで、合成画像を生成する。そして、スケーリング補間部２１は、空白部分に隙間が形成されるか否かを判定し、隙間が形成される場合には、空白相当部分をフィルタリング、スケーリング等することで、隙間を埋める。

さらに、スケーリング補間部２１は、空白相当部分の絵柄と空白部分周辺の絵柄とが繋がらない場合、空白相当部分と空白部分周辺部分との境界でフィルタリング処理を行うことで、境界をぼかす。そして、スケーリング補間部２１は、上記の処理により調整された合成画像、すなわち調整画像を合成部２２に出力する。

ステップＳ１７において、合成部２２は、静止補間画像、空白相当部分（または調整動画部分）、及び調整画像を合成することで、合成画像を生成する。合成部２２は、合成画像を例えばディスプレイに出力する。ディスプレイは、合成画像を表示する。

以上により、本実施形態によれば、画像処理装置１０は、入力画像内の静止画部分だけを移動させることにより、入力画面全体の表示位置は固定されたままにすることができる。したがって、ユーザは、表示位置が動いたことを感じにくくなる。例えば、画像処理装置１０は、画面隅にある時計表示の文字だけを動かすことができる。また、画像処理装置１０は、入力画像全体が動いた場合に比べ、一部の静止画部分のみが動くことになるので、ユーザに静止画部分の移動が気づかれにくくなる。これにより、画像処理装置１０は、静止画部分の変動量を増やすことができ、ひいては、焼き付きの軽減量も増やすことができる。さらに、画像処理装置１０は、画素劣化情報に基づいて、静止画部分の変動方向及び変動量を算出することができるので、素子の劣化がなるべく画面全体で均一とすることができ、ひいては、ムラを軽減することができる。

より詳細には、画像処理装置１０は、入力画像から静止画部分を抽出し、静止画部分を変動させることで、合成画像を生成する。そして、画像処理装置１０は、合成画像をディスプレイに表示する。これにより、画像処理装置１０は、表示画像全体の表示位置を固定した上で、静止画部分を変動させることができるので、ユーザが感じる煩わしさを低減させ、かつ、ディスプレイの焼き付きを低減させることができる。さらに、ディスプレイの画素数は、表示画像の画素数と同程度であればよいので、画像処理装置１０は、ディスプレイの画素数を低減させることができる。すなわち、表示画像全体をディスプレイの表示画面内で移動させる技術では、表示画像の移動分の余白（オービット処理のための余白）をディスプレイに用意しておく必要があるが、本実施形態ではこのような余白を用意する必要がない。

さらに、画像処理装置１０は、静止画部分の周辺領域を調整するので、静止画部分の移動をユーザにわかりにくくすることができる。さらに、画像処理装置１０は、ユーザにとって違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、動画部分に基づいて静止画部分の周辺領域を調整するので、静止画部分の移動をユーザにわかりにくくすることができる。さらに、画像処理装置１０は、ユーザにとって違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、静止画部分の変動により生じた空白部分を補間することで、静止画部分の周辺領域を調整するので、静止画部分の移動をユーザにわかりにくくすることができる。さらに、画像処理装置１０は、ユーザにとって違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、入力画像から動画部分を抽出し、空白部分を動画部分に基づいて補間するので、ユーザにとってより違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、動画部分の動きベクトルに基づいて、空白部分を補間するので、ユーザにとってより違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、動画部分の動きベクトルに基づいて、他のフレームから空白部分に相当する空白相当部分を抽出し、空白相当部分を空白部分に重畳することで、空白部分を補間する。したがって、画像処理装置１０は、ユーザにとってより違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、静止画部分を動画部分の動きベクトルと同一方向に変動させ、かつ、動画部分の動きベクトルに基づいて、前フレームから空白相当部分を抽出する。したがって、画像処理装置１０は、ユーザにとってより違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、静止画部分を動画部分の動きベクトルと逆方向に変動させ、かつ、動画部分の動きベクトルに基づいて、後フレームから空白相当部分を抽出する。したがって、画像処理装置１０は、ユーザにとってより違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、静止画部分を動画部分の動きベクトルと交差する方向に変動させ、かつ、空白部分を現フレームの静止画部分に基づいて補間する。したがって、画像処理装置１０は、ユーザにとってより違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、静止画部分の変動量を動画部分の動きベクトルの大きさに基づいて設定するので、ユーザにとってより違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、動画部分をノンリニアスケーリングすることで、静止画部分の周辺領域を調整するので、ユーザにとってより違和感の少ない合成画像を生成することができる。

さらに、画像処理装置１０は、現フレームを構成する画素と他のフレームを構成する画素とを比較することで、静止画部分を画素ごとに抽出するので、静止画部分をより正確に抽出することができる。

さらに、画像処理装置１０は、静止画部分の周辺領域から第１のブロック単位で動画部分を抽出する一方、静止画部分から離間した離間領域から第１のブロックよりも広い第２のブロック単位で動画部分を抽出する。したがって、画像処理装置１０は、動画部分をより正確に抽出することができ、ひいては、空白部分をより正確に補間することができる。

さらに、画像処理装置１０は、入力画像、すなわち合成画像を表示する表示素子の使用状況に基づいて、静止画部分を変動させるので、焼き付きをより確実に低減させることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、いくつかの入力画像を例示して本実施形態の処理を説明したが、入力画像が上記の例に限られない。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像から静止画部分を抽出し、前記静止画部分を変動させる制御部を備える、画像処理装置。
（２）
前記制御部は、前記静止画部分の周辺領域を調整する、前記（１）記載の画像処理装置。
（３）
前記制御部は、前記入力画像から動画部分を抽出し、前記動画部分に基づいて、前記静止画部分の周辺領域を調整する、前記（２）記載の画像処理装置。
（４）
前記制御部は、前記動画部分に基づいて、前記静止画部分の変動により生じた空白部分を補間する、前記（３）記載の画像処理装置。
（５）
前記制御部は、前記動画部分の動きベクトルに基づいて、前記空白部分を補間する、前記（４）記載の画像処理装置。
（６）
前記制御部は、前記動画部分の動きベクトルに基づいて、他のフレームから前記空白部分に相当する空白相当部分を抽出し、前記空白相当部分を前記空白部分に重畳することで、前記空白部分を補間する、前記（５）記載の画像処理装置。
（７）
前記制御部は、前記静止画部分を前記動画部分の動きベクトルと同一方向に変動させ、かつ、前記動画部分の動きベクトルに基づいて、前フレームから前記空白相当部分を抽出する、前記（６）記載の画像処理装置。
（８）
前記制御部は、前記静止画部分を前記動画部分の動きベクトルと逆方向に変動させ、かつ、前記動画部分の動きベクトルに基づいて、後フレームから前記空白相当部分を抽出する、前記（６）記載の画像処理装置。
（９）
前記制御部は、前記静止画部分を前記動画部分の動きベクトルと交差する方向に変動させ、かつ、前記空白部分を現フレームの静止画部分に基づいて補間する、前記（５）記載の画像処理装置。
（１０）
前記制御部は、前記静止画部分の変動量を前記動画部分の動きベクトルの大きさに基づいて設定する、前記（３）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記制御部は、前記動画部分をノンリニアスケーリングすることで、前記静止画部分の周辺領域を調整する、前記（３）〜（９）のいずれか１項に記載の画像処理装置。
（１２）
前記制御部は、前記静止画部分の周辺領域から第１のブロック単位で前記動画部分を抽出する一方、前記静止画部分から離間した離間領域から前記第１のブロックよりも広い第２のブロック単位で前記動画部分を抽出する、前記（３）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記制御部は、現フレームを構成する画素と他のフレームを構成する画素とを比較することで、前記静止画部分を画素ごとに抽出する、前記（１）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記制御部は、前記入力画像を表示する素子の使用状況に基づいて、前記静止画部分を変動させる、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
入力画像から静止画部分を抽出し、前記静止画部分を変動させることを含む、画像処理方法。
（１６）
コンピュータに、
入力画像から静止画部分を抽出し、前記静止画部分を変動させる制御機能を実現させる、プログラム。

１０ 画像処理装置
１１ メモリ
１２ 動きベクトル演算部
１３ ピクセル差分演算部
１４ 動き箇所検出部
１５ 静止箇所検出部
１６ 静止種類判断部
１７ 方向等判断部
１８ メモリ
１９ 静止補間部
２０ 動き補間部
２１ スケーリング補間部
２２ 合成部

Claims (16)

1. 入力画像から静止画部分を抽出し、前記静止画部分を変動させる制御部を備える、画像処理装置。
2. 前記制御部は、前記静止画部分の周辺領域を調整する、請求項１記載の画像処理装置。
3. 前記制御部は、前記入力画像から動画部分を抽出し、前記動画部分に基づいて、前記静止画部分の周辺領域を調整する、請求項２記載の画像処理装置。
4. 前記制御部は、前記動画部分に基づいて、前記静止画部分の変動により生じた空白部分を補間する、請求項３記載の画像処理装置。
5. 前記制御部は、前記動画部分の動きベクトルに基づいて、前記空白部分を補間する、請求項４記載の画像処理装置。
6. 前記制御部は、前記動画部分の動きベクトルに基づいて、他のフレームから前記空白部分に相当する空白相当部分を抽出し、前記空白相当部分を前記空白部分に重畳することで、前記空白部分を補間する、請求項５記載の画像処理装置。
7. 前記制御部は、前記静止画部分を前記動画部分の動きベクトルと同一方向に変動させ、かつ、前記動画部分の動きベクトルに基づいて、前フレームから前記空白相当部分を抽出する、請求項６記載の画像処理装置。
8. 前記制御部は、前記静止画部分を前記動画部分の動きベクトルと逆方向に変動させ、かつ、前記動画部分の動きベクトルに基づいて、後フレームから前記空白相当部分を抽出する、請求項６記載の画像処理装置。
9. 前記制御部は、前記静止画部分を前記動画部分の動きベクトルと交差する方向に変動させ、かつ、前記空白部分を現フレームの静止画部分に基づいて補間する、請求項５記載の画像処理装置。
10. 前記制御部は、前記静止画部分の変動量を前記動画部分の動きベクトルの大きさに基づいて設定する、請求項３記載の画像処理装置。
11. 前記制御部は、前記動画部分をノンリニアスケーリングすることで、前記静止画部分の周辺領域を調整する、請求項３記載の画像処理装置。
12. 前記制御部は、前記静止画部分の周辺領域から第１のブロック単位で前記動画部分を抽出する一方、前記静止画部分から離間した離間領域から前記第１のブロックよりも広い第２のブロック単位で前記動画部分を抽出する、請求項３記載の画像処理装置。
13. 前記制御部は、現フレームを構成する画素と他のフレームを構成する画素とを比較することで、前記静止画部分を画素ごとに抽出する、請求項１記載の画像処理装置。
14. 前記制御部は、前記入力画像を表示する素子の使用状況に基づいて、前記静止画部分を変動させる、請求項１記載の画像処理装置。
15. 入力画像から静止画部分を抽出し、前記静止画部分を変動させることを含む、画像処理方法。
16. コンピュータに、
    入力画像から静止画部分を抽出し、前記静止画部分を変動させる制御機能を実現させる、プログラム。
    
    

Images