JP2006337771A - 画像処理装置、その方法、そのプログラムおよび記録媒体 - Google Patents

Abstract

【課題】
画像処理装置のディスプレイ解像度以上の解像度の画像を表示する。
【解決手段】
画像を入力して入力画像２を生成する画像入力手段と、画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する位置ずれ検知手段４と、位置ずれベクトルに従って、入力画像を空間的に間引いた間引き表示画像を所定のフレームレートで生成する間引き手段７と、間引き表示画像を表示する画像処理手段１０とを有し、画像処理装置の筐体の動きを検出し、この動きと圧縮率、縮小率に応じて画像を間引き表示することにより、超解像効果の画像を表示する。
【選択図】図４

Description

本発明は、画像処理装置、その方法そのプログラムおよび記録媒体に関し、特に、知覚的な画像の画素数を向上させる効果を与えることにより、例えば携帯機器などの、表示装置の解像度が不十分で、かつ、表示装置の位置が安定しない機器に対して、表示されている被写体の位置を安定させると同時に、より高い解像度の表示を実現する画像処理装置および画像処理方法に関する。

近年、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）携帯情報端末）や携帯電話、携帯ゲームなどのモバイル機器の性能向上が著しく、映像や画像、音声などのいわゆるマルチメディアを扱うことができる機器が増えてきている。また、モバイル機器の周辺デバイスの機能向上も著しく、ディスプレイとして主に用いられる液晶の輝度や解像度なども向上の一途をたどっている。
しかしモバイル機器はその使用目的のため必然的にサイズの制約があり、ディスプレイのサイズ向上には限界がある。そのためディスプレイを高精細化する技術開発が行われてきている。更に、ディスプレイの解像度以上の解像度を実現するために、液晶表示素子を複数使い、ハーフミラーなどを使って光学的に位置をずらして合成する方法が特許文献１に開示されている。また、液晶表示素子からの光の光軸を光学的に振動させるウォブリングと呼ばれる画素ずらし操作を行う方法が特許文献２に開示されている。

一方、モバイル機器は手に持ったり、車中などの揺れのある場所で使用したりすることが多く、ディスプレイが揺れて表示が見にくくなることが多い。そこで機器の動きをセンシングし、画像のディスプレイ上の位置を、振動を打ち消すように変えることで、あたかも手振れがないかのように表示することで画像を見易くする技術が特許文献３に開示されている。この特許文献３によれば、例えば角速度センサによって筐体の振動や変位を検知し、その情報に応じて表示時の投影光の光路を変えることで、振動を打ち消す表示を実現することができる。
また、特許文献４には、表示装置と観察者の目との相対的な位置関係を認識し、相対位置がずれないように画像の表示位置を変えることにより、画像を見やすくする技術が開示されている。

特開平６−１８８３６号公報 特開平６−３２４３２０号公報 特開２００２−１２３２４２号公報 特開２００４−３１７８１３号公報

特許文献１，２に開示されている方法では、２枚の液晶の高精度な位置合わせやプリズムによる光学的合成装置、あるいは、液晶を振動させる装置などが必要であり、装置全体が大型化かつ衝撃に対して脆弱になり、また高価になるので、モバイル機器に向かないという問題があった。
また、特許文献３，４に開示の技術では、画像を見易くすることができるものの、表示画素の少なさを補うものではないため、表示画素数の少ないディスプレイでの画像やテキストの解像度を改善することはできなかった。
本発明はかかる状況に鑑みて成されたものであり、機器の動きに応じて表示する画像を変化させることで、携帯機器など表示装置の解像度が不十分で、かつ、表示装置の位置が安定しない場合にも、その位置を安定させると同時に、より高い解像度の表示を実現するものである。

上記目的を達成するために、本発明における第１の観点の画像処理装置は、画像を入力して入力画像を生成する画像入力手段と、画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する位置ずれ検知手段と、前記位置ずれベクトルに従って、前記入力画像を空間的に間引いた間引き表示画像を所定のフレームレートで生成する間引き手段と、前記間引き表示画像を表示する画像処理手段とを有する。
また、本発明における第２の観点は、画像を入力して入力画像を生成する画像入力手段と、画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する位置ずれ検知手段と、画像処理装置の筐体の動きを検知して、その方向と速さを表わす動きベクトルを生成する動き検知手段と、前記入力画像を複数の入力画像領域に分割し、前記入力画像領域ごとに、入力画像動きベクトルを求める画像動き検知手段と、前記動きベクトルと前記入力画像動きベクトルに基づき、縮小率と、間引き量とを生成する重み生成手段と、前記縮小率に従って、前記入力画像を空間的に縮小した縮小画像を所定のフレームレートで生成する縮小手段と、前記位置ずれベクトルと前記間引き量に従って、前記縮小画像を空間的に間引いた間引き画像を所定のフレームレートで生成する間引き手段と、前記間引き画像を表示する画像処理手段と有する。
本発明の第３の観点は、画像処理装置の筐体の手振れによる動きを検出し、その動きに応じて画像を間引く画像処理方法であって、画像を入力して入力画像を生成する第１のステップと、前記画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する第２のステップと、前記画像処理装置の筐体の動きを検知して、その方向と速さを表わす動きベクトルを生成する第３のステップと、前記入力画像を複数の入力画像領域に分割し、前記入力画像領域ごとに、入力画像動きベクトルを求める第４のステップと、前記動きベクトルと前記入力画像動きベクトルに基づき、縮小率と、間引き量とを生成する第５のステップと、前記縮小率に従って、前記入力画像を空間的に縮小した縮小画像を所定のフレームレートで生成する第６のステップと、前記位置ずれベクトルと前記間引き量に従って、前記縮小画像を空間的に間引いた間引き画像を所定のフレームレートで生成する第７のステップと、前記間引き画像を表示する第８のステップと、を有する。
本発明の第４の観点は、画像処理装置の筐体の手振れによる動きを検出し、その動きに応じて画像を間引く画像処理装置が実行するプログラムであって、画像を入力して入力画像を生成する第１の手順と、前記画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する第２の手順と、前記画像処理装置の筐体の動きを検知して、その方向と速さを表わす動きベクトルを生成する第３の手順と、前記入力画像を複数の入力画像領域に分割し、前記入力画像領域ごとに、入力画像動きベクトルを求める第４の手順と、前記動きベクトルと前記入力画像動きベクトルに基づき、縮小率と、間引き量とを生成する第５の手順と、前記縮小率に従って、前記入力画像を空間的に縮小した縮小画像を所定のフレームレートで生成する第６の手順と、前記位置ずれベクトルと前記間引き量に従って、前記縮小画像を空間的に間引いた間引き画像を所定のフレームレートで生成する第７の手順と、前記間引き画像を表示する第８の手順と、を有する。
本発明の第５の観点は、画像処理装置の筐体の手振れによる動きを検出し、その動きに応じて画像を間引く画像処理装置が実行するプログラムを記録する記録媒体であって、前記プログラムは、画像を入力して入力画像を生成する第１の手順と、前記画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する第２の手順と、前記画像処理装置の筐体の動きを検知して、その方向と速さを表わす動きベクトルを生成する第３の手順と、前記入力画像を複数の入力画像領域に分割し、前記入力画像領域ごとに、入力画像動きベクトルを求める第４の手順と、前記動きベクトルと前記入力画像動きベクトルに基づき、縮小率と、間引き量とを生成する第５の手順と、前記縮小率に従って、前記入力画像を空間的に縮小した縮小画像を所定のフレームレートで生成する第６の手順と、前記位置ずれベクトルと前記間引き量に従って、前記縮小画像を空間的に間引いた間引き画像を所定のフレームレートで生成する第７の手順と、前記間引き画像を表示する第８の手順と、を有する。

たとえば、モバイル機器に加速度センサを配置して、手振れにより注視点と表示装置との間に生じる相対速度を検出して、それに応じて間引き処理を掛けた画像を表示させることで、ディスプレイの解像度以上の高解像度表示を実現することができる。
同時に、特許文献３や特許文献４に開示されているように、人間や地面とディスプレイの相対位置関係を求め、それに応じて画面上の被写体の表示位置を動かして表示することにより、手振れの影響を受けない表示も実現できるため、より高解像度化の効果が高い。
手振れの動きに応じて画像を動かすため、動きのない静止画やテキストであっても高解像度表示を実現することができる。
また、目の積分効果による超解像効果を利用しているので、高解像画像を蓄積しておく記憶装置を必要とすることなく、高解像度化を実現することができる。
超解像効果による知覚的な解像度向上効果により、ゲームや携帯電話といったモバイル機器のように表示画面が小さく解像度が低い場合でも、手振れによる視認のしにくさを防ぎ、機器の持つ表示解像度の能力を十分に発揮させるのみならず、機器が表示可能な解像度より高精細な画像を表示できる。また、超解像効果が発生しない部分には選択的にエイリアシングが発生しないように表示することで、自然な画像を提供できる。

＜本実施形態における視覚特性および超解像度効果＞
先ず、本実施形態における視覚特性および超解像度効果について説明する。

人の視覚は、受けた光の刺激の総和がある閾値になったとき光を知覚するという機能（以下、時間的積分機能と称する）を有している。すなわち光の知覚は、呈示時間内の光の刺激の分布状態に関係なく、時間的に積分された光の総和に従う。また光を知覚できる刺激（閾値）は、刺激の呈示時間が長くなるにつれて小さくなり、呈示時間が短くなるに従って大きくなる。

この関係は、ブロックの法則(Bloch's law)として知られ、以下の式が成り立つ。式中、Ｉは閾値としての刺激の強度であり、Ｔは刺激の呈示時間であり、ｋは定数である。
Ｉ×Ｔ＝ｋ

また、この関係は、横軸を刺激呈示時間Ｔとし、縦軸を閾値（強度I）とすると、図１に示すように表すことができる。この曲線は、閾値呈示時間曲線として知られている。図１の閾値呈示時間曲線によれば、強度Ｉａの光がインパルス的に時間Ｔａの間呈示された場合と、Ｉａの１／ｎの強度Ｉｂの光がＴａのｎ倍の時間Ｔｂだけ連続して呈示された場合とでは、人は、同じ明るさを感じることになる。

なお、刺激の呈示時間のある時間（図１の例では時間ＴL）までは、ブロックの法則が成り立つが（時間ＴLまでは右下がりの直線になるが）、時間ＴLを越えると閾値が刺激の強度のみに依存するようになる（呈示時間によって変化しなくなり、その結果閾値呈示時間曲線は折れ線のような特性を示す）。ブロックの法則が成り立つ最大の刺激呈示時間ＴLは、臨界呈示時間と呼ばれている。この時間ＴLは、背景光の強度などの刺激呈示条件によって変化するが、およそ２５ｍｓ〜１００ｍｓであるという報告がある。

ブロックの法則の詳細については、例えば、"視覚情報処理ハンドブック,日本視覚学会編,pp.219-220"などに記載されている。

人の視覚はまた、刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（以下、感覚記憶機能と称する）を有している。この時間については、１０ｍｓ〜２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリーとか視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック,日本視覚学界編,pp.229-230"などに記載されている。

次に、視覚特性に基づいて実現される解像度効果について説明する。なお本実施形態における超解像度効果は、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性を利用している。これは上記の時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられるが、以下の説明においては、これを便宜上、時間的積分機能によるものとする。

例えば、水平方向に平行移動する被写体を、所定のフレームレート（以下、入力画像フレームレートと称する）および所定のサンプリングレート（以下、入力画像サンプリングレートと称する）で撮影すると、図２（Ａ）に示すような、被写体像Ｗaが、速度ｖ（ピクセル／フレーム）で、図面に向かって右方向（Ｘ軸方向）に移動する入力フレームＦａが得られる。図２（Ａ）には、連続する４枚の入力フレームＦａ１〜Ｆａ４が図示されている。

このように得られた入力フレームＦａを、Ｘ軸方向（被写体像Ｗaの移動方向）に、入力画像サンプリングレートの、１／ｍのサンプリングレート（以下、表示画像サンプリングレートと称する）でサンプリングするものとする（間引き量ｍで間引きするものとする）。図２（Ａ）の場合、入力フレームＦａが間引き量４で間引きされているので、図２（Ｂ）に示すような、Ｘ軸方向の画素数が１／４になった（Ｘ軸方向に粗くなった）（画質が劣化した）表示フレームＦｂが得られる。表示フレームＦｂには、入力フレームＦａの被写体像Ｗaが間引き量４で間引きされた画像（以下、表示被写体像Ｗbと称する）が含まれている。

そしてこのように得られた表示フレームＦｂを、所定のフレームレート（以下、表示画像フレームレート）で表示するものとする。その結果観測者は、上述した時間的積分機能における積分時間内に表示された複数の表示フレームＦｂの積分画像を知覚する。

ここで観測者の視線は、このように表示された表示フレームＦｂ上の表示被写体像Ｗbを追従しているものとする。この場合観測者の視点は、常に表示被写体像Ｗbの中心に位置するので、観測者の網膜上の表示被写体像Ｗbはほぼ静止している。図２（Ｂ）に示す座標軸Ｖｘ，Ｖｙは、網膜上の座標を示し、座標軸Ｘ，Ｙは、フレーム上の座標を示している（ともに、図中表示フレームＦｂ１上に示されているが、表示フレームＦｂ２〜Ｆｂ４についてはその図示は省略されている）。座標軸Ｖｘ，Ｖｙは、網膜には実像の反転像が結像するため、座標系の向きは座標軸Ｘ，Ｙと逆になっている。

また、表示フレームＦｂのサンプリングは、図３中の点線で示されているように、フレーム上一定の位置（この例の場合、４画素間隔の位置）がサンプルされる。したがって、移動量がサンプリング間隔の倍数と一致しない場合、サンプリングされる被写体像Ｗaの位置は、フレーム毎にｖずつずれるので、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分で形成される。

例えば、被写体像Ｗaの移動速度ｖが、１（ピクセル／フレーム）である場合、フレーム間の移動量（１ピクセル）がサンプリング間隔（４ピクセル）の倍数と一致せず、サンプリングされる被写体像Ｗaの位置が、１画素ずつＸ軸方向にずれる。したがってこの場合、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、その分だけ異なる部分から形成される。

このように表示被写体像Ｗbが、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分から形成されている場合、その表示被写体像Ｗbが視覚系で複数フレームにわたって積分されることにより、表示被写体像Ｗbより画素が密になった画像（表示被写体像Ｗbの解像度より高解像度（以下、超解像度と称する）の画像）が知覚される。

例えば、視覚特性における積分時間が、図２（Ｂ）における４枚分の表示フレームＦｂの表示時間に相当し、表示フレームＦａ１〜Ｆａ４の４個の表示被写体像Ｗbが積分される場合、図２（Ｃ）に示すような、表示被写体像Ｗbの解像度の約４倍、すなわち被写体像Ｗaと同程度の解像度の画像が知覚される。

超解像度効果はこの原理によって実現されるが、間引き処理を施すと折り返し成分が発生し、それが折り返し歪みとなり画質が劣化する。この画質の劣化についてはその折り返し成分を取り除く工夫がなされている。

上述したように、視覚には、表示される被写体がある速度で表示画面上を移動し、それを追従視した時に、一定時間内に網膜に入射した光を積分したものが知覚されるという特性がある。この視覚特性の時間的積分効果を利用し、画像に空間的間引き処理を行うことで、表示された画像の解像度を超える解像度で、観測者が画像を知覚することができる（この効果を超解像度効果と称する）。
超解像効果を利用することにより、間引かれた結果の画像がディスプレイの解像度と同じ解像度を持つように、元画像の解像度を設定することにより、観察者はディスプレイの解像度以上の画像を知覚することができる。
ところで、入力画像上の被写体に動きがある場合、観察者はその被写体を追従視する。そのとき、表示装置の手振れの速度と、表示画像上の被写体の速度の差によって、超解像条件を満たさなくなる場合がある。
例えば、表示装置の手振れの速度と、表示画像上の被写体の速度が一致した場合、被写体はディスプレイ上の同じ位置に表示されることとなるため、超解像効果は起こらない。
超解像効果の起こらない部分に対して、間引き処理を書けた画像を表示すると、エイリアシングによるジャギー、モアレパターンの発生や、模様の消失などの現象が起こる恐れがある。そのため、その部分には間引き画像ではなく、縮小画像を表示することが望ましい。
そのため、できる限り超解像効果が発生するようにしながら、かつ高周波成分を残したままにするために、必要に応じて縮小処理と間引き処理を併用する。
選択画像生成手段は、装置の動きベクトルと、入力画像内の領域ごとの入力画像動きベクトルから、上記超解像条件を満たす領域については間引き表示画像の画素値を選択画像の画素に代入し、満たさない領域については、縮小表示画像の画素値を選択画像の画素に代入する。これにより、超解像が発生する領域では、高い知覚的な解像度が得られ、発生しない領域ではエイリアシングのない画像を得ることができるようになる。

以下、図面を参照しながら本発明の実施の形態について説明する。
図４に本発明の実施形態例の画像処理表示（装置）１のシステムを示す。
＜システム図の説明＞
図４に示した、本発明の一実施例である画像処理装置１は、画像記憶部３と動き検知部４と間引き画像生成部７と縮小画像生成部８と重み生成部９と表示部１０と加速度センサ１１と角速度センサ１２と画像動き検知部１３から構成される。

入力画像２が入力されると、画像記憶部３に入力画像２が記憶される。
加速度センサ１１と角速度センサ１２が画像処理装置１を有する筐体の動きを検知し、加速度センサ１１から加速度ベクトル１５が、角速度センサ１２から角速度１４がそれぞれ動き検知部４に送られる。
画像動き検知部１３は、画像記憶部３に格納された入力画像２を一定の領域に分割し、分割された領域ごとの（入力）画像２の動きを検出し、入力画像動きベクトル１４を生成し、重み生成部９に送る。
動き検知部４は、加速度ベクトル１３と角速度１４から、動きベクトル５と位置ずれベクトル６を計算し、動きベクトル５を重み生成部９に送ると共に、位置ずれベクトル６を間引き画像生成部７に送る。
重み生成部９は、圧縮率１９と動きベクトル５と入力画像動きベクトル２１に基づき、領域ごとに超解像条件を満たすかどうかを判断し、超解像条件を満たす最大限の間引き量を与えるように間引き量１８を生成して間引き画像生成部７に送り、さらに必要な縮小を行うための縮小率１７が縮小画像生成部８に送る。
縮小画像生成部８は、圧縮率１９と縮小率１７に基づき、画像記憶部３に記憶された入力画像２を処理して縮小画像１６を生成し、間引き画像生成部７に送る。
間引き画像生成部７は、圧縮率１９と位置ずれベクトル６の情報と、間引き量１８に基づき、縮小画像１６を処理して間引き画像２０を生成し、表示部１０に送る。
そして、表示部１０は、間引き画像２０を表示する。

次に、図４に示した画像処理装置１を構成するそれぞれのブロックの動作を説明する。
＜画像動き検知部１３の説明＞
画像動き検知部１３は、画像記憶部３に記憶された入力画像２から、領域ごとに入力画像動きベクトル２１を生成する。画像から動きベクトルを計算するアルゴリズムとして、ブロックマッチング法や勾配法などの一般に良く知られているアルゴリズムを使用することができる。

＜動き検知部４の説明＞
本発明の実施形態である動き検知部４に実装されるアルゴリズムの一例について説明する。筺体が手振れなどにより変位すると、動き検知部４には加速度センサ１１から加速度ベクトル１５が、角速度センサ１２から角速度１４がそれぞれ送られてくる。
図５に画像処理装置の筐体が回転と並進運動を行った時の動作を説明するための座標図を示す。
観察者の属するグローバル座標系をΣ'、画像処理装置1上のローカル座標系をΣとする。グローバル座標系上の点Ｘ'＝（ｘ',ｙ'）とローカル座標系上の点Ｘ＝（ｘ、ｙ）との関係について述べる。
グローバル座標系とローカル座標系は相似変換の関係にあるので、

［数１］
ｘ^〜＝（ｘ_１，ｘ_２，ｘ_３）^Ｔ〜（ｘ，ｙ，１）

なる同次座標ｘ^〜と、ローカル座標系上の点ｘ^〜と、時刻tにおけるグローバル座標系上の点ｘ'_ｔ ^〜との関係は、

と表すことができる。ここで、

とする。
また、ここで、mはスケールファクター、θ_ｔは座標標系との成す角度、T_tx，T_tYは時刻tでのグローバル座標系に対してのローカル座標系の位置である。

さらに、時刻tにおける角速度をω_ｔ、加速度ベクトルをａ_ｔとし、初期角度をθ_０、初期位置ベクトルをT_０、初期角速度をω_０、初期速度ベクトルをV_０とすると、θ_ｔとT_ｔは、

となる。
式（１．１）、（１．２）、（１．３）から、時刻tにおけるローカル座標系の任意の位置ｘと、グローバル座標系の任意の位置ｘ'の関係が求まる。
このように、動き検知部４は、加速度ベクトル１３と角速度１４から、角速度を含む動きベクトル５（Ｖ_ｔｘ，Ｖ_ｔＹ，ω_ｔ）と、回転情報を含む位置ずれベクトル６（Ｖ_ｔｘ，Ｖ_ｔＹ，θ_ｔ）を生成することができる。
なお、ここでは動き検知部４は加速度センサ１１と角速度センサ１２の出力を使って動きベクトル５と位置ずれベクトル６を計算しているが、それ以外の手段で動きベクトル５および位置ずれベクトル６を検出しても良く、例えばカメラによって外部と画像処理装置との位置関係を把握して位置および回転角のずれを検知する装置のようなものを使って計算することも可能である。

＜重み生成部９ノアルゴリズム説明＞
本発明の実施形態例である重み生成部９のアルゴリズムについて説明する。
図６に手振れを起こしたときのベクトルの変化の図を示す。
手振れを起こしても、表示される画像の位置が観察者から見て不変になるような処を考える。つまり、グローバル座標系上のある一点の画素値が変わらないようにする。よって、式（１．１）を書換えて、

のＸ'_ｔ ^〜を不変にするように、Ｘ_ｔ ^〜を決めれば良い。時刻０でのグローバル座標をＸ'_０ ^〜とすれば、これが不変であるので、式（１．４）は、

である。これにより、時刻ｔにおいて、表示されるべき画素の位置を求めることができる。
今まで説明してきたように、動きベクトル５と入力画像動きベクトル２１を合成した値が超解像条件を満たす場合、超解像効果により、表示部１０の解像度以上の解像度を知覚することができるが、条件を満たさない場合、間引き処理を行った結果を表示すると、エイリアシングが発生する。その場合には間引き処理ではなく、縮小処理を行うことにより、エイリアシングのない高品質な画像を表示できる。
また、間引き処理と縮小処理はどちらかを選択するものではなく、超解像の発生条件を満たすように重み付けされて処理が行われるべきものである。

上述した超解像の発生条件は、以下の式で与えられる。
つまり、サンプリング点のずれ量φは、速度をｖ(pixel/frame)と間引き量をｍ(pixel)とすると、

［数７］
φ_ｔ＝（ｖ／ｍ）×（ｔ／Ｔ） ・・・（１．６）

ここで、Ｔは時間間隔であり、フレームレートの逆数である。また、間引き量ｍはスケールファクターと同じである。このとき、

を満たすことが超解像の発生条件である。式（１．７）をオイラーの公式により展開すれば、次の式（１．８）、（１．９）が成立すれば良いことになる。

重み生成部９は、超解像の発生条件を満たす場合には間引き処理の結果を選択し、満たさない場合には縮小処理の結果を選択するように重み付けする。
式（１．５）、（１．６）、（１．８）、（１．９）より、Ｘ_ｔ ^〜の速度から、超解像条件を満たす間引き量を求めることができる。この間引き量を一定領域毎に決定するものとする。
あるローカル座標系上の画素Ｘ_ｔ ^〜の属する領域Ｒの、時刻tにおける入力画像動きベクトル２１がＶ_Ｒｔだったとすると、Ｘ_ｔ ^〜のローカル座標系上での速度は、式（１．５）とＶ_Ｒｔより、次のように表せられる。

この速度をｖ_ｔ ^〜＝（ｖ_ｔｘ，ｖ_ｔｙ，１）とすると、式（１．６）のｖ＝ｖ_ｔｘ，ｖ＝ｖ_ｔｙとしたときに式（１．７）が成立した時は、それぞれx方向、y方向に対して間引きを行い、成立しない時は間引きを行わないようにする。

ところで、式（１．８）、（１．９）は、Blochの法則によって、人間が時間的に分別不可能な視覚系の積分時間内で成立しなければならず、それより長い時間になると、フリッカとして認知されてしまう。この条件の成立は、積分時間に依存するが、この積分時間は、観察環境によって変化することが知られている上に、それを正確に計測することが困難なため、この条件を満たす範囲を限定することは難しい。
間引き量ｍの最大値は、上記の積分時間によって制約される。間引き量mは圧縮率１９からも制約され、圧縮率１９をＲとすると、Ｒ＝１／ｍとなるが、圧縮率１９が大きい場合、これらの条件が両立しない場合がある。そこで、間引き画像生成部７の前に縮小画像生成部８を設け、間引き量ｍの制約を補完するために縮小画像を生成することにより、式（１．８）、（１．９）を満たすようにする。
縮小画像生成部８に与えられる縮小率１７をrとすると、間引き量mと圧縮率（１９）Rとの関係は、

［数１１］
ｍ＝ｒ／Ｒ ・・・（１．１１）

となる。
これにより、間引き量mは、式（１．８）、（１．９）を満たし、積分時間の制約条件を満たす値として決定することができ、縮小率（１７）ｒは式（１．１１）から求められる。

以下、重み生成部９のある時刻ｔにおける具体的な処理について説明する。
重み生成部9には、動きベクトル（Ｖ_ｘ，Ｖ_ｙ，ω）と、入力画像動きベクトル２１の二次元配列Ｖ_Ｒ（ｉ，ｊ）＝（ｖ_Ｒｊ（ｉ，ｊ），ｖ_Ｒｊ（ｉ，ｊ））と圧縮率（１９）Ｒが入力される。ここで、入力画像動きベクトル２１のサイズは入力画像2のサイズを（Ｎ_ｘｉ，Ｎ_ｙｉ）とすると、

となる。（ｉ，ｊ）番目の入力画像動きベクトル２１は、入力画像２の（ｉＲ，ｊＲ）〜（（ｉ＋１）Ｒ−１，（ｊ＋１）Ｒ−１）の範囲に対応する。
式（１．５）の両辺を時間微分すると、ｘ'₀ ^〜は時間で変化しないので、

となり、その結果、

となる。
これにより、ローカル座標系上の速度ベクトルは式（１．１０）と（１．１３）より、

で求められる。求めた速度ベクトルを使い、ｘ、ｙ方向それぞれについて、式（１．６）、（１．８）、（１．９）を満たすような最大のｍを探す。ただし、ｍは次の式を満足しなければならない。

ｍ_ｍａｘは、視覚特性から決まる値であり、ｍ・Ｔ≦ｋを満たす最大のｍである。ここで、ｋはBlochの法則における定数ｋである。ｍが求められたら、式（１．１１）からｒを求める。
上記の処理を、入力画像動きベクトル２１のサイズ（Ｎ_ｘｄ，Ｎ_ｙｄ）回だけ行い、（Ｎ_ｘｄ，Ｎ_ｙｄ）のサイズの配列である縮小率ｒ［Ｎ_ｘｄ，Ｎ_ｙｄ］と間引き量ｍ［Ｎ_ｘｄ，Ｎ_ｙｄ］を計算する。

以上の処理について、図７−Ａと図７−Ｂのフローチャートを使って説明する。

ステップＳＴ３０１：
たとえば、手振れなどによる画像処理装置の筺体が変位すると、角速度センサ１２から出力された角速度１４と加速度センサ１１から出力された加速度ベクトル１５を用いて、動き検知部４で演算され、動きベクトルが求められ、この動きベクトル５をｖ＝（ｖ_ｘ，ｖ_ｙ，ω）として重み生成部９に入力する。

ステップＳＴ３０２：
画像記憶部３から記憶されていた入力画像２が入力され、画像動き検知部１３で画像の動きからが画像動きベクトルが演算され、重み生成部９に入力される。この入力された入力画像動きベクトル２１を配列Ｖ_Ｒ［Ｎ_ｘｄ，Ｎ_ｙｄ］とする。また、圧縮率１９を入力し、Ｒとする。

ステップＳＴ３０４：
次に、既に述べたように、サンプリング点のずれ量とBlochの法則を示す、式（１．６）、（１．８）、（１．９）を満足し、式（１．１５）で示される間引き量の最大値ｍ_maxを決定する。

ステップＳＴ３０５：
次に、縮小率１７の結果を格納するための配列ｒと間引き量のための配列ｍとをそれぞれ、［Ｎ_ｘｄ，Ｎ_ｙｄ］，［Ｎ_ｘｄ，Ｎ_ｙｄ］のサイズで確保する。

ステップＳＴ３０６，３０７：
次にカウンタ（変数）ｉとｊを０に初期化する。

ステップＳＴ３０８：
式（１．１０）の計算を行い、ブロック毎の速度ベクトルｖ_ｔ ^〜を求める。

ステップＳＴ３０９，３１０：
その速度ベクトルｖ_ｔ ^〜を基に、サンプリング点のずれ量φを式（１．６）を用いて計算し、式（１．８）、（１．９）、（１．１５）を満たすx方向の間引き量ｍ_ｘ（ｉ，ｊ）を求める。

ステップＳＴ３１１，３１２：
同様に、サンプリング点のずれ量φを式（１．６）を用いて計算し、式（１．８）、（１．９）、（１．１５）を満たすｙ方向の間引き量ｍ_ｙ（ｉ，ｊ）を求める。

ステップＳＴ３１３：
得られたｘ方向とｙ方向の間引き量、ｍ_ｘ（ｉ，ｊ），ｍ_ｙ（ｉ，ｊ）を間引き量の配列ｍ［Ｎ_ｘｄ，Ｎ_ｙｄ］に格納する。

ステップＳＴ３１４：
また縮小率１７の配列ｒ［Ｎ_ｘｄ，Ｎ_ｙｄ］にも、間引き量ｍと圧縮率（１９）Ｒの関係を示す、式（１．１１）に基づいて結果を格納する。

ステップ３１５〜３１８：
上記の処理を、変数ｉとｊを増加し、それぞれＮ_ｘｄ，Ｎ_ｙｄになるまで繰り返し、全てが終わったら終了する。

＜縮小画像生成部８のアルゴリズム説明＞
次に、本発明の実施形態例である縮小画像生成部８のアルゴリズムについて具体的に説明する。
縮小処理と間引き処理の関係を図８に示す。縮小画像生成部８は、縮小率１７に従い、ブロック毎に縮小処理を行う。その後、元の領域に対応する縮小画像の領域に縮小した値を入れる（図８−Ｂ）。
まず、縮小画像１６として入力画像２と同じサイズの領域を確保する。
次に、図８−Ａの入力画像２にあるように、圧縮率１９を一つのブロックサイズとする。図では圧縮率＝４であるので、４×４画素を一つのブロックとして捉える。
ブロックを順にスキャンしていき、縮小率（１７）ｒに従ってブロック内での縮小画像を作成する。例えば、図のｒ（０，０）では縦横の縮小率が４であるので、４×４のブロック全体から1画素の縮小画素値を作成する。次に、作成した画素値を縮小画像１６の対応する全ての画素に書き込む。図８−Ｂでは、（０，０）〜（３，３）の画素に計算した縮小画素を書き込む。
同様にその右のブロックｒ（１，０）では、縮小率が（４，１）であるので、水平方向に４画素縮小し、垂直方向には縮小しないで縮小処理を行う。そのため、水平方向には縮小した同じ画素値が書き込まれ、垂直方向には異なる画素値が書き込まれる。
ブロックｒ（０，１）では、縮小率が（２，２）であるので、水平方向に２画素縮小し、垂直方向２画素縮小する縮小処理を行う。ブロックｒ（１，１）では、縮小率が（２，１）であるので、水平方向に２画素縮小し、垂直方向には縮小しない縮小処理を行う。それにより、水平方向には縮小した画素値が書き込まれるが、垂直方向には異なる画素値が書き込まれる。
なお、縮小処理のアルゴリズムとしては、nearest-neighbor法、bi-linear法、bi-cubic法など、一般に良く知られているアルゴリズムを使用して良い。

以下、縮小画像生成部８の処理についての実施形態例を、図９−Ａと図９−Ｂのフローチャートを用いて説明する。

ステップＳＴ４０１：
まず、重み生成部９から縮小画像生成部８に、縮小率１７の配列をｒ［Ｎ_ｘｄ，Ｎ_ｙｄ］として入力する。

ステップＳＴ４０２：
また、画像記憶部３から縮小画像生成部８に入力画像２をＩ［Ｎ_ｘｉ，Ｎ_ｙｉ］として入力する。

ステップＳＴ４０３：
また、圧縮率１９をＲとして縮小画像生成部８に入力する。

ステップＳＴ４０４：
次に、結果となる縮小画像１６の領域を［Ｎ_ｘｉ，Ｎ_ｙｉ］だけ確保し、それをＩ_γとする。

ステップＳＴ４０５，４０６：
カウンタ（変数）ｉ，ｊをそれぞれ０に初期化する。

ステップＳＴ４０７：
領域（ｉ，ｊ）の縮小率１７をそれぞれγ_ｘ，γ_ｙとする。

ステップＳＴ４０８，４０９：
次にカウンタ（変数）ｋ，ｌを０に初期化する。

ステップＳＴ４１０：
得られた縮小率１７に従い縮小を行う。
（ｉＲ，ｊＲ）〜（ｉＲ＋ｋγ_ｘ，ｊＲ＋ｌγ_ｙ）の範囲のデータを縮小し、一つの画素値ｄとする。

ステップＳＴ４１１：
その得られた画素値ｄを、縮小画像（１６）Ｉ_γの（ｉＲ，ｊＲ）〜（ｉＲ＋ｋγ_ｘ，ｊＲ＋ｌγ_ｙ）の範囲に書き込んでいく。

ステップＳＴ４１２〜４１８：
カウンタ（変数）ｌを１インクリメントし(ステップＳＴ４１２)、変数ｌがＲ／γ_ｙに達するまでステップＳＴ４１０に飛び(ステップＳＴ４１３)、達したら変数ｋを１インクリメントし(ステップＳＴ４１４)、変数ｋがＲ／γ_ｙに達するまでステップＳＴ４０９に飛び、達したら変数ｊを１インクリメントし、変数ｊがＮ_ｙｄに達するまでステップＳＴ４０７に飛び(ステップＳＴ４１７)、達したら変数ｉを１インクリメントし(ステップＳＴ４１８)、変数iがＮ_ｘｄに達するまでステップＳＴ４０６に飛び(ステップＳＴ４１９)、変数ｉがＮ_ｘｄに達したら処理を終了する。

＜間引き画像生成部７のアルゴリズム説明＞
次に、本発明の実施形態例である間引き画像生成部７のアルゴリズムについて説明する。
間引き画像生成部７では、ローカル座標系上の全ての点に対し、それに対応する縮小画像座標を求め、対応する点の縮小画像１６上の画素値を間引き画像２０に代入する。
すなわち、

と置けば、式（１．５）は、

と書き直すことができる。間引き画像２０のサイズは（N_ｘｄ，Ｎ_ｙｄ）となる。
式（１．１７）に従い、間引き画像２０上の全ての点ｘ''(ｉ，ｊ）＝（ｘ''(ｉ，ｊ）、ｙ''（ｉ，ｊ）)に対応する縮小画像１６上の点ｘ(ｉ，ｊ）＝（ｘ(ｉ，ｊ）、ｙ（ｉ，ｊ）)を求め、縮小画像１６上の点Ｘ_ｉの画素値を、間引き画像２０上の点ｘ''_ｉに書き出す（図８−Ｃ）。

以下、本発明の実施形態例である間引き画像生成部７の処理について、図１０のフローチャートを用いて説明する。

ステップＳＴ５０１：
まず、縮小画像生成部８から間引き画像生成部７に縮小画像１６が入力され、その縮小画像１６をＩ_γ［Ｎ_ｘｉ，Ｎ_ｙｉ］とする（この配列を図８−Ｂに示す）。

ステップＳＴ５０２：
次に、重み生成部９から間引き画像生成部７に、間引き量１８が入力され、その間引き量１８の配列をｍ［Ｎ_ｘｄ，Ｎ_ｙｄ］とする。

ステップＳＴ５０３：
次に、圧縮率１９が入力され、その値をＲとする。

ステップＳＴ５０４：
次に、位置ずれベクトル６を（Ｔ_ｔｘ，Ｔ_ｔｙ，θ_ｔ）として動き検知部４から間引き画像生成部７に入力する。

ステップＳＴ５０５：
次に、式（１．１７）のＨ_ｓ'tを計算する。

ステップＳＴ５０６：
次に、間引き画像（２０）Ｉｄ域を［N_ｘｄ，Ｎ_ｙｄ］だけ確保する。

ステップＳＴ５０７，５０８：
次にカウンタ（座標値に対応）ｘ，ｙを０に初期化する。

ステップＳＴ５０９：
式（１．１７）に基づき、ｘ＝（ｘ，ｙ）に対応する縮小画像１６上の座標ｘ''＝（ｘ'',y''）を求める。

ステップＳＴ５１０：
求めた座標上の縮小画像１６の画素値を間引き画像２０の画素に代入する。この間引き画像２０の書き込み動作を図８−Ｃに示す。

ステップＳＴ５１１〜５１４：
ｘ，ｙ（座標値）のカウンタを、それぞれN_ｘｄ，Ｎ_ｙｄに達するまでインクリメントし、ステップＳＴ５０９〜５１０の処理を繰り返し行う。
全ての処理が終了したら終了する。

次ぎに、図１１，図１２、図１３−Ａ〜図１３−Ｄ、図１４−Ａ〜図１４−Ｄを使って、上述した本発明の方法によって高解像度の画像が表示されることを示す。
図１１に本発明による表示装置の例を示す。図４に示す画像処理（表示）装置１の表示部１０に被写体１００が表示されている（図１１（Ａ））。その一部分１０１は、複数の表示画素１０４から構成される。この部分に図１２（Ｂ）のような値を持つ高解像度な元画像１０２を表示させた場合、表示部１０の画素数の制限のために十分な情報を表示することができない。
例えば、画像処理（表示）装置１を持った手が、手振れで図１１の位置ずれベクトル１０５で示した方向に１ピクセル／フレームで動いた時に、表示部１０内に表示されている被写体１００が止まって見えるように、矢印１０３で示された逆の方向に１ピクセル／フレームで移動させるとする（図１４―Ａ参照）。この場合、速度Ｖ＝１、間引き量ｍ＝４、縮小率ｒ＝１である。

被写体１００を移動させる際に、図１３−Ａのようなサンプリングを行って間引き画像２０を生成する。ここでは斜線で示した画素を各フレームで表示するとする。
第１フレーム目の図１３−Ａの列ａ１は４列であるが、図１３−Ｂの第２フレーム目では３列のａ２、・・・、図１３−Ｄの第４フレーム目では１列のａ４となる。以下同様に、第１フレームの８列のｂ１は、第２フレーム目では７列のｂ２、・・・、第４フレーム目では５列のｂ４、・・・、第１フレームの１６列のｄ１は第４フレーム目で１３列のｄ４と１ピクセル／フレームで移動している。
つまり、４フレーム周期で全ての画素を表示できていることがわかる（図１３−Ａ〜図１３−Ｄ）。

図１４−Ａは図１３−Ａの間引きした表示第１フレームに対応する画像を示し、図１３−Ａの間引いた、列ａ１，ｂ１，ｃ１，ｄ１が順次列方向に配列され合成されている。以下同様に、表示第２フレームから表示第４フレームまで、図１４−Ｂと図１３−Ｂ、・・・、図１４−Ｄと図１３−Ｄが対応して表示されている。

表示部１０は、フレームごとに１／４ピクセルずつたとえば左方向に移動（ベクトル１０５）しているので、例えば第６行目に着目すると、観察者の網膜上には図１５−Ａ、図１５−Ｂのような値が積分されていく。
図１５−Ａにおいて、図１４−Ａ〜図１４−Ｄまでのたとえば数値化された画像を、時間に対して画素（ピクセル）が空間的にずれたときの様子を視覚的に示す。
第１フレームのｘ０に対して第２フレームはｘ１、第３フレームはｘ２、第４フレームはｘ３だけそれぞれ空間的にずれている。

つぎに、図１５−Ａに示す、第１フレーム〜第４フレームまでの各フレームの第６列目を例にとって、知覚される値について説明する。
図１５−Ａの各フレームの第６行目のデータを抜き取って再配列した図を図１５−Ｂに示す。
図１５−Ａにおいて、第１フレームの第６行目は順に、６５，０，２５５，０の値が表示され、第２フレームでは０，１，２５５，０の値が、第３フレームでは０，１０４，５８，０、第４フレームでは０，１７１，０，０の値が１／４ピクセルづつずらして表示してある。
この第１フレーム〜第４フレームまでの、１／４ピクセルごとの値を加算した値を、図１５−Ｂに示す。

図１５−Ｂの１／４ピクセルに相当するＰ１は、第１フレームのＦ４１の値のみで表され、Ｐ２は第３フレームのＦ３１の値０と第４フレームのＦ４１の値０が加算された値で０となる。Ｐ４は第１フレームのＦ１１の値６５、第２フレームのＦ２１の値０、第３フレームのＦ３１の値０と第４フレームのＦ４１の値０が加算され、その値は６５となる。以後第ｉフレームのｊピクセルの各フレームを、Ｆｉｊ（ｉ，ｊは正の整数とする）と表すこととする。
以下同様に、たとえばＰ７において、Ｆ１１の値６５、Ｆ２２の値１、Ｆ３２の値１０４とＦ４２の値１７１が加算され、その値は３４１となる。
これをＰ２０まで繰り返し計算した値を、図１５−Ｂに示し、この加算された値が知覚される値となる。ここでは画像データを数値として表しているが、それ以外の表現の仕方でもよい。
図１５−Ｂに示した、画像（ここでは数値化されている）が、１／４ピクセルだけずれながら網膜上に入射し、それらが積分されて知覚されるので、知覚される値は空間的に細かいものとなる。この結果、超高解像効果の画像を得ることができる。
これと同様な、動作を各フレームの１行〜１２行まで繰り返す。また、この例では圧縮率、縮小率、間引き量の１例を示したが、上述したこれらの数値に限定されるものではない。

図１６に積分された値のグラフを示す。横軸に１／４ピクセルごとの空間座標を表示し、１〜２０までの４ピクセル分を表示している、しかしここでは、４フレームの時間ずれも表示しているので１〜１６までの表示ではなく１〜２０まで表示している。一方、縦軸は知覚した値を正規化した値で、０。０〜１．０までの値を示している。折れ線ｃはオリジナルの値を、０〜２０（×１／４ピクセル）まで示し、折れ線ａは縮小画像の値を示し、折れ線ｂは、図４に示した、画像処理装置で得られた画像データを示す。

図１６から、本来４ピクセルしか解像度がないにもかかわらず、間引き処理によって生成された値を観察したときに知覚される値（折れ線ｂ）は、オリジナルのグラフ（折れ線ｃ）に近い高解像度なものになっており、空間的にディスプレイの表示解像度以上の画像が知覚されることが分かる。
一方、同じサイズになるよう縮小処理を書けた縮小画像のグラフ（折れ線ａ）では、幅が４ピクセルしかないため、Ｐ３〜Ｐ６，Ｐ８〜Ｐ１０，Ｐ１５〜Ｐ１８の範囲において、細かな形状が無くなってしまっている事が分かる。

上述した超解像効果を利用することにより、間引かれた結果の画像がディスプレイの解像度と同じ解像度を持つように、元画像の解像度を設定することにより、観察者はディスプレイの解像度以上の画像を知覚することができる。
入力画像上の被写体に動きがある場合、表示装置の手振れの速度と、表示画像上の被写体の速度の差によって、超解像条件を満たさなくなる場合がある。例えば、表示装置の手振れの速度と、表示画像上の被写体の速度が一致した場合、被写体はディスプレイ上の同じ位置に表示されることとなるため、超解像効果は起こらない。
この超解像効果の起こらない部分に対して、間引き処理を書けた画像を表示すると、エイリアシングによるジャギー、モアレパターンの発生や、模様の消失などの現象が起こる恐れがある。そのため、その部分には間引き画像ではなく、縮小画像を表示することにより、自然な画像が得られる。また、できる限り超解像効果が発生するようにしながら、かつ高周波成分を残したままにするために、必要に応じて縮小処理と間引き処理を併用する。
選択画像生成手段は、装置の動きベクトルと、入力画像内の領域ごとの入力画像動きベクトルから、上記超解像条件を満たす領域については間引き表示画像の画素値を選択画像の画素に代入し、満たさない領域については、縮小表示画像の画素値を選択画像の画素に代入する。これにより、超解像が発生する領域では、高い知覚的な解像度が得られ、発生しない領域ではエイリアシングのない画像を得ることができるようになる。

以上述べたように、超解像効果による知覚的な解像度向上効果により、ゲームや携帯電話といったモバイル機器のように表示画面が小さく解像度が低い場合でも、手振れによる視認のしにくさを防ぎ、機器の持つ表示解像度の能力を十分に発揮させるのみならず、機器が表示可能な解像度より高精細な画像を表示できる。
また、超解像効果が発生しない部分には選択的にエイリアシングが発生しないように表示することで、自然な画像を表示できる。

ブロックの法則を説明する図である。 解像度変換処理の原理を説明する図である。 サンプリング位置を説明する図である。 本発明の実施形態例の画像処理装置のシステム構成を示す図である。 画像処理装置の筺体が移動した時の動き検知部の動作を説明するための図である。 重み生成部の動作を座標上で動作を説明するための説明図である。 重み生成部の動作を説明するためのフローチャートである 重み生成部の動作を説明するためのフローチャートである。 縮小処理と間引き処理の関係を説明するための図である。 縮小画像生成部の動作を説明するためのフローチャートである。 縮小画像生成部の動作を説明するためのフローチャートである。 間引き画像生成部の動作を説明するためのフローチャートである。 超解像度画像を表示装置に表示した図である。 手振れ時の画像処理例を示す図である。 各フレームにおける間引き動作を説明するための図である 各フレームにおける間引き動作を説明するための図である。 各フレームにおける間引き動作を説明するための図である 各フレームにおける間引き動作を説明するための図である。 各フレームの間引き後の合成図である。 各フレームの間引き後の合成図である。 各フレームの間引き後の合成図である。 各フレームの間引き後の合成図である。 各フレームに対してピクセルがずれたときの知覚を説明するための図である。 各フレームに対してピクセルがずれたときの知覚を説明するための図である。 図４に示した画像処理装置の超解像効果で得られた値と従来例との値を比較するグラフである。

符号の説明

１…画像処理（表示）装置、２…入力画像、３…画像記憶部、４…動き検出部、５…動きベクトル、６，１０５…位置ずれベクトル、７…間引き画像生成部、８…縮小画像生成部、１０…表示部、１１…加速度センサ、１２…角度センサ、１３…画像動き検知部、１４…角速度、１５…加速度ベクトル、１６…縮小画像、１７…縮小率、１８…間引き量、１９…圧縮率、２０…間引き画像、２１…入力画像動きベクトル、１００…被写体、１０４…表示画素。

Claims (7)

1. 画像を入力して入力画像を生成する画像入力手段と、
   画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する位置ずれ検知手段と、
   前記位置ずれベクトルに従って、前記入力画像を空間的に間引いた間引き表示画像を所定のフレームレートで生成する間引き手段と、
   前記間引き表示画像を表示する画像処理手段と
   を有する
   画像処理装置。
2. 画像を入力して入力画像を生成する画像入力手段と、
   画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する位置ずれ検知手段と、
   前記画像処理装置の筐体の動きを検知して、その方向と速さを表わす動きベクトルを生成する動き検知手段と、
   前記入力画像を複数の入力画像領域に分割し、前記入力画像領域ごとに、入力画像動きベクトルを求める画像動き検知手段と、
   前記動きベクトルと前記入力画像動きベクトルに基づき、縮小率と、間引き量とを生成する重み生成手段と、
   前記縮小率に従って、前記入力画像を空間的に縮小した縮小画像を所定のフレームレートで生成する縮小手段と、
   前記位置ずれベクトルと前記間引き量に従って、前記縮小画像を空間的に間引いた間引き画像を所定のフレームレートで生成する間引き手段と、
   前記間引き画像を表示する画像処理手段と
   を有する
   画像処理装置。
3. 前記間引き手段は、前記画像処理手段が表示可能な解像度を超える解像度を有するような視覚効果を与える空間間引き処理である、
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記フレームレートは、前記画像処理手段が表示可能な解像度を超える解像度を有する視覚効果を与える高さである、
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
5. 画像処理装置の筐体の手振れによる動きを検出し、その動きに応じて画像を間引く画像処理方法であって、
   画像を入力して入力画像を生成する第１のステップと、
   前記画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する第２のステップと、
   前記画像処理装置の筐体の動きを検知して、その方向と速さを表わす動きベクトルを生成する第３のステップと、
   前記入力画像を複数の入力画像領域に分割し、前記入力画像領域ごとに、入力画像動きベクトルを求める第４のステップと、
   前記動きベクトルと前記入力画像動きベクトルに基づき、縮小率と、間引き量とを生成する第５のステップと、
   前記縮小率に従って、前記入力画像を空間的に縮小した縮小画像を所定のフレームレートで生成する第６のステップと、
   前記位置ずれベクトルと前記間引き量に従って、前記縮小画像を空間的に間引いた間引き画像を所定のフレームレートで生成する第７のステップと、
   前記間引き画像を表示する第８のステップと、
   を有する画像処理方法。
6. 画像処理装置の筐体の手振れによる動きを検出し、その動きに応じて画像を間引く画像処理装置が実行するプログラムであって、
   画像を入力して入力画像を生成する第１の手順と、
   前記画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する第２の手順と、
   前記画像処理装置の筐体の動きを検知して、その方向と速さを表わす動きベクトルを生成する第３の手順と、
   前記入力画像を複数の入力画像領域に分割し、前記入力画像領域ごとに、入力画像動きベクトルを求める第４の手順と、
   前記動きベクトルと前記入力画像動きベクトルに基づき、縮小率と、間引き量とを生成する第５の手順と、
   前記縮小率に従って、前記入力画像を空間的に縮小した縮小画像を所定のフレームレートで生成する第６の手順と、
   前記位置ずれベクトルと前記間引き量に従って、前記縮小画像を空間的に間引いた間引き画像を所定のフレームレートで生成する第７の手順と、
   前記間引き画像を表示する第８の手順と、
   を有する前記画像処理装置に実行させるプログラム。
7. 画像処理装置の筐体の手振れによる動きを検出し、その動きに応じて画像を間引く画像表処理装置が実行するプログラムを記録する記録媒体であって、
   前記プログラムは、
   画像を入力して入力画像を生成する第１の手順と、
   前記画像処理装置の筐体の位置ずれを検知して、その方向と量を表わす位置ずれベクトルを生成する第２の手順と、
   前記画像処理装置の筐体の動きを検知して、その方向と速さを表わす動きベクトルを生成する第３の手順と、
   前記入力画像を複数の入力画像領域に分割し、前記入力画像領域ごとに、入力画像動きベクトルを求める第４の手順と、
   前記動きベクトルと前記入力画像動きベクトルに基づき、縮小率と、間引き量とを生成する第５の手順と、
   前記縮小率に従って、前記入力画像を空間的に縮小した縮小画像を所定のフレームレートで生成する第６の手順と、
   前記位置ずれベクトルと前記間引き量に従って、前記縮小画像を空間的に間引いた間引き画像を所定のフレームレートで生成する第７の手順と、
   前記間引き画像を表示する第８の手順と、
   を有する前記画像処理装置に実行させる記録媒体。
   
   

Images