JP2013048334A - 画像処理装置および方法、画像処理システム、並びにプログラム - Google Patents
画像処理装置および方法、画像処理システム、並びにプログラム Download PDFInfo
- Publication number
- JP2013048334A JP2013048334A JP2011185719A JP2011185719A JP2013048334A JP 2013048334 A JP2013048334 A JP 2013048334A JP 2011185719 A JP2011185719 A JP 2011185719A JP 2011185719 A JP2011185719 A JP 2011185719A JP 2013048334 A JP2013048334 A JP 2013048334A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel data
- pixel
- pixels
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 109
- 239000000872 buffer Substances 0.000 claims abstract description 143
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 20
- 230000008859 change Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 13
- 230000003111 delayed effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000010297 mechanical methods and process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/606—Rotation of whole images or parts thereof by memory addressing or mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行う。
【解決手段】格納処理部は、基準となる基準画像に対して被写体が所定の角度の分ずれている入力画像の画素の画素データをバッファに格納し、読み出し部は、角度の分だけ回転させた場合の入力画像において基準画像に対応する対応領域にある、入力画像の画素の画素データを、バッファから読み出し、画素データ算出部は、読み出し部によって読み出された画素データに基づいて、入力画像を角度の分だけ回転させた回転画像の画素の画素データを算出する。本技術は、例えば、ステレオカメラを備える画像処理システムに適用することができる。
【選択図】図1
【解決手段】格納処理部は、基準となる基準画像に対して被写体が所定の角度の分ずれている入力画像の画素の画素データをバッファに格納し、読み出し部は、角度の分だけ回転させた場合の入力画像において基準画像に対応する対応領域にある、入力画像の画素の画素データを、バッファから読み出し、画素データ算出部は、読み出し部によって読み出された画素データに基づいて、入力画像を角度の分だけ回転させた回転画像の画素の画素データを算出する。本技術は、例えば、ステレオカメラを備える画像処理システムに適用することができる。
【選択図】図1
Description
本技術は、画像処理装置および方法、画像処理システム、並びにプログラムに関し、特に、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことができるようにする画像処理装置および方法、画像処理システム、並びにプログラムに関する。
ステレオカメラを用いて得られる2つの撮像画像の視差を利用して測距を行う場合、画像間の位置の対応付けが行われる。それぞれのカメラの機構設計上の位置は、理論的には既知とされるが、実際には組み立て誤差等によるばらつきがあるため、個別に位置ずれを計測し、その位置ずれに基づいて、2つのカメラにより得られる画像間の位置ずれを補正する(2つの画像の相対的な位置を調整する)必要があった。
画像の相対的な位置を調整する手法としては、メカ方式とフレームメモリ方式とが知られている。
メカ方式は、メカ的な機構によりカメラの位置を物理的に調整することで、画像の相対的な位置を調整する手法であり、例えば、一方のカメラから得られたリファレンス画像に対する、他方のカメラから得られた対象画像の位置に応じて、他方のカメラを移動させるステレオカメラがある(例えば、特許文献1参照)。
一方、フレームメモリ方式は、2つのカメラから得られた画像を、それぞれ一旦フレームメモリに記憶させ、画像間の位置ずれに応じて、フレームメモリ上の読み出しアドレスを操作することで、画像の相対的な位置を調整する手法である(例えば、特許文献2参照)。
ところで、メカ方式においては、カメラを移動させるためのモータ等の駆動装置が必要となるため、ステレオカメラの製造工程においては、手作業でそれらの調整を行う必要があった。したがって、このようなステレオカメラの製造工程には、そのための設備投資や時間を要し、コストがかかっていた。また、メカ方式を適用したステレオカメラは、経年変化の影響を受ける恐れが高かった。
一方、フレームメモリ方式においては、フレームメモリに大きなコストがかかる上に、処理レイテンシが大きかった。特に、ステレオマッチングを行う場合、画像の同時性を保つために、遅延調整用のメモリが必要とされ、さらに大きなコストがかかっていた。
本技術は、このような状況に鑑みてなされたものであり、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことができるようにするものである。
本技術の一側面の画像処理装置は、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部とを備える。
前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされるようにすることができる。
前記読み出し部には、前記回転画像の1画素の画素位置に対応する、前記入力画像の前記対応領域の近傍2×2画素の前記画素データを、前記バッファから読み出させることができる。
前記格納処理部には、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納させることができる。
前記格納処理部には、前記入力画像の画素の画素データを、前記回転画像の1ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納させることができる。
格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部には、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納させることができる。
前記画像処理装置には、前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに設けることができる。
前記画像処理装置には、前記基準画像に対して、前記入力画像のxy方向の位置を調整する位置調整部をさらに設けることができる。
本技術の一側面の画像処理方法は、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法であって、前記画像処理装置が、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出するステップを含む。
本技術の一側面のプログラムは、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムであって、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップとを含む処理をコンピュータに実行させる。
本技術の一側面の画像処理システムは、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、同一の被写体を撮像して複数の画像を得る複数のカメラと、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部とを有する画像処理装置とを備える画像処理システム。
本技術の一側面においては、複数の画像のうちの基準となる基準画像に対して被写体が所定の角度の分ずれている、複数の画像のうちの入力画像の画素の画素データがバッファに格納され、角度の分だけ回転させた場合の入力画像において基準画像に対応する対応領域にある、入力画像の画素の画素データが、バッファから読み出され、読み出された画素データに基づいて、入力画像を角度の分だけ回転させた回転画像の画素の画素データが算出される。
本技術の一側面によれば、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことが可能となる。
まず、画像間の位置ずれの要素として、主に以下の3つが挙げられる。
(1)xy方向の位置ずれ
(2)回転方向の位置ずれ
(3)倍率のずれ
これら3つの位置ずれについて、画像の位置の調整を行った場合、その調整の効果として効果が高いのは、(1)xy方向の位置ずれと(2)回転方向の位置ずれとされる。本明細書では、特に、「回転方向の位置ずれ」に注目する。
(1)xy方向の位置ずれ
(2)回転方向の位置ずれ
(3)倍率のずれ
これら3つの位置ずれについて、画像の位置の調整を行った場合、その調整の効果として効果が高いのは、(1)xy方向の位置ずれと(2)回転方向の位置ずれとされる。本明細書では、特に、「回転方向の位置ずれ」に注目する。
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
1.本技術を適用した画像処理装置の構成と動作
2.画素データのバッファへの格納とバッファからの読み出しの例1
3.画素データのバッファへの格納とバッファからの読み出しの例2
4.画素データのバッファへの格納とバッファからの読み出しの例3
5.本技術を適用した画像処理装置の他の構成と動作
1.本技術を適用した画像処理装置の構成と動作
2.画素データのバッファへの格納とバッファからの読み出しの例1
3.画素データのバッファへの格納とバッファからの読み出しの例2
4.画素データのバッファへの格納とバッファからの読み出しの例3
5.本技術を適用した画像処理装置の他の構成と動作
<1.本技術を適用した画像処理装置の構成と動作>
[画像処理装置の構成]
図1は、本技術を適用した画像処理装置(画像処理システム)の一実施の形態の構成を示している。
[画像処理装置の構成]
図1は、本技術を適用した画像処理装置(画像処理システム)の一実施の形態の構成を示している。
図1の画像処理装置11は、同一の被写体を撮像して視差のある2つの画像を得る、いわゆるステレオカメラとして構成され、ステレオマッチング法により、撮像される被写体の奥行き方向の位置を特定し、その被写体までの距離を表す距離情報を出力する。
図1の画像処理装置11は、カメラ21−1,21−2、回転調整部22、およびステレオマッチング部23から構成される。
カメラ21−1,21−2は、それぞれ同一の被写体を左右の異なる視点から撮像し、カメラ21−1は、撮像した左側の画像(以下、L画像という)を回転調整部22およびステレオマッチング部23に供給し、カメラ21−2は、撮像した右側の画像(以下、R画像という)を回転調整部22に供給する。
なお、カメラ21−1,21−2は、異なる視点から撮像できる構成であればよく、左右の異なる視点からではなく、例えば、上下に異なる視点からであってもよい。また、複数の異なる視点から撮像できる構成であればよいので、2個のカメラにより2点の異なる視点からの画像でなくてもよく、それ以上の複数の視点から撮像される複数の画像を用いるようにしてもよい。ただし、以降においては、説明の便宜上、左右の異なる視点から撮像される2個のカメラ21−1,21−2であるものとして説明するものとする。
回転調整部22は、カメラ21−1からのL画像を基準(基準画像)として、L画像に対する、カメラ21−2からのR画像の相対的な回転ずれを計測し、その回転ずれの分、回転角度を調整した回転R画像を、ステレオマッチング部23に供給する。
[画像の回転ずれについて]
ここで、図2を参照して、L画像に対するR画像の回転ずれについて説明する。
ここで、図2を参照して、L画像に対するR画像の回転ずれについて説明する。
図2Aには、カメラ21−1からのL画像と、カメラ21−2からのR画像とが示されている。図2Aにおいては、L画像における被写体を基準とした場合、R画像における被写体は、左に傾いている(所定の角度の分ずれている)。
図2Bには、図2Aと同様のL画像と、図2AのR画像における被写体の傾き(回転ずれ)を、そのずれている角度θの分だけ回転させた場合のR画像とが示されている。図2Bに示されるように、R画像が点Pを回転中心として角度θの分だけ右回転されることで、R画像における被写体と、L画像における被写体との回転ずれは解消されている。なお、ここでは、L画像とR画像との間に、xy方向の位置ずれはないものとする。
ここで、図2BのR画像における領域Y1は、点Pを回転中心として角度θの分だけ右回転させたR画像において、L画像に対応する領域である。
すなわち、回転調整部22においては、図2Cに示されるように、回転前のR画像における領域Y1を、回転後の回転R画像における領域Y2とすることで、回転R画像の大部分が得られる。より具体的には、回転前のR画像における領域Y1のラインd1を構成する画素の画素データに基づいて、回転後の回転R画像における領域Y2のラインd2を構成する画素の画素データが算出される。
このとき、回転前のR画像におけるラインd1は、図3に示されるように、画素方向(図中右方向)に5または6画素、ライン方向(図中下方向)に2画素の画素ブロックが、右斜め上方向に並んで与えられる。したがって、回転後の回転R画像におけるラインd2の画素データは、対応する回転前のR画像におけるラインd1の画素ブロックの画素データに基づいて、算出されるようになる。
なお、図2Cの回転R画像における領域Y2以外の領域(以下、ブランク領域という)の画素データは、L画像の画素の画素データで埋められる。
また、L画像およびR画像は、左上の画素から右下の画素へとスキャンされるが、図2に示される回転中心Pと回転方向の設定によって、R画像における領域Y1の画素は、対応するL画像の画素よりも先にスキャンされるようになる。
図4は、L画像に対する、図2とは逆方向のR画像の回転ずれについて説明する図である。
図4Aには、カメラ21−1からのL画像と、カメラ21−2からのR画像とが示されている。図4Aにおいては、L画像における被写体を基準とした場合、R画像における被写体は、右に傾いている(所定の角度の分ずれている)。
図4Bには、図4Aと同様のL画像と、図4AのR画像における被写体の傾き(回転ずれ)を、そのずれている角度θの分だけ回転させた場合のR画像とが示されている。図4Bに示されるように、R画像が点Pを回転中心として角度θの分だけ左回転されることで、R画像における被写体と、L画像における被写体との回転ずれは解消されている。なお、ここでも、L画像とR画像との間に、xy方向の位置ずれはないものとする。
ここで、図4BのR画像における領域Y1は、点Pを回転中心として角度θの分だけ左回転させたR画像において、L画像に対応する領域である。
すなわち、回転調整部22においては、図4Cに示されるように、回転前のR画像における領域Y1を、回転後の回転R画像における領域Y2とすることで、回転R画像の大部分が得られる。より具体的には、回転前のR画像における領域Y1のラインd1を構成する画素の画素データに基づいて、回転後の回転R画像における領域Y2のラインd2を構成する画素の画素データが算出される。
このとき、回転前のR画像におけるラインd1は、図5に示されるように、画素方向(図中右方向)に5または6画素、ライン方向(図中下方向)に2画素の画素ブロックが、右斜め下方向に並んで与えられる。したがって、回転後の回転R画像におけるラインd2の画素データは、対応する回転前のR画像におけるラインd1の画素ブロックの画素データに基づいて、算出されるようになる。
なお、図4Cの回転R画像における領域Y2以外の領域(ブランク領域)の画素データは、L画像の画素の画素データで埋められる。
また、L画像およびR画像は、左上の画素から右下の画素へとスキャンされるが、図4に示される回転中心Pと回転方向の設定によって、R画像における領域Y1の画素は、対応するL画像の画素よりも先にスキャンされるようになる。
このようにして、カメラ21−2からのR画像の回転ずれの分、回転角度を調整した回転R画像が得られる。
さて、図1の説明に戻り、回転調整部22は、格納処理部31、バッファ32、読み出し部33、画素データ算出部34、および画素データ出力部35を備えている。
格納処理部31は、カメラ21−2からのR画像の画素の画素データを、順次バッファ32に格納する。
バッファ32は、SRAM(Static Random Access Memory)やDRAM(Dynamic Random Access Memory)等のメモリから構成され、格納処理部31からの画素データを格納する。格納された画素データは、読み出し部33によって読み出される。
読み出し部33は、バッファ32に格納されたR画像の画素の画素データを、所定のタイミングで読み出す。具体的には、読み出し部33は、バッファ32に格納されたR画像の画素のうちの領域Y1(図2または図4)の画素の画素データを読み出し、画素データ算出部34に供給する。
画素データ算出部34は、読み出し部33からの画素データに基づいて、回転R画像の画素の画素データを算出する。具体的には、画素データ算出部34は、R画像の画素のうちの領域Y1の画素の画素データに基づいて、回転R画像の画素のうちの領域Y2の画素の画素データを算出し、画素データ出力部35に供給する。
画素データ出力部35は、回転R画像の画素の画素データを、ステレオマッチング部23に出力する。具体的には、画素データ出力部35は、画素データ算出部34からの、回転R画像の画素のうちの領域Y2の画素の画素データを出力するとともに、カメラ21−1からのL画像のうちの、回転R画像のブランク領域に対応する画素の画素データを出力する。
ステレオマッチング部23は、カメラ21−1からのL画像および回転調整部22からの回転R画像に基づいて、ステレオマッチング法により、被写体の奥行き方向の位置を特定し、その被写体までの距離を表す距離情報を出力する。
ステレオマッチング法によれば、カメラ21−1で撮像されたL画像が、カメラ21−2で撮像されたR画像のどの部分に対応するかを面積相関の演算により求めて、その対応関係に基づく三角測量の原理を用いることにより、被写体の奥行き方向の位置が求められる。
[位置調整処理について]
次に、図6のフローチャートを参照して、画像処理装置11による位置調整処理について説明する。なお、図6の位置調整処理において、L画像とR画像との間に、xy方向の位置ずれはないものとする。
次に、図6のフローチャートを参照して、画像処理装置11による位置調整処理について説明する。なお、図6の位置調整処理において、L画像とR画像との間に、xy方向の位置ずれはないものとする。
ステップS11において、格納処理部31は、カメラ21−2からのR画像の画素の画素データをバッファ32に格納する。
ステップS12において、回転調整部22は、得られる回転R画像における領域Y2(図2または図4)(以下、有効領域Y2という)の画素の画素データを出力するか否かを判定する。回転調整部22においては、出力される画素(出力画素)が、有効領域Y2の画素であるか否かは、カメラ21−2からのR画像における画素の画素位置と、回転ずれの角度θとに基づいて判定される。
ステップS12において、有効領域Y2の画素の画素データが出力されると判定された場合、処理はステップS13に進み、読み出し部33は、バッファ32から、その出力画素に対応する、R画像における領域Y1(図2または図4)の画素の画素データを読み出し、画素データ算出部34に供給する。
ステップS14において、画素データ算出部34は、読み出し部33からの、出力画素に対応するR画像(領域Y1)の画素の画素データに基づいて、出力画素の画素データを算出し、画素データ出力部35に供給する。
ステップS15において、画素データ出力部35は、画素データ算出部34からの出力画素の画素データを、ステレオマッチング部23に出力し、処理はステップS16に進む。
一方、ステップ12において、有効領域Y2の画素の画素データが出力されないと判定された場合、処理はステップS17に進み、画素データ出力部35は、カメラ21−1からのL画像において出力画素に対応する画素、すなわち、L画像のうちの、回転R画像のブランク領域に対応する画素の画素データを、ステレオマッチング部23に出力し、処理はステップS16に進む。
ステップS16において、回転調整部22は、全ての出力画素の画素データを出力したか否かを判定する。ステップS16において、全ての出力画素の画素データが出力されていないと判定された場合、処理はステップS11に戻り、これ以降の処理が、全ての出力画素の画素データが出力されるまで繰り返される。
以上の処理によれば、カメラ21−2からのR画像の画素の画素データがバッファ32に格納され、R画像における領域Y1の画素の画素データが読み出され、読み出された画素データに基づいて、回転後の回転R画像(有効領域Y2)の画素の画素データが算出される。したがって、メカ方式のように、カメラの位置を物理的に調整する必要はなく、また、バッファ32に格納される画素データは、順次読み出されるので、フレームメモリのような大容量のメモリを用いる必要もない。すなわち、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことが可能となる。
なお、回転R画像において、有効領域Y2以外の領域(ブランク領域)の画素の画素データは、L画像の画素の画素データと同一であるので、その領域については、ステレオマッチング部23により、視差無しと判定されるようになる。
<2.画素データのバッファへの格納とバッファからの読み出しの例1>
ここで、図7を参照して、画素データのバッファ32への格納と、バッファ32からの読み出しの詳細な例について説明する。
ここで、図7を参照して、画素データのバッファ32への格納と、バッファ32からの読み出しの詳細な例について説明する。
図7においては、カメラ21−2からのR画像の画素の画素データは、ライン毎にバッファ32に格納される。具体的には、R画像の1ライン目の画素データは、データバッファDB1に格納され、R画像の2ライン目の画素データは、データバッファDB2に格納され、R画像の3ライン目の画素データは、データバッファDB3に格納され、R画像の4ライン目の画素データは、データバッファDB4に格納される。
また、データバッファDB1乃至DB4に格納されている画素データは、出力画像(回転R画像)の画素のうちの、白抜きの四角形で示される画素(有効領域Y2の画素)の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
ここで、データバッファDB1乃至DB4の左端上側に示されるTWn(nは自然数)は、R画像のnライン目の画素データが、そのデータバッファに格納される(Writeされる)タイミングを表しており、データバッファDB1乃至DB4の左端下側に示されるTRnは、出力画像のnライン目の画素データが、そのデータバッファから読み出される(Readされる)タイミングを表している。
すなわち、例えば、データバッファDB1には、R画像の1ライン目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の2乃至4ライン目の画素データが読み出されるTR2乃至TR4のタイミングで読み出される。
また、出力画像の1画素(出力画素)の画素データを算出するのに、バッファ32から読み出される画素データは、R画像において、出力画素の画素位置に対応する画素位置にある近傍2×2画素の画素データに基づいて算出される。
例えば、図7における出力画像の2ライン目の左から3画素目の画素P23の画素データは、図8に示されるように、データバッファDB1に格納されている、R画像の1ライン目の左から1画素目および2画素目の画素p11,p12の画素データ、データバッファDB2に格納されている、R画像の2ライン目の左から1画素目および2画素目の画素p21,p22の画素データ、並びにそれぞれの画素の占有率に基づいて算出される。
同様に、図7における出力画像の2ライン目の左から4画素目の画素P24の画素データは、図示はしないが、データバッファDB1に格納されている、R画像の1ライン目の左から2画素目および3画素目の画素p12,p13の画素データ、データバッファDB2に格納されている、R画像の2ライン目の左から2画素目および3画素目の画素p22,p23の画素データ、並びにそれぞれの画素の占有率に基づいて算出される。
なお、R画像における近傍2×2画素の画素位置および占有率は、出力画素の画素位置および回転ずれの角度θから算出される。
このように、データバッファDB1乃至DB4に格納されている画素データが順次読み出されて、出力画素の画素データが算出されていく中で、データバッファDB1に格納されている画素データの読み出しは、出力画像の4ライン目の画素データが読み出されると完了し、R画像の5ライン目の画素データが格納されるようになる。同様に、データバッファDB2に格納されている画素データの読み出しは、出力画像の5ライン目の画素データが読み出されると完了し、R画像の6ライン目の画素データが格納されるようになり、データバッファDB3に格納されている画素データの読み出しは、出力画像の6ライン目の画素データが読み出されると完了し、R画像の7ライン目の画素データが格納されるようになり、データバッファDB4に格納されている画素データの読み出しは、出力画像の7ライン目の画素データが読み出されると完了し、R画像の8ライン目の画素データが格納されるようになる。
すなわち、図7の例では、物理的に必要となるバッファ32のバッファサイズは、図中、破線で囲まれている4ライン分となる。
なお、図7の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図7の出力画像の3ライン目と4ライン目の間の破線Lより上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
また、図7の例において、出力画像における出力画素の画素位置と、R画像における近傍2×2画素の画素位置が同一ラインにある場合、ディレイバッファを用いることにより、R画像の8ライン目の画素データを、バッファ32に格納しないようにもできる。
さらに、図7に示される出力画像の出力画素において、R画像における近傍2×2画素のうちの下側の画素(例えば、図8の画素p21,p22)として同一ラインの画素が連続する部分(図中、出力画素の下半分が破線で囲まれている画素の部分)は、ディレイバッファを設けることにより、必要な画素数分、遅延させて出力されるようにしてもよい。
<3.画素データのバッファへの格納とバッファからの読み出しの例2>
次に、図9を参照して、画素データのバッファ32への格納と、バッファ32からの読み出しの詳細な他の例について説明する。
次に、図9を参照して、画素データのバッファ32への格納と、バッファ32からの読み出しの詳細な他の例について説明する。
図9においては、カメラ21−2からのR画像の画素の画素データは、出力画像の1ラインを構成する所定数の画素に対応する画素のブロック(画素ブロック)毎にバッファ32に格納されている。図9の例では、R画像の1ライン目は、3つの画素ブロックに分けられている。具体的には、例えば、R画像の1ライン目の1乃至7画素目からなる画素ブロック(以下、1ブロック目などという)の画素データは、データバッファDB11に格納され、R画像の1ライン目の7乃至13画素目からなる2ブロック目の画素データは、データバッファDB12に格納され、R画像の1ライン目の13乃至16画素目からなる3ブロック目の画素データは、データバッファDB13に格納される。同様にして、R画像における各画素ブロックの画素データは、データバッファDB21乃至DB43に格納される。
なお、図9の例においては、画素データの格納先は、対応する出力画素の画素位置に基づいて、予め決定されている。これにより、出力画素の画素位置に要する計算量を削減することができる。
また、データバッファDB11乃至DB43に格納されている画素データは、出力画像(回転R画像)の画素のうちの、白抜きの四角形で示される画素(有効領域Y2の画素)の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
図7と同様に、データバッファDB11乃至DB43の左端上側に示されるTWn(nは自然数)は、R画像のnライン目の画素データが、そのデータバッファに格納される(Writeされる)タイミングを表しており、データバッファDB11乃至DB43の左端下側に示されるTRnは、出力画像のnライン目の画素データが、そのデータバッファから読み出される(Readされる)タイミングを表している。
すなわち、例えば、データバッファDB11には、R画像の1ライン目の1ブロック目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の2ライン目の画素データが読み出されるTR2のタイミングで読み出される。
そして、データバッファDB11乃至DB43に格納されている画素データが順次読み出されて、出力画素の画素データが算出されていく中で、データバッファDB11に格納されている画素データの読み出しは、出力画像の2ライン目の画素データが読み出されると完了し、R画像の3ライン目の画素データが格納されるようになる。同様に、データバッファDB21に格納されている画素データの読み出しは、出力画像の3ライン目の画素データが読み出されると完了し、R画像の4ライン目の画素データが格納されるようになる。
また、データバッファDB12に格納されている画素データの読み出しは、出力画像の3ライン目の画素データが読み出されると完了し、R画像の4ライン目の画素データが格納されるようになり、データバッファDB22に格納されている画素データの読み出しは、出力画像の4ライン目の画素データが読み出されると完了し、R画像の5ライン目の画素データが格納されるようになり、データバッファDB32に格納されている画素データの読み出しは、出力画像の5ライン目の画素データが読み出されると完了し、R画像の6ライン目の画素データが格納されるようになる。
さらに、データバッファDB13に格納されている画素データの読み出しは、出力画像の4ライン目の画素データが読み出されると完了し、R画像の5ライン目の画素データが格納されるようになり、データバッファDB23に格納されている画素データの読み出しは、出力画像の5ライン目の画素データが読み出されると完了し、R画像の6ライン目の画素データが格納されるようになる。
このように、図9の例では、データバッファからの読み出しが完了し、次の格納のタイミングが、画素ブロック毎に管理されるので、図7の例と比較して、使用されるバッファサイズを削減することができる。図9の例では、物理的に必要となるバッファ32のバッファサイズは、図中、破線で囲まれている約3ライン分となる。
なお、図9の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図9の出力画像の3ライン目と4ライン目の間の破線Lより上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
また、図9の例においても、出力画像における出力画素の画素位置と、R画像における近傍2×2画素の画素位置が同一ラインにある場合、ディレイバッファを用いることにより、R画像の8ライン目の画素データを、バッファ32に格納しないようにもできる。
さらに、図9に示される出力画像の出力画素において、R画像における近傍2×2画素のうちの下側の画素(例えば、図8の画素p21,p22)として同一ラインの画素が連続する部分(図中、出力画素の下半分が破線で囲まれている画素の部分)は、ディレイバッファを設けることにより、必要な画素数分、遅延させて出力されるようにしてもよい。
<4.画素データのバッファへの格納とバッファからの読み出しの例3>
次に、図10を参照して、画素データのバッファ32への格納と、バッファ32からの読み出しの詳細なさらに他の例について説明する。
次に、図10を参照して、画素データのバッファ32への格納と、バッファ32からの読み出しの詳細なさらに他の例について説明する。
図10においても、カメラ21−2からのR画像の画素の画素データは、出力画像の1ラインを構成する所定数の画素に対応する画素のブロック(画素ブロック)毎にバッファ32に格納されている。図10の例でも、R画像の1ライン目は、3つの画素ブロックに分けられている。具体的には、例えば、R画像の1ライン目の1乃至7画素目からなる画素ブロック(1ブロック目)の画素データは、データバッファDB11に格納され、R画像の1ライン目の7乃至13画素目からなる2ブロック目の画素データは、データバッファDB12に格納され、R画像の1ライン目の13乃至16画素目からなる3ブロック目の画素データは、データバッファDB13に格納される。同様にして、R画像における各画素ブロックの画素データは、データバッファDB22乃至DB33に格納される。
なお、図10の例においても、画素データの格納先は、対応する出力画素の画素位置に基づいて、予め決定されている。これにより、出力画素の画素位置に要する計算量を削減することができる。
また、データバッファDB11乃至DB33に格納されている画素データは、出力画像(回転R画像)の画素のうちの、白抜きの四角形で示される画素(有効領域Y2の画素)の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
図7と同様に、データバッファDB11乃至DB43の左端上側に示されるTWn(nは自然数)は、R画像のnライン目の画素データが、そのデータバッファに格納される(Writeされる)タイミングを表しており、データバッファDB11乃至DB43の左端下側に示されるTRnは、出力画像のnライン目の画素データが、そのデータバッファから読み出される(Readされる)タイミングを表している。
すなわち、例えば、データバッファDB11には、R画像の1ライン目の1ブロック目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の2ライン目の画素データが読み出されるTR2のタイミングで読み出される。
ここで、図10の例では、出力画像における出力画素の画素位置と、R画像における近傍2×2画素の画素位置が同一ラインにある場合、ディレイバッファを設けることにより、R画像の画素ブロックの画素データの格納を遅延させるようにする。
すなわち、データバッファDB11に格納されている画素データの読み出しは、出力画像の2ライン目の画素データが読み出されると完了し、R画像の2ライン目の画素データが格納されるようになる。このとき、R画像の2ライン目の画素データが格納を遅延させることで、出力画像の2ライン目の画素データの読み出しが完了する前に、上書きしてしまうのを避けることができる。
同様に、データバッファDB12に格納されている画素データの読み出しは、出力画像の3ライン目の画素データが読み出されると完了し、R画像の3ライン目の画素データが格納されるようになり、データバッファDB22に格納されている画素データの読み出しは、出力画像の4ライン目の画素データが読み出されると完了し、R画像の4ライン目の画素データが格納されるようになる。
また、データバッファDB13に格納されている画素データの読み出しは、出力画像の4ライン目の画素データが読み出されると完了し、R画像の4ライン目の画素データが格納されるようになり、データバッファDB23に格納されている画素データの読み出しは、出力画像の5ライン目の画素データが読み出されると完了し、R画像の5ライン目の画素データが格納されるようになり、データバッファDB33に格納されている画素データの読み出しは、出力画像の6ライン目の画素データが読み出されると完了し、R画像の6ライン目の画素データが格納されるようになる。
このように、図10の例では、データバッファへの格納を遅延させることにより、現在読み出されているデータバッファへの書き込みが可能となる。この場合、図9の例と比較して、使用されるバッファサイズをさらに削減することができる。図10の例では、物理的に必要となるバッファ32のバッファサイズは、図中、破線で囲まれている約2ライン分となる。
なお、図10の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図10の出力画像の3ライン目と4ライン目の間の破線より上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
さらに、図10に示される出力画像の出力画素において、R画像における近傍2×2画素のうちの下側の画素(例えば、図8の画素p21,p22)として同一ラインの画素が連続する部分(図中、出力画素の下半分が破線で囲まれている画素の部分)は、ディレイバッファにより、必要な画素数分、遅延させて出力されるようにしてもよい。
上述したように、出力画素に対応する近傍2×2画素の画素位置や占有率は、出力画素の画素位置および回転ずれの角度θにより算出されるものとしたが、これらは、三角関数を用いて算出されるため小数点数となる。そこで、これらの値を固定小数点数として扱うことで、十分な精度を保ったまま近似処理を行うことができ、計算速度をより高めることができるようになる。
また、これらの値は、既知のパラメータ(画像の画角および回転ずれの角度θ)から算出されるので、予め算出してテーブルとして保持するようにしてもよい。これにより、画素データの格納や読み出しの処理の際の計算量を削減することができ、処理速度を一層高めることができるようになる。
以上においては、L画像とR画像との間に、xy方向の位置ずれはないものとして説明したが、以下においては、xy方向の位置ずれを考慮した画像の位置調整について説明する。
<5.本技術を適用した画像処理装置の他の構成と動作>
[画像処理装置の構成]
図11は、本技術を適用した画像処理装置(画像処理システム)の他の実施の形態の構成を示している。
[画像処理装置の構成]
図11は、本技術を適用した画像処理装置(画像処理システム)の他の実施の形態の構成を示している。
なお、図11の画像処理装置111において、図1の画像処理装置11に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
すなわち、図11の画像処理装置111において、図1の画像処理装置11と異なるのは、位置調整部121を新たに設けた点である。
位置調整部121は、カメラ21−2におけるイメージセンサの画素出力位置を調整することで、カメラ21−2により撮像されるR画像のxy方向の位置を調整し、xy方向の位置を調整したR画像を、回転調整部22に供給する。
[画像のxy方向の位置ずれについて]
ここで、図12を参照して、L画像に対するR画像のxy方向の位置ずれについて説明する。
ここで、図12を参照して、L画像に対するR画像のxy方向の位置ずれについて説明する。
図12Aには、カメラ21−1からのL画像と、カメラ21−2からのR画像とが示されている。図12Aにおいては、L画像における被写体を基準とした場合、R画像における被写体は、左に傾いている(所定の角度の分ずれている)上に、xy方向の位置ずれを含んでいる。
図12Bには、図12Aと同様のL画像と、図12AのR画像におけるxy方向の位置ずれの分、位置が調整された場合のR画像とが示されている。
このように、xy方向の位置ずれの分、位置が調整されることで、図12Cに示されるように、図12AのR画像における被写体の傾き(回転ずれ)の角度θが求められるようになる。
[位置調整処理について]
次に、図13のフローチャートを参照して、図11の画像処理装置111の位置調整処理について説明する。
次に、図13のフローチャートを参照して、図11の画像処理装置111の位置調整処理について説明する。
なお、図13のフローチャートのステップS112乃至S117の処理は、図6のフローチャートのステップS11乃至S16の処理とそれぞれ同様であるので、その説明は省略する。
すなわち、ステップS111において、位置調整部121は、カメラ21−2により撮像されるR画像のxy方向の位置を調整し、xy方向の位置を調整したR画像を、回転調整部22に供給する。
図13のフローチャートで示される位置調整処理によっても、図6のフローチャートで示される位置調整処理と同様の作用効果を奏することができる。
なお、以上においては、L画像を基準画像として説明したが、R画像を基準画像としてももちろんよい。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
図14は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、キーボード、マウス、マイクロホン等よりなる入力部906、ディスプレイ、スピーカ等よりなる出力部907、ハードディスクや不揮発性のメモリ等よりなる記憶部908、ネットワークインタフェース等よりなる通信部909、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア911を駆動するドライブ910が接続されている。
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU901)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア911に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は以下のような構成をとることができる。
(1) 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を備える画像処理装置。
(2) 前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされる
(1)に記載の画像処理装置。
(3) 前記読み出し部は、前記回転画像の1画素の画素位置に対応する、前記入力画像の前記対応領域の近傍2×2画素の前記画素データを、前記バッファから読み出す
(1)または(2)に記載の画像処理装置。
(4) 前記格納処理部は、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納する
(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 前記格納処理部は、前記入力画像の画素の画素データを、前記回転画像の1ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納する
(1)乃至(3)に記載の画像処理装置。
(6) 格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部は、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納する
(5)に記載の画像処理装置。
(7) 前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに備える
(1)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記基準画像に対して、前記入力画像のxy方向の位置を調整する位置調整部をさらに備える
(1)乃至(7)のいずれかに記載の画像処理装置。
(9) 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、
読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する
ステップを含む画像処理方法。
(10) 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、
前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップと
を含む処理をコンピュータに実行させるプログラム。
(11) 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、
同一の被写体を撮像して複数の画像を得る複数のカメラと、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を有する画像処理装置と
を備える画像処理システム。
(1) 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を備える画像処理装置。
(2) 前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされる
(1)に記載の画像処理装置。
(3) 前記読み出し部は、前記回転画像の1画素の画素位置に対応する、前記入力画像の前記対応領域の近傍2×2画素の前記画素データを、前記バッファから読み出す
(1)または(2)に記載の画像処理装置。
(4) 前記格納処理部は、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納する
(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 前記格納処理部は、前記入力画像の画素の画素データを、前記回転画像の1ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納する
(1)乃至(3)に記載の画像処理装置。
(6) 格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部は、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納する
(5)に記載の画像処理装置。
(7) 前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに備える
(1)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記基準画像に対して、前記入力画像のxy方向の位置を調整する位置調整部をさらに備える
(1)乃至(7)のいずれかに記載の画像処理装置。
(9) 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、
読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する
ステップを含む画像処理方法。
(10) 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、
前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップと
を含む処理をコンピュータに実行させるプログラム。
(11) 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、
同一の被写体を撮像して複数の画像を得る複数のカメラと、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を有する画像処理装置と
を備える画像処理システム。
11 画像処理装置, 21−1,21−2 カメラ, 22 回転調整部, 23 ステレオマッチング部, 31 格納処理部, 32 バッファ, 33 読み出し部, 34 画素データ算出部, 35 画素データ出力部, 111 画像処理装置, 121 位置調整部
Claims (11)
- 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を備える画像処理装置。 - 前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされる
請求項1に記載の画像処理装置。 - 前記読み出し部は、前記回転画像の1画素の画素位置に対応する、前記入力画像の前記対応領域の近傍2×2画素の前記画素データを、前記バッファから読み出す
請求項1に記載の画像処理装置。 - 前記格納処理部は、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納する
請求項3に記載の画像処理装置。 - 前記格納処理部は、前記入力画像の画素の画素データを、前記回転画像の1ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納する
請求項3に記載の画像処理装置。 - 格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部は、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納する
請求項5に記載の画像処理装置。 - 前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに備える
請求項1に記載の画像処理装置。 - 前記基準画像に対して、前記入力画像のxy方向の位置を調整する位置調整部をさらに備える
請求項1に記載の画像処理装置。 - 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、
読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する
ステップを含む画像処理方法。 - 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、
前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップと
を含む処理をコンピュータに実行させるプログラム。 - 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、
同一の被写体を撮像して複数の画像を得る複数のカメラと、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を有する画像処理装置と
を備える画像処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011185719A JP2013048334A (ja) | 2011-08-29 | 2011-08-29 | 画像処理装置および方法、画像処理システム、並びにプログラム |
US13/591,422 US20130222554A1 (en) | 2011-08-29 | 2012-08-22 | Image processing apparatus and method, image processing system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011185719A JP2013048334A (ja) | 2011-08-29 | 2011-08-29 | 画像処理装置および方法、画像処理システム、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013048334A true JP2013048334A (ja) | 2013-03-07 |
Family
ID=48011099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011185719A Withdrawn JP2013048334A (ja) | 2011-08-29 | 2011-08-29 | 画像処理装置および方法、画像処理システム、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130222554A1 (ja) |
JP (1) | JP2013048334A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2817675B1 (fr) * | 2012-02-22 | 2016-04-20 | Swiss Timing Ltd. | Dispositif d'affichage en 3d d'une image photofinish |
WO2016047808A1 (ja) * | 2015-09-30 | 2016-03-31 | 株式会社小松製作所 | 撮像装置の校正システム、作業機械及び撮像装置の校正方法 |
CN105518228B (zh) * | 2015-10-15 | 2018-06-01 | 株式会社小松制作所 | 位置计测系统、工作机械以及位置计测方法 |
US10796425B1 (en) * | 2016-09-06 | 2020-10-06 | Amazon Technologies, Inc. | Imagery-based member deformation gauge |
-
2011
- 2011-08-29 JP JP2011185719A patent/JP2013048334A/ja not_active Withdrawn
-
2012
- 2012-08-22 US US13/591,422 patent/US20130222554A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20130222554A1 (en) | 2013-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112801852B (zh) | 处理器和用于图像处理的方法 | |
KR101017802B1 (ko) | 영상 왜곡 보정 | |
US11582402B2 (en) | Image processing device | |
JP5593060B2 (ja) | 画像処理装置、および画像処理装置の動作方法 | |
US20150085150A1 (en) | In-Stream Rolling Shutter Compensation | |
US20060291698A1 (en) | Image generation device and method for vehicle | |
JP2013048334A (ja) | 画像処理装置および方法、画像処理システム、並びにプログラム | |
US9460489B2 (en) | Image processing apparatus and image processing method for performing pixel alignment | |
JP2007079708A (ja) | 画像処理装置及び画像処理方法 | |
JP2020031264A (ja) | 信号処理装置、撮像装置、信号処理方法 | |
WO2023151386A1 (zh) | 数据处理方法、装置、终端和可读存储介质 | |
JP5327482B2 (ja) | 画像処理装置及び画像処理方法 | |
US20130315502A1 (en) | Image processing apparatus and image processing method | |
JP2005352703A (ja) | 画像処理装置 | |
JP6094224B2 (ja) | 画像処理装置 | |
JP4504861B2 (ja) | 画像処理方法及び画像処理装置 | |
EP2752814B1 (en) | Image processing apparatus | |
JP2008035455A (ja) | 画像処理装置、画像処理プログラム | |
JP4888306B2 (ja) | 画像処理装置および画像処理方法 | |
CN110072032B (zh) | 图像处理装置 | |
TWI632527B (zh) | 影像擷取與輸出方法 | |
JP2009146099A (ja) | 画像変換装置 | |
CN114782544A (zh) | Fpga重映射方法、装置、系统、fpga及存储介质 | |
KR101712435B1 (ko) | 윤곽선 깊이정보 확장장치 | |
JP2022082844A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141104 |