JP2023118479A - 情報処理装置、情報処理方法、プログラム、及び、記憶媒体 - Google Patents
情報処理装置、情報処理方法、プログラム、及び、記憶媒体 Download PDFInfo
- Publication number
- JP2023118479A JP2023118479A JP2022021445A JP2022021445A JP2023118479A JP 2023118479 A JP2023118479 A JP 2023118479A JP 2022021445 A JP2022021445 A JP 2022021445A JP 2022021445 A JP2022021445 A JP 2022021445A JP 2023118479 A JP2023118479 A JP 2023118479A
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- correction value
- parallax
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000012937 correction Methods 0.000 claims abstract description 275
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 59
- 238000003702 image correction Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 abstract description 28
- 238000004364 calculation method Methods 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 23
- 239000003550 marker Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影シーンの奥行き位置や、当該奥行き位置に対応する視差などを高精度かつ短時間で得ることのできる技術を提供する。【解決手段】本発明の情報処理装置は、第1の方向から撮影した第1の画像と第2の方向から撮影した第2の画像とを取得する画像取得手段と、第1の画像と第2の画像とのそれぞれから指標を検出する指標検出手段と、第1の画像における指標と第2の画像における指標との高さ方向の位置関係に基づいて、第1の画像と第2の画像との少なくとも一方に対する補正値を取得する補正値取得手段と、第1の画像と第2の画像と補正値に基づいて、第1の画像と第2の画像との間の視差を判断する視差判断手段と、第1の画像における指標と第2の画像における指標との位置関係、および補正値に基づいて、視差判断手段で判断された視差、または当該視差に対応する奥行き位置を補正する補正手段とを有する。【選択図】図2
Description
本発明は、情報処理装置、情報処理方法、プログラム、及び、記憶媒体に関し、特に撮影シーンの奥行き位置や、当該奥行き位置に対応する視差などを得る技術に関する。
互いに異なる方向から撮影した2つの画像(例えば、ステレオカメラで撮影された2つの画像)から撮影シーンの奥行き位置を計測する場合は、カメラ外部パラメータやカメラ内部パラメータなどのカメラパラメータを考慮して、奥行き位置を計測する。カメラ外部パラメータは、例えば、上記2つの画像を撮影する2台のカメラ間の位置関係や姿勢関係(例えば一方のカメラに対する他方のカメラの相対的な位置や姿勢)の情報を含む。カメラ内部パラメータは、例えば、各カメラの焦点距離や主点位置などの情報を含む。
例えば、一方のカメラの撮影画像上の或る位置に写る点に対応する、他方のカメラの撮影画像上のエピポーラ線(或る点が写る可能性のある複数の位置からなる直線)を、カメラパラメータに基づいて判断する。そして、エピポーラ線上から、一方の撮影画像上の或る位置に対応する位置を探索する。2つの撮影画像間で対応する2つの位置から、カメラパラメータを用いて、当該2つの位置に写る点の三次元位置(奥行き位置を含む)を推定することができる。一方の撮影画像上の全ての位置について、当該一方の撮影画像上の位置に対応する他方の撮影画像の位置を探索することで、撮影シーン全体の奥行き位置を得ることができる。
探索を容易にするために、カメラパラメータを用いて、ステレオ平行化を行うことがある。スレレオ平行化は、2台のカメラがそれぞれ角度を変えず左右に平行移動しただけのように見える仮想的な2つの撮影画像を得るための処理である。ステレオ平行化を行うことにより、一方の撮影画像上の或る位置と同じ高さ(垂直方向の位置、縦方向の位置、上下方向の位置)で水平方向(横方向、左右方向)と平行な直線が、当該或る位置に対応する他方の撮影画像のエピポーラ線となる。つまり、ステレオ平行化を行うことにより、或る点が同じ高さで2つの撮影画像に写るようになるため、他方の撮影画像のうち、一方の撮影画像上の或る位置と同じ高さを参照するだけでよくなり、探索が容易になる。
カメラパラメータは変化することがある。カメラパラメータが変化すると、得られる奥行き位置の誤差が増大する。特に、ステレオ平行化の結果についての誤差(2つの撮影画像間での高さ方向(垂直方向、縦方向、上下方向)の位置ずれ)が増大すると、2つの撮影画像間で対応する2つの位置を正確に判断することができず、正確な奥行き位置が得られない。
特許文献1に記載の方法では、撮影画像を1画素ずつ高さ方向にずらして、2つの撮影画像間での高さ方向の位置ずれを低減している。特許文献2に記載の方法では、2つの撮影画像間で対応する2つの画素の一方または両方の回転と並進移動を行っている。
しかしながら、特許文献1に記載の方法では、撮影画像を1画素ずつ高さ方向にずらしながら、探索を含む一連の処理を繰り返すため、処理に長い時間を要する。特許文献2に記載の方法では、一方の撮影画像の画素ごとに、他方の撮影画像全体に亘って探索を行わなければならず、処理に長い時間を要する。さらに、特許文献2に記載の方法では、探索に成功した画素しか補正できない。また、特許文献1,2に記載の方法では、2台のカメラの焦点距離がずれている場合に、奥行き位置を高精度に補正できない。
本発明は、撮影シーンの奥行き位置や、当該奥行き位置に対応する視差などを高精度かつ短時間で得ることのできる技術を提供することを目的とする。
本発明の第1の態様は、第1の方向から撮影した第1の画像と、第2の方向から撮影した第2の画像とを取得する画像取得手段と、前記第1の画像と前記第2の画像とのそれぞれから指標を検出する指標検出手段と、前記第1の画像における前記指標と前記第2の画像における前記指標との高さ方向の位置関係に基づいて、前記第1の画像と前記第2の画像との少なくとも一方に対する補正値を取得する補正値取得手段と、前記第1の画像、前記第2の画像、および前記補正値に基づいて、前記第1の画像と前記第2の画像との間の視差を判断する視差判断手段と、前記第1の画像における前記指標と前記第2の画像における前記指標との位置関係、および前記補正値に基づいて、前記視差判断手段で判断された視差、または当該視差に対応する奥行き位置を補正する補正手段とを有することを特徴とする情報処理装置である。
本発明の第2の態様は、第1の方向から撮影した第1の画像と、第2の方向から撮影した第2の画像とを取得する画像取得ステップと、前記第1の画像と前記第2の画像とのそれぞれから指標を検出する指標検出ステップと、前記第1の画像における前記指標と前記第2の画像における前記指標との高さ方向の位置関係に基づいて、前記第1の画像と前記第2の画像との少なくとも一方に対する補正値を取得する補正値取得ステップと、前記第1の画像、前記第2の画像、および前記補正値に基づいて、前記第1の画像と前記第2の画像との間の視差を判断する視差判断ステップと、前記第1の画像における前記指標と前記第2の画像における前記指標との位置関係、および前記補正値に基づいて、前記視差判断ステップで判断された視差、または当該視差に対応する奥行き位置を補正する補正ステップとを有することを特徴とする情報処理方法である。
本発明の第3の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムである。本発明の第4の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。
本発明によれば、撮影シーンの奥行き位置や、当該奥行き位置に対応する視差などを高精度かつ短時間でに得ることができる。
<第1の実施形態>
以下、本発明の第1の実施形態について説明する。図1は、第1の実施形態に係る撮影システムの機能構成を示すブロック図である。図1に示すように、撮影システムは、撮像部100、情報処理装置101、画像生成部170、およびディスプレイ180を備える。なお、図1に示す構成は一例であり、本発明を限定するものではない。例えば撮像部100は情報処理装置101とは独立した撮像装置であってもよいし、撮像部100と情報処理装置101とが一体化されていてもよい。情報処理装置101の機能が複数の装置により実現されてもよいし、情報処理装置101が画像生成部170などを含んでもよい。ディスプレイ180は情報処理装置101とは独立した表示装置であってもよいし、ディスプレイ180と情報処理装置101とが一体化されていてもよい。
以下、本発明の第1の実施形態について説明する。図1は、第1の実施形態に係る撮影システムの機能構成を示すブロック図である。図1に示すように、撮影システムは、撮像部100、情報処理装置101、画像生成部170、およびディスプレイ180を備える。なお、図1に示す構成は一例であり、本発明を限定するものではない。例えば撮像部100は情報処理装置101とは独立した撮像装置であってもよいし、撮像部100と情報処理装置101とが一体化されていてもよい。情報処理装置101の機能が複数の装置により実現されてもよいし、情報処理装置101が画像生成部170などを含んでもよい。ディスプレイ180は情報処理装置101とは独立した表示装置であってもよいし、ディスプレイ180と情報処理装置101とが一体化されていてもよい。
撮像部100は、複数の方向から撮影を行う撮像部であり、例えばシーンを撮影する2台のカメラを固定したステレオカメラが使用される。なお、撮影するシーンが空間的に変化しない条件であれば、1台のカメラの位置姿勢を常時計測し、当該1台のカメラで複数の方向から撮影した複数の画像を用いてステレオマッチング(ステレオ計測)を行う方式にも、本発明は適用可能である。
情報処理装置101は、画像取得部110、画像補正部120、記憶部130、視差画像生成部140、指標検出部150、高さ補正処理部190、および奥行補正処理部160を備える。
画像取得部110は、撮像部100が撮影した画像(カメラ画像)を取得して、取得した画像を画像補正部120に出力する。
画像補正部120は、取得した画像に対して、レンズ歪み補正や、ステレオカメラ画像の高速処理を行うためのレクティフィケーションを、補正処理として実施する。画像補正部120は、補正処理に必要なカメラパラメータを記憶部130から読み出す。レンズ歪み補正やレクティフィケーションには、特開2019-113434号公報や特開2012-058188号公報に記載の方法、またはその他の公知技術を用いてもよい。画像補正部120は、補正処理した画像(本実施形態では補正後カメラ画像と呼ぶ。)を記憶部130に格納する。
記憶部130は、各種情報を記憶し、管理するためのモジュールである。記憶部130は、例えば以下の情報を記憶する。
・補正後カメラ画像(2眼ステレオカメラの場合は左画像と右画像)
・カメラパラメータ(2台のカメラ間の位置関係や姿勢関係(例えば一方のカメラに対する他方のカメラの相対的な位置や姿勢)などを示すカメラ外部パラメータ、各カメラの焦点距離や主点位置などを示すカメラ内部パラメータ)
・視差画像生成部140が生成した視差画像
・指標情報(撮影する空間に配置されたマーカーの識別情報であるマーカーID、当該マーカーが有する矩形領域の辺の長さなど、高さ補正や奥行補正を行う前に予めユーザーが入力した情報)
・指標検出情報(マーカーID、マーカーが有する矩形領域の頂点の座標<X値、Y値>)
・過去の指標検出情報(例えば過去10フレーム分の指標検出情報)
・奥行補正量(視差の補正量や奥行きの補正量)
・高さ補正量(焦点距離の補正量<X値、Y値>や主点位置の補正量<Y値>)
・補正後カメラ画像(2眼ステレオカメラの場合は左画像と右画像)
・カメラパラメータ(2台のカメラ間の位置関係や姿勢関係(例えば一方のカメラに対する他方のカメラの相対的な位置や姿勢)などを示すカメラ外部パラメータ、各カメラの焦点距離や主点位置などを示すカメラ内部パラメータ)
・視差画像生成部140が生成した視差画像
・指標情報(撮影する空間に配置されたマーカーの識別情報であるマーカーID、当該マーカーが有する矩形領域の辺の長さなど、高さ補正や奥行補正を行う前に予めユーザーが入力した情報)
・指標検出情報(マーカーID、マーカーが有する矩形領域の頂点の座標<X値、Y値>)
・過去の指標検出情報(例えば過去10フレーム分の指標検出情報)
・奥行補正量(視差の補正量や奥行きの補正量)
・高さ補正量(焦点距離の補正量<X値、Y値>や主点位置の補正量<Y値>)
情報処理装置101は、記憶部130の初期化時に、撮像部100に格納されているカメラパラメータを撮像部100から読み込み、記憶部130に格納する。撮像部100にカメラパラメータが存在しない場合は、事前に撮像部100でカメラ校正のためのキャリブレーションパターンを撮影し、画像データからカメラパラメータを算出してもよい。
なお、記憶部130が記憶する情報は、上記のようなデータ構造を持つものに限定されるものではなく、各機能部における処理を行うために必要な情報であればよい。また、マーカー全体を指標と捉えてよいことはもちろんのこと、マーカーが有する矩形領域を指標と捉えてもよいし、矩形領域やマーカーの頂点を指標と捉えてもよい。
視差画像生成部140は、記憶部130に格納されている補正後カメラ画像とカメラパラメータに基づいて補正後カメラ画像における視差(左画像と右画像の間の視差)を判断して(視差判断)、視差画像を生成する。視差画像は、例えば、画素ごとの視差を表す画像である。視差画像の生成には、特開2019-113434号公報や特開2012-058188号公報に記載されているように、ステレオカメラで取得した画像同士をマッチングして画素ごとの視差を求める方法(Sum of Absolute Difference法など)を用いてもよい。ステレオ平行化が正しく(高精度に)行われていれば、一方の画像の或る画素に対応する画素を他方の画像から探索するマッチング(ステレオマッチング)の際に、他方の画像のうち、一方の画像の或る画素と同じ高さを参照するだけでよくなる。つまり、一方の画像の或る画素と同じ高さの複数の位置からなる範囲に、他方の画像における探索範囲を絞り込むことができる。視差画像生成部140は、生成した視差画像を記憶部130に格納する。
指標検出部150は、記憶部130に格納されている補正後カメラ画像(左画像と右画像のそれぞれ)に指標が写っている場合に、当該補正後カメラ画像から、写っている指標を検出する。そして、指標検出部150は、検出した指標の情報(指標検出情報)を記憶部130に格納する。
指標としては、例えば、図3(a)に示すように、正方形も含む矩形領域を有するマーカーが使用される。指標の検出には、IDを持つ矩形のマーカー(ArUcoなど)の検出処理を用いてもよい。例えば、指標検出部150は、補正後カメラ画像から矩形領域を検出し、矩形領域内に配置されているビットパターンをホモグラフィ変換して識別し、マーカーIDと、矩形領域の4頂点の座標とを出力してもよい。
図3(a)を参照して、指標の検出の例を説明する。図3(a)は、補正後カメラ画像である左画像320Lと右画像320Rを示す。左画像320Lと右画像320Rにはマーカー300が写っており、指標検出部150は、マーカー300の矩形領域の4頂点を検出している。図3(a)は、レクティフィケーション時からカメラパラメータが変化した場合の例を示す。そのため、左画像320Lにおける4頂点310A~310Dと、右画像320Rにおける4頂点310E~310Hとは、それぞれ異なる高さで検出される。レクティフィケーション時からカメラパラメータが変化していなければ、4頂点310A~310Dと4頂点310E~310Hとは、それぞれ同じ高さで検出される。指標検出部150は、4頂点310A~310Dの座標と4頂点310E~310Hの座標とを、記憶部130に格納する。矩形領域の頂点の代わりに、または矩形領域の頂点に加えて、矩形領域の中心位置や、マーカーの頂点、マーカーの中心位置などを検出してもよい。
指標検出部150は、画像取得部110により一定間隔で取得され、画像補正部120により補正された補正後カメラ画像に対し、指標が写っているか否かを逐次判定する。そ
して、補正後カメラ画像に指標が写っていた場合に、指標検出部150は、指標検出情報を記憶部130に出力して、現在のフレームにおける指標検出情報を更新する。補正後カメラ画像に指標が写っていない場合は、指標検出部150は、指標検出情報として指標がないということを示す情報を出力する。指標検出部150は、1つの画像から複数のマーカーを検出した場合は、検出したマーカーごとに、マーカーのIDと、当該マーカーが有する矩形領域の4頂点の座標とを紐づけて記憶部130に格納する。
して、補正後カメラ画像に指標が写っていた場合に、指標検出部150は、指標検出情報を記憶部130に出力して、現在のフレームにおける指標検出情報を更新する。補正後カメラ画像に指標が写っていない場合は、指標検出部150は、指標検出情報として指標がないということを示す情報を出力する。指標検出部150は、1つの画像から複数のマーカーを検出した場合は、検出したマーカーごとに、マーカーのIDと、当該マーカーが有する矩形領域の4頂点の座標とを紐づけて記憶部130に格納する。
高さ補正処理部190は、記憶部130に格納されている指標検出情報や補正後カメラ画像を読み出し、高さ補正量の取得(算出、決定)、指標検出情報や補正後カメラ画像の補正(高さ補正)などを行う。図1に示すように、高さ補正処理部190は、高さ補正量算出部191と高さ補正部195を備える。
高さ補正量算出部191は、記憶部130から指標検出情報を読み出し、指標検出情報に基づいて高さ補正量を取得(算出、決定)する。高さ補正量は、左画像と右画像の少なくとも一方に対する補正量(補正値、補正情報、パラメータ)である。高さ補正量は、左画像に対する補正量と捉えてもよいし、右画像に対する補正量と捉えてもよいし、それらの合計と捉えてもよい。
例えば、高さ補正量算出部191は、図3(a)の左画像320Lにおける頂点310Aと右画像320Rにおける頂点310Eとを、3次元空間では同一の点であると判定して対応付ける。同様に、高さ補正量算出部191は、頂点310B~310Dと頂点310F~310Hとを、それぞれ対応付ける。頂点の対応付けの方法は特に限定されない。例えば、指標検出部150は、頂点を検出する際に、矩形領域に対する頂点の相対位置に応じた頂点IDを決定し、指標検出情報に含めてもよい。その場合には、高さ補正量算出部191は、頂点IDが同じ2頂点(左画像における頂点と右画像における頂点)を対応付ければよい。上述したように、頂点310A~310Hは指標と捉えてよい。
そして、高さ補正量算出部191は、頂点310A~310Dと頂点310E~310Hとの高さ方向の位置関係に基づいて高さ補正量を取得し(補正値取得)、高さ補正量を記憶部130に格納する。高さ補正量算出部191は、高さ補正量として、頂点310A~310Dと頂点310E~310Hとの高さ方向の位置ずれ(誤差)を低減する補正量(補正値)を取得する。例えば、高さ補正量算出部191は、高さ補正量として、上記誤差を最小にする補正量を取得する。上記誤差は、例えば、対応付けられた2頂点の高さのずれ量(差分の絶対値)の平均値や最大値、合計などである。こうして得られた高さ補正量に基づいて左画像と右画像の少なくとも一方を補正することにより、ステレオ平行化が正しく(高精度に)行われた状態を実現することができる。ひいては、視差画像生成部140において、好適なステレオマッチング(他方の画像のうち、一方の画像の或る画素と同じ高さのみを参照するステレオマッチング)が可能となる。
焦点距離が変化すると撮影範囲が拡大したり縮小したりするため、焦点距離の変化は画像において被写体の拡大や縮小として現れる。主点位置が変化すると撮影範囲が移動するため、主点位置の変化は画像においては全体的な被写体の移動として現れる。そこで、高さ補正量算出部191は、高さ補正量として、左画像と右画像の少なくとも一方を拡大または縮小するスケーリングパラメータと、左画像と右画像の少なくとも一方を高さ方向に移動させる移動パラメータとを取得してもよい。スケーリングパラメータ(焦点距離補正量)で左画像や右画像を補正すれば、カメラ間で焦点距離が異なる場合や、焦点距離が変化した場合にも、ステレオ平行化が正しく(高精度に)行われた状態を実現することが可能となる。同様に、移動パラメータ(主点位置補正量)で左画像や右画像を補正すれば、カメラ間で主点位置が異なる場合や、主点位置が変化した場合にも、ステレオ平行化が正しく(高精度に)行われた状態を実現することが可能となる。
なお、画像サイズ(解像度)が水平方向(横方向、左右方向)と垂直方向(縦方向、上下方向、高さ方向)とで異なる場合には、画像サイズに関するパラメータとして、水平方向のパラメータと垂直方向のパラメータとが存在することになる。このような場合でも、画像における被写体の拡大や縮小をもたらすのが焦点距離という1つの物理量であるとすれば、例えば、スケーリングパラメータを、基準の焦点距離からの変化率という1つのパラメータで表現することができる。
高さ補正部195は、記憶部130から高さ補正量を読み出し、高さ補正量に基づいて、左画像における指標(頂点)と右画像における指標(頂点)との少なくとも一方の位置情報(座標)を補正する(位置補正)。そして、高さ補正部195は、補正後の座標を示すように、記憶部130に格納されている指標検出情報を更新する。また、高さ補正部195は、記憶部130から補正後カメラ画像を読み出し、高さ補正量に基づいて補正後カメラ画像(左画像と右画像の少なくとも一方)を補正する(画像補正、高さ補正)。そして、高さ補正部195は、高さ補正後のカメラ画像で、記憶部130に格納されている補正後カメラ画像を更新する。
図3(b)の左画像321Lは、高さ補正部195による高さ補正を図3(a)の左画像320Lに施した結果であり、右画像321Rは、高さ補正を右画像320Rに施した結果である。高さ補正により、図3(a)の頂点310A~310Hは移動し、それぞれ、図3(b)の頂点311A~311Hとなる。頂点311A~311Hのうち、対応付けられた2頂点は同じ高さに位置する。例えば、頂点311Aと頂点311Eは同じ高さに位置する。図3(a),3(b)は、高さ補正による左画像と右画像の変化量が最小となる高さ補正量が得られた場合の例を示す。左画像320Lに対して拡大と上方向への移動とが行われており、右画像320Rに対して縮小と下方向への移動とが行われている。なお、高さ補正では、左画像と右画像の一方を変化させず、他方のみを変化させてもよい。
奥行補正処理部160は、左画像における指標(頂点)と右画像における指標(頂点)との高さ補正後の位置関係に基づいて、高さ補正後の視差(高さ補正後の左画像と右画像とに基づいて判断された視差)に対応する奥行き位置を補正する(奥行補正)。具体的には、奥行補正処理部160は、記憶部130に格納されている視差画像と指標検出情報(高さ補正後)を読み出し、視差画像から得られる奥行画像(画素ごとの奥行き位置(奥行き値)を表す画像)を補正する。図1に示すように、奥行補正処理部160は、奥行補正量算出部161と、奥行画像生成部165とを備える。
奥行補正量算出部161は、奥行補正のための補正量(補正値、補正情報、パラメータ)である奥行補正量を算出する。
例えば、奥行補正量算出部161は、記憶部130に格納されている指標検出情報を参照して、高さ補正後のカメラ画像(図3(b)の左画像321Lと右画像321R)におけるマーカー300の矩形領域の4頂点311A~311Hの座標を取得する。奥行補正量算出部161は、高さ補正量算出部191と同様に、左画像321Lにおける頂点311Aと右画像321Rにおける頂点311Eとを、3次元空間では同一の点であると判定して対応付ける。同様に、奥行補正量算出部161は、頂点311B~311Dと頂点311F~311Hとを、それぞれ対応付ける。そして、奥行補正量算出部161は、以下の方法で、奥行補正量を算出する。
図4,5を参照して、奥行補正量算出部161の処理を説明する。ここでは、説明を簡略化するため、高さ補正後の左画像321Lにおける頂点311A,311Dと、高さ補
正後の右画像321Rにおける頂点311E,311Hとにのみ着目して説明する。
正後の右画像321Rにおける頂点311E,311Hとにのみ着目して説明する。
頂点311Aと頂点311Eの対応付け、頂点311Dと頂点311Hの対応付けができると、図4に示すように、公知の三角測量の計算方法により、カメラ基準の座標系(カメラ座標系)における3次元の点410A,410Dを算出することができる。奥行補正量算出部161は、点410Aと点410Dの間の距離(点410Aと点410Dを結ぶ線分510の長さ)を算出する。
また、奥行補正量算出部161は、記憶部130に格納されている指標情報を参照して、対応するマーカーID(参照した指標検出情報が示すマーカーIDと同じマーカーID)を持つマーカーの矩形領域の1辺の長さ(後述する線分520の長さ)を取得する。
次に、奥行補正量算出部161は、図5に示すように、カメラ座標系において、カメラ原点Oから点410Aを通る直線540と、カメラ原点Oから点410Dを通る直線550とを設定し、点410Aと点410Dを結ぶ線分510を設定する。
さらに、奥行補正量算出部161は、カメラパラメータに誤差が生じていない場合に出力される3次元の点500A,500Dを推定する。点500A,500Dは、以下の条件を満たすように決定する。
(1)点500Aは直線540上にある。
(2)点500Dは直線550上にある。
(3)点500Aと点500Dを結ぶ線分520の傾きは、線分510の傾きと同じである。
(4)点500Aと点500Dの間の距離(点500Aと点500Dを結ぶ線分520の長さ)が、指標情報が示す1辺の長さと同じである。
(1)点500Aは直線540上にある。
(2)点500Dは直線550上にある。
(3)点500Aと点500Dを結ぶ線分520の傾きは、線分510の傾きと同じである。
(4)点500Aと点500Dの間の距離(点500Aと点500Dを結ぶ線分520の長さ)が、指標情報が示す1辺の長さと同じである。
そして、奥行補正量算出部161は、点500AのZ値と点410AのZ値との差分530を、奥行補正量として設定する。
奥行画像生成部165は、記憶部130に格納されている視差画像から各画素に対する奥行き値を算出することで、奥行画像を生成する。そして、奥行画像生成部165は、奥行画像の各奥行き値に、奥行補正量算出部161で算出された奥行補正量を加算することで、奥行画像を補正する(奥行補正)。奥行画像生成部165は、奥行補正後の奥行画像を、画像生成部170に出力する。
画像生成部170は、取得した奥行画像(奥行補正後)を含む画像、例えば奥行画像を表示するアプリケーション画面を生成し、液晶ディスプレイや有機ELディスプレイなどであるディスプレイ180に表示する。
奥行補正処理部160の処理は、画像取得部110で取得する画像が更新され、視差画像が生成された直後に実行してもよいし、一定のインターバルを設けて実行してもよい。例えば10フレームの視差画像が生成されるたびに、奥行補正量を算出するようにしてもよい。図6(a),6(b)を参照して、一定のインターバルで奥行補正量を算出する場合の奥行補正量と奥行き値の時間変化を説明する。図6(a)において、横軸は時刻t、縦軸は奥行補正量fを示す。図6(a)に示すように、時刻t0から時刻t1までのインターバルで奥行補正量601を算出し、以降、一定のインターバルで奥行補正量602,603,・・・を算出する。図6(b)において、横軸は時刻t、縦軸は奥行き値dを示す。破線650が奥行補正前の奥行き値を示し、実線655が奥行補正後の奥行き値を示す。図6(b)に示すように、奥行補正量fが算出されると、奥行き値に奥行補正量fが加算されて、後続するフレームでも同じ奥行補正量fが反映される。奥行き値に加算され
る奥行補正量fは、各時刻(時刻t1,t2,・・・)で更新される。
る奥行補正量fは、各時刻(時刻t1,t2,・・・)で更新される。
なお、奥行画像生成部165は、更新された奥行補正量fをそのまま反映させるのではなく、奥行補正量fに重みを設けるようにしてもよい。図6(c)において、横軸は時刻t、縦軸は奥行き値dを示す。図6(c)の例では、奥行補正後の奥行き値の変化が滑らかになるように、奥行補正量fの更新時から時間経過に応じて、更新後の奥行補正量fの重みを増加させている。
高さ補正処理部190がスケーリングパラメータ(焦点距離補正量)に基づいて画像の拡大や縮小を行うと、水平方向の画像サイズが変化して、視差が変化するため、ステレオマッチングで推定される奥行き値(奥行き位置)の誤差が増大する虞がある。本実施形態では、奥行補正処理部160が奥行き値を補正することによって、そのような誤差の増大を抑制することができる。
図7は、情報処理装置101のハードウェア構成例を示す図である。CPU701は、RAM702やROM703に格納されているコンピュータプログラムやデータを使って情報処理装置101全体を制御する。RAM702は、CPU701が処理を行う際に作業領域として用いられる。ROM703は、制御プログラム、各種アプリケーションプログラム、データなどを記憶する。CPU701がROM703に格納されている制御プログラムをRAM702に展開して実行することにより、図1に示す情報処理装置101のの各機能部の処理が実現される。例えば、画像取得部110、画像補正部120、記憶部130、視差画像生成部140、指標検出部150、高さ補正処理部190、および奥行補正処理部160の少なくともいずれかの処理が実現される。入力I/F704は、撮像部100から情報処理装置101に信号(カメラ画像など)を入力する。その際に、入力I/F704は、撮像部100からの信号(入力信号)を、情報処理装置101が処理可能な形式の信号に変換してもよい。出力I/F705は、外部装置へ信号を出力する。その際に、出力I/F705は、出力する信号(出力信号)を、外部装置が処理可能な形式の信号に変換してもよい。
上述したように、図1に示す情報処理装置101の各機能部の処理(機能)は、CPU701がプログラムを実行することで実現することができる。ただし、図1に示す各機能部のうち少なくとも一部が、不図示の専用のハードウェアやGPUによって実現されてもよい。この場合は、専用のハードウェアやGPUは、CPU701の制御に基づいて動作する。
次に、図2(a)を参照して、情報処理装置101が実行する処理を説明する。図2(a)は、情報処理装置101が実行する処理を示すフローチャートである。図2(a)の処理は、フレーム毎に行われる。なお、各機能部が実行する処理の詳細は既述したとおりであり、以下に述べる各ステップでは重複する説明を省略する。
ステップS200で、情報処理装置101は、撮像部100からカメラパラメータを取得して、記憶部130に格納する。なお、撮像部100からカメラパラメータを取得することに限定されるものではなく、事前にカメラパラメータを校正した結果を記憶部130に格納するようにしてもよい。
ステップS210で、画像取得部110は、撮像部100からカメラ画像を取得する。
ステップS220で、画像補正部120は、ステップS210で取得されたカメラ画像(左画像と右画像のそれぞれ)に対して、記憶部130に格納されているカメラパラメータを使用して補正処理を行う。そして、画像補正部120は、補正後カメラ画像(高さ補
正前)を記憶部130に格納する。
正前)を記憶部130に格納する。
ステップS230で、指標検出部150は、記憶部130に格納されている補正後カメラ画像(高さ補正前)から指標を検出して、検出した指標の情報(指標検出情報)を記憶部130に格納する。
ステップS240で、高さ補正処理部190は、高さ補正量の取得から高さ補正までの一連の高さ補正処理を実行する。ステップS240の高さ補正処理の詳細は、図2(b)を用いて後述する。
ステップS250で、視差画像生成部140は、記憶部130に格納されている補正後カメラ画像(高さ補正後)とカメラパラメータに基づいて、補正後カメラ画像における視差を算出して視差画像を生成して、視差画像を記憶部130に格納する。
ステップS260で、奥行補正処理部160は、奥行補正量の取得から奥行補正までの一連の奥行補正処理を実行する。ステップS260の奥行補正処理の詳細は、図2(c)を用いて後述する。
ステップS270で、情報処理装置101は、終了条件を満たすか否かを判定する。例えばユーザーから終了指示が入力された場合、終了条件を満たすと判定する。終了条件を満たす場合は、処理を終了する。終了条件を満たさない場合は、処理をステップS210に移す。
図2(b)は、ステップS240の高さ補正処理の詳細を示すフローチャートである。
ステップS241で、高さ補正処理部190は、高さ補正処理に必要な情報として、記憶部130からカメラパラメータ、補正後カメラ画像(高さ補正前)、指標検出情報(高さ補正前)、および指標情報を取得する。
ステップS242で、高さ補正量算出部191は、ステップS241で取得した情報に基づいて、上述したように高さ補正量を算出する。
ステップS243で、高さ補正部195は、ステップS242で算出された高さ補正量を用いて、補正後カメラ画像と指標検出情報を補正する(高さ補正)。
図2(c)は、ステップS260の奥行補正処理の詳細を示すフローチャートである。
ステップS261で、奥行補正処理部160は、奥行補正処理に必要な情報として、記憶部130からカメラパラメータ、視差画像、指標検出情報(高さ補正後)、および指標情報を取得する。
ステップS262で、奥行補正量算出部161は、ステップS261で取得した情報に基づいて、上述したように奥行補正量を算出する。
ステップS263で、奥行画像生成部165は、ステップS261で取得した情報に基づいて奥行画像を生成し、ステップS262で算出した奥行補正量を用いて奥行画像を補正する。
以上述べたように、本実施形態によれば、最終的な奥行画像を得るまでの一連の処理の中で、左画像における指標と右画像における指標との高さ方向の位置関係に基づく高さ補
正量が使用される。例えば、高さ補正量で左画像や右画像が補正される。そうすることで、ステレオ平行化が正しく(高精度に)行われた状態を実現することができる。ひいては、好適なステレオマッチング(他方の画像のうち、一方の画像の或る画素と同じ高さの位置を参照するステレオマッチング)が可能となり、奥行画像を高精度かつ短時間でに得ることができる。
正量が使用される。例えば、高さ補正量で左画像や右画像が補正される。そうすることで、ステレオ平行化が正しく(高精度に)行われた状態を実現することができる。ひいては、好適なステレオマッチング(他方の画像のうち、一方の画像の或る画素と同じ高さの位置を参照するステレオマッチング)が可能となり、奥行画像を高精度かつ短時間でに得ることができる。
なお、本実施形態では、矩形領域において隣り合う頂点310A,310D(頂点310E,310H)の情報から奥行補正量を算出する例を述べたが、これに限定されるものではない。例えば矩形領域の4頂点のうちの任意の2頂点を選択するようにしてもよい。また、矩形領域の4頂点から選択した複数の組み合わせの2頂点間の距離を使用して奥行補正量を算出するようにしてもよい。この場合、複数の奥行補正量が算出されるが、例えばその平均値を使用するようにすればよい。
また、2頂点を選択する場合は、補正後カメラ画像(左画像321Lまたは右画像321R)上での2頂点間の距離が長いものを選択するのが好ましい。画像上での2頂点間の距離が短いと、頂点の情報を特定するときに使用する直線フィッティングの処理でサンプリング誤差が発生し、推定する頂点に誤りを含む傾向が多いからである。
また、本発明は、1地点で撮影した画像から奥行補正量を算出することに限られない。本発明は、固定視点のステレオカメラ以外にも適用することができる。特開2012-058188号公報に記載されているように2地点で撮影した画像を用いてもよい。
また、事前に用意する指標情報として指標の3次元位置を要求しないので、指標を空間に固定する必要はなく、観察する空間で指標が動いていてもよい。例えばユーザーが奥行き値を補正したいタイミングで、手に持った指標を撮像部100で撮影するだけで奥行補正が完了する。したがって、奥行補正のための構成を簡素化することができ、また、メンテナンスの知識が不要になり、メンテナンスコストの低減に寄与する。
また、本実施形態では、奥行補正量を算出して奥行き値を補正する例を説明したが、奥行き値を得るための視差を補正するようにしてもよい。この場合、補正した視差から奥行き値を求めればよく、奥行き値を補正する必要はない。視差の補正は、Z値の差分530から視差の差分を算出し、視差に加算すればよい。
また、本実施形態では、高さ補正量でカメラ画像を補正する例を説明したが、これに限られず、高さ補正量を考慮してステレオマッチングを行ってもよい。例えば、ステレオマッチングのサーチラインを高さ補正量だけ移動させて、視差を算出してもよい。また、内部パラメータ自体を高さ補正量に基づいて変更し、ステレオ平行化を行わずに、エピポーラ幾何を用いて奥行き値を算出してもよい。
また、本実施形態では、左画像における指標(頂点)と右画像における指標(頂点)との高さ補正後の位置関係に基づいて奥行補正を行う例を説明したが、これに限られない。例えば、指標検出情報を補正せずに、左画像における指標(頂点)と右画像における指標(頂点)との高さ補正前の位置関係と、高さ補正量とに基づいて、奥行補正を行ってもよい。
<第2の実施形態>
以下、本発明の第2の実施形態について説明する。第1の実施形態では、高さ補正処理部190で、フレーム毎に、高さ補正量を算出し、高さ補正量で補正後カメラ画像と指標検出情報を補正(更新)する例を説明した。第2の実施形態では、補正後カメラ画像や指標検出情報の補正(更新)が行われず、画像補正部120が1つ前のフレームで算出され
た高さ補正量を反映した画像補正を行う例を説明する。なお、以下では、第1の実施形態と異なる点(構成や処理など)について詳しく説明し、第1の実施形態と同様の点についての説明は適宜省略する。
以下、本発明の第2の実施形態について説明する。第1の実施形態では、高さ補正処理部190で、フレーム毎に、高さ補正量を算出し、高さ補正量で補正後カメラ画像と指標検出情報を補正(更新)する例を説明した。第2の実施形態では、補正後カメラ画像や指標検出情報の補正(更新)が行われず、画像補正部120が1つ前のフレームで算出され
た高さ補正量を反映した画像補正を行う例を説明する。なお、以下では、第1の実施形態と異なる点(構成や処理など)について詳しく説明し、第1の実施形態と同様の点についての説明は適宜省略する。
図8は、第2の実施形態に係る撮影システムの機能構成を示すブロック図である。情報処理装置101が高さ補正処理部190の代わりに高さ補正量算出部191を有する、つまり高さ補正部195を有さない点が、第1の実施形態(図1)と異なる。その他の構成は、第1の実施形態と同様である。
図9(a)を参照して、第2の実施形態において情報処理装置101が実行する処理を説明する。図9(a)は、第2の実施形態において情報処理装置101が実行する処理を示すフローチャートである。図9(a)の処理は、フレーム毎に行われる。なお、以下では、図9(a)の処理として、記憶部130が高さ補正量を記憶している状態での処理(2フレーム目以降の処理)を説明する。
ステップS900で、情報処理装置101は、撮像部100からカメラパラメータを取得して、記憶部130に格納する。なお、撮像部100からカメラパラメータを取得することに限定されるものではなく、事前にカメラパラメータを校正した結果を記憶部130に格納するようにしてもよい。
ステップS910で、画像取得部110は、撮像部100からカメラ画像を取得する。
ステップS920で、画像補正部120は、ステップS910で取得されたカメラ画像(左画像と右画像のそれぞれ)に対して、記憶部130に格納されているカメラパラメータと高さ補正量を使用して補正処理を行う。そして、画像補正部120は、補正後カメラ画像(高さ補正後)を記憶部130に格納する。
ステップS930で、指標検出部150は、記憶部130に格納されている補正後カメラ画像(高さ補正後)から指標を検出して、検出した指標の情報(指標検出情報)を記憶部130に格納する。本実施形態では、ステップS920で高さ補正後のカメラ画像が得られるため、ステップS930で、指標検出情報として、高さ補正後の情報が得られる。
ステップS940で、補正量算出処理が実行される。ステップS940の補正量算出処理の詳細は、図9(b)を用いて後述する。
ステップS950で、視差画像生成部140は、記憶部130に格納されている補正後カメラ画像(高さ補正後)とカメラパラメータに基づいて、補正後カメラ画像における視差を算出して視差画像を生成して、視差画像を記憶部130に格納する。
ステップS960で、奥行画像生成部165は、記憶部130に格納されている情報(ステップS950で生成された視差画像を含む)に基づいて奥行画像を生成し、記憶部130に格納されている奥行補正量を用いて奥行画像を補正する。
ステップS970で、情報処理装置101は、終了条件を満たすか否かを判定する。例えばユーザーから終了指示が入力された場合、終了条件を満たすと判定する。終了条件を満たす場合は、処理を終了する。終了条件を満たさない場合は、処理をステップS910に移す。
なお、1フレーム目では、高さ補正量が記憶部130に格納されていないため、ステップS920で高さ補正量は使用されず、高さ補正前のカメラ画像が得られて、記憶部13
0に格納される。1フレーム目で高さ補正量を用いた補正が行えなくても、2フレーム目以降では高さ補正量を用いた補正が行えるため、問題は無い。
0に格納される。1フレーム目で高さ補正量を用いた補正が行えなくても、2フレーム目以降では高さ補正量を用いた補正が行えるため、問題は無い。
図9(b)は、ステップS940の補正量算出処理の詳細を示すフローチャートである。
ステップS941で、高さ補正量算出部191は、高さ補正量の算出に必要な情報を記憶部130から取得し、奥行補正量算出部161は、奥行補正量の算出に必要な情報を記憶部130から取得する。
ステップS942で、高さ補正量算出部191は、ステップS941で取得した情報に基づいて、第1の実施形態で述べたように高さ補正量を算出し、高さ補正量を記憶部130に格納する。記憶部130が高さ補正量(1つ前のフレームの高さ補正量)を記憶している場合には、高さ補正量算出部191は、算出した高さ補正量で記憶部130の高さ補正量を更新する。
ステップS943で、奥行補正量算出部161は、ステップS941で取得した情報に基づいて、第1の実施形態で述べたように奥行補正量を算出し、奥行補正量を記憶部130に格納する。記憶部130が奥行補正量(1つ前のフレームの奥行補正量)を記憶している場合には、奥行補正量算出部161は、算出した高さ補正量で記憶部130の奥行補正量を更新する。
以上述べたように、第2の実施形態によれば、補正後カメラ画像や指標検出情報の補正(更新)は行われず、画像補正部120が1つ前のフレームで算出された高さ補正量を反映した画像補正を行う。こうすることで、第1の実施形態よりも計算負荷を低くすることができる。カメラパラメータは1フレームの間では大きく変動しないため、1つ前のフレームで算出された高さ補正量を用いても問題は無い。
なお、ステップS940の補正量算出処理を1フレーム毎に行う例を説明したが、複数フレーム毎に行ってもよい。
なお、上述した実施形態(変形例を含む)はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101:情報処理装置 110:画像取得部 120:画像補正部
140:視差画像生成部 150:指標検出部 160:奥行補正処理部
161:奥行補正量算出部 165:奥行画像生成部 190:高さ補正処理部
191:高さ補正量算出部 195:高さ補正部
140:視差画像生成部 150:指標検出部 160:奥行補正処理部
161:奥行補正量算出部 165:奥行画像生成部 190:高さ補正処理部
191:高さ補正量算出部 195:高さ補正部
Claims (12)
- 第1の方向から撮影した第1の画像と、第2の方向から撮影した第2の画像とを取得する画像取得手段と、
前記第1の画像と前記第2の画像とのそれぞれから指標を検出する指標検出手段と、
前記第1の画像における前記指標と前記第2の画像における前記指標との高さ方向の位置関係に基づいて、前記第1の画像と前記第2の画像との少なくとも一方に対する補正値を取得する補正値取得手段と、
前記第1の画像、前記第2の画像、および前記補正値に基づいて、前記第1の画像と前記第2の画像との間の視差を判断する視差判断手段と、
前記第1の画像における前記指標と前記第2の画像における前記指標との位置関係、および前記補正値に基づいて、前記視差判断手段で判断された視差、または当該視差に対応する奥行き位置を補正する補正手段と
を有することを特徴とする情報処理装置。 - 前記視差判断手段は、前記補正値による補正後の前記第1の画像と前記第2の画像とに基づいて、当該補正後の前記第1の画像と前記第2の画像との間の前記視差を判断する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記補正手段は、前記第1の画像における前記指標と前記第2の画像における前記指標との、前記補正値による補正後の位置関係に基づいて、前記視差または前記奥行き位置を補正する
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記指標検出手段は、前記補正値による補正後の前記第1の画像と前記第2の画像とのそれぞれから指標を検出する
ことを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。 - 前記補正値に基づいて、前記第1の画像における前記指標と前記第2の画像における前記指標との少なくとも一方の位置情報を補正する位置補正手段をさらに有する
ことを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。 - 前記補正値に基づいて、前記第1の画像と前記第2の画像との少なくとも一方を補正する画像補正手段をさらに有する
ことを特徴とする請求項1~5のいずれか1項に記載の情報処理装置。 - 前記補正値取得手段は、前記第1の画像における前記指標と前記第2の画像における前記指標との高さ方向の位置ずれを低減する前記補正値を取得する
ことを特徴とする請求項1~6のいずれか1項に記載の情報処理装置。 - 前記補正値は、前記第1の画像と前記第2の画像との少なくとも一方を拡大または縮小する補正値と、前記第1の画像と前記第2の画像との少なくとも一方を前記高さ方向に移動させる補正値との少なくとも一方を含む
ことを特徴とする請求項1~7のいずれか1項に記載の情報処理装置。 - 前記補正値取得手段は、前記補正値を用いた補正による前記第1の画像と前記第2の画像の変化量が最小の前記補正値を取得する
ことを特徴とする請求項1~8のいずれか1項に記載の情報処理装置。 - 第1の方向から撮影した第1の画像と、第2の方向から撮影した第2の画像とを取得す
る画像取得ステップと、
前記第1の画像と前記第2の画像とのそれぞれから指標を検出する指標検出ステップと、
前記第1の画像における前記指標と前記第2の画像における前記指標との高さ方向の位置関係に基づいて、前記第1の画像と前記第2の画像との少なくとも一方に対する補正値を取得する補正値取得ステップと、
前記第1の画像、前記第2の画像、および前記補正値に基づいて、前記第1の画像と前記第2の画像との間の視差を判断する視差判断ステップと、
前記第1の画像における前記指標と前記第2の画像における前記指標との位置関係、および前記補正値に基づいて、前記視差判断ステップで判断された視差、または当該視差に対応する奥行き位置を補正する補正ステップと
を有することを特徴とする情報処理方法。 - コンピュータを、請求項1~9のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項1~9のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022021445A JP2023118479A (ja) | 2022-02-15 | 2022-02-15 | 情報処理装置、情報処理方法、プログラム、及び、記憶媒体 |
US18/157,873 US20230260159A1 (en) | 2022-02-15 | 2023-01-23 | Information processing apparatus, information processing method, and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022021445A JP2023118479A (ja) | 2022-02-15 | 2022-02-15 | 情報処理装置、情報処理方法、プログラム、及び、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023118479A true JP2023118479A (ja) | 2023-08-25 |
Family
ID=87558821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022021445A Pending JP2023118479A (ja) | 2022-02-15 | 2022-02-15 | 情報処理装置、情報処理方法、プログラム、及び、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230260159A1 (ja) |
JP (1) | JP2023118479A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220005217A1 (en) * | 2020-07-06 | 2022-01-06 | Toyota Research Institute, Inc. | Multi-view depth estimation leveraging offline structure-from-motion |
-
2022
- 2022-02-15 JP JP2022021445A patent/JP2023118479A/ja active Pending
-
2023
- 2023-01-23 US US18/157,873 patent/US20230260159A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230260159A1 (en) | 2023-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
JP4809291B2 (ja) | 計測装置及びプログラム | |
US10776937B2 (en) | Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability | |
WO2011125937A1 (ja) | キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置 | |
JP4055998B2 (ja) | 距離検出装置、距離検出方法、及び距離検出プログラム | |
JP6804056B2 (ja) | 投写型表示装置、投写型表示装置の制御方法、及びプログラム | |
JP2013254097A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
KR100596976B1 (ko) | 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템 | |
JP2023118479A (ja) | 情報処理装置、情報処理方法、プログラム、及び、記憶媒体 | |
JP2008298589A (ja) | 位置検出装置及び位置検出方法 | |
US20220076399A1 (en) | Photographing guide device | |
US8179431B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
RU2579532C2 (ru) | Оптико-электронный стереоскопический дальномер | |
US20210243422A1 (en) | Data processing apparatus, data processing method, and program | |
JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム | |
JP2008109481A (ja) | 画像生成装置 | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2017040542A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7277187B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
US20230306566A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2011227073A (ja) | 3次元位置測定装置 | |
JP2010041416A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 |