JP2003256874A - 画像合成変換装置 - Google Patents
画像合成変換装置Info
- Publication number
- JP2003256874A JP2003256874A JP2002057440A JP2002057440A JP2003256874A JP 2003256874 A JP2003256874 A JP 2003256874A JP 2002057440 A JP2002057440 A JP 2002057440A JP 2002057440 A JP2002057440 A JP 2002057440A JP 2003256874 A JP2003256874 A JP 2003256874A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- mapping table
- virtual
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 44
- 230000015572 biosynthetic process Effects 0.000 title description 22
- 238000003786 synthesis reaction Methods 0.000 title description 22
- 238000009434 installation Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000006837 decompression Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 abstract description 84
- 230000002194 synthesizing effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 239000000203 mixture Substances 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000946889 Homo sapiens Monocyte differentiation antigen CD14 Proteins 0.000 description 1
- 102100035877 Monocyte differentiation antigen CD14 Human genes 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
に変換するマッピングテーブルを、少ない演算量で簡単
に作成可能とする。 【解決手段】 実画像を撮像する撮像手段10と、予め
計算された仮想カメラの画素位置に対応する投影モデル
上の3次元位置を記録した座標記録手段32と、仮想カ
メラと撮像手段10との間の位置関係を求める手段と、
前記位置関係の情報と座標記録手段32に記録されてい
る前記3次元位置の情報とから前記実画像を前記仮想カ
メラから見た画像に変換するマッピングテーブルを作成
し記録する手段20、31と、前記マッピングテーブル
を使用して実画像をマッピングする手段40とを備え
る。前記位置関係を求める手段は、撮像手段10の設置
位置が予め定められている場合には前記設置位置から位
置関係を予測してカメラパラメータとしてマッピングテ
ーブルを作成する手段20に入力する。
Description
た画像を仮想カメラで撮影した変換画像にリアルタイム
に合成する画像合成変換装置に関する。
変換する従来の画像合成変換装置として、例えば、国際
公開番号WO00/64175に記載されている装置が
ある。これを図10を用いて説明する。
110と、画像処理部120とを備えて構成される。撮
像手段110は、複数のカメラ111、112と、各カ
メラ111、112に対応するフレームメモリ113、
114とから構成され、各カメラ111、112から入
力される画像は対応するフレームメモリ113、114
に書き込まれる。
と、マッピングテーブル参照手段122と、映像信号生
成手段123とから構成される。マッピングテーブル参
照手段122は、出力画素の位置座標と入力画像の画素
位置との対応を示す変換アドレス(マッピングテーブ
ル)を格納した変換アドレスメモリ131と、そのとき
の各入力画素の必要度が記録される必要度メモリ132
を備える。
ル参照手段122に記録されている変換アドレス(マッ
ピングテーブル)に基づき、フレームメモリ113、1
14内の各画素のデータを、指定された必要度に応じて
加算することにより出力画素のデータを生成する。映像
信号生成手段123は、画像合成手段121により生成
された出力画素のデータを映像信号として出力する。
尚、以上の処理は、例えば、入力画像信号等の適切な同
期信号に基づいて実行される。
ル参照手段122に従って、2つの異なるカメラ11
1、112から入力される画像を合成したり、画素位置
を変更したりして出力画像を生成することで、異なる複
数のカメラからの入力画像を滑らかに合成したり、仮想
視点からの映像へと変換したりすることをリアルタイム
に実現する様になっている。しかし、リアルタイムに画
像合成を行うには、画像合成に使用するマッピングテー
ブルが予めマッピングテーブル参照手段122に記録さ
れていることが必要である。
明する。マッピングテーブルを作成するためには、仮想
視点(仮想カメラの設置位置)から見た合成画像の各画
素に対応する各カメラ画像の画素の座標を決める必要が
ある。この対応を決める手順は、仮想視点からの合成画
像の各画素に対応する世界座標上での点の位置を求める
段階と、求めた世界座標上での点の位置の実カメラ上で
対応する画素の座標を求める段階の2段階に分けられ
る。
れる関係は、仮想視点の合成画像の各画素と各カメラ画
像(実画像)の画素との関係だけであり、マッピングテ
ーブルを作成する手順は、上記の世界座標上の点を経由
する方式に限定されるものではないが、この世界座標上
の点を経由するマッピングテーブルは、合成画像の実世
界での座標である世界座標系での意味付けが明確になる
ため、周囲の状況を実際の距離、位置関係と対応付けや
すい合成画像を生成する点で優れている。
yi)と仮想カメラのカメラ座標[Pi]=(Xi,Y
i,Zi)とは、次の関係にある。
w]へは、3次元の回転[Ri]、及び、並進[Ti]
によって次のように変換される。
[Pr]へは、3次元の回転[Rr]、及び、並進[T
r]によって次のように変換される。
換、ならびに、世界座標系から実カメラのカメラ座標系
への変換を模式的に図11に示す。即ち、仮想カメラの
カメラ座標系Cで表される画像Mと、実カメラのカメラ
座標系C’で表される画像M’とは、画像世界座標系O
を介して対応付けられる。
(Vxe,Vye,Vze)から、実カメラの投影面上の2次
元座標[Mr]=(xr,yr)へは、透視投影変換に
より焦点距離fvを用いて次のように変換される。
歪みを考慮して位置を補正した位置が、実カメラでの画
素の位置となる。レンズ歪みの補正には、レンズ中心か
らの距離と補正量との関係を記録したテーブルを利用し
たり、数学的な歪みモデルにより近似するなどの方式が
ある。
次元形状が未知であるため、仮想カメラの画素位置[m
i]から仮想カメラのカメラ座標[Pi]への変換の
際、[Pi]の倍率λ(λは0以外の実数)が不定とな
る。つまり、図12において、直線l上の点、例えば、
点K、点Qは全て同じ画素位置X(xi,yi)に投影
される。このため、仮想視点から見える対象物の形状に
適当な投影モデルを仮定することにより、直線l上の一
点を決定する。つまり、投影モデルと直線lとの交点を
求め世界座標上の点とする。
標系のZw=0の平面などが考えられる。このように適
当な投影モデルを設定することで、上記の手順により仮
想視点の合成画像上の各画素[Pi]と、実カメラ画像
上の画素[Pr]との対応関係が計算可能となる。
上の点の座標計算や、カメラ座標と世界座標との変換、
さらに、カメラ数が多い場合は、投影モデル上の座標が
どのカメラに映っているかの計算等、膨大な量の演算が
必要となる。
カメラ、運転支援を目的とした車載カメラ等が広く普及
するにつれて、より広い視野を持つ映像への要求が高ま
っている。このため、魚眼レンズに代表されるような超
広角レンズを用いた単独のカメラを使用した映像や、複
数のカメラで撮影した映像を合成、変換することで、あ
たかも1台のカメラで撮影したかのような映像の提供が
求められてきている。また、これら、広い視野を持つ映
像から必要な領域のみを抽出、変形して表示したり、仮
想的に設定したカメラからの映像に擬似的に変換して表
示したりするといった用途も見られるようになってきて
いる。
従来技術を適用して行うには、上述したように膨大な演
算量が必要となる。このため、リアルタイムで演算する
には、多大な演算パワーを持つ演算装置が必要となり、
実用的ではない。従って、予め演算を実行して入力画像
と出力画像との対応関係をマッピングテーブルとして記
録しておき、このマッピングテーブルを参照しながらリ
アルタイムで画像を合成、変換する方式が主流となって
いる。
置位置に依存するため、予め算出したマッピングテーブ
ルを使用するには、マッピングテーブルの算出時に使用
したカメラの設置位置と寸分違わずに実際のカメラを設
置する必要がある。しかし、これは、あまり実用的とは
いえない。また、たとえ、寸分違わずにカメラを設置し
たとしても、使用している最中に何らかの要因によって
カメラの設置位置がずれてしまった場合は、カメラを完
全に元の設置位置に戻さなければならず、これも実用的
ではない。
理的に調整することは実用的でないため、カメラ設置後
にマッピングテーブルを算出するのが好ましいといえ
る。しかし、マッピングテーブルを画像合成変換装置内
部で算出する場合、膨大な演算を実施できる高性能な演
算装置が必要となる。しかしながら、マッピングテーブ
ルを算出してしまった後は、高性能な演算装置は、普段
使用することがないため、これも実用的でないといえ
る。
テーブルを算出する場合、算出したマッピングテーブル
を外部から画像合成装置内部へ転送する必要がある。例
えば、画像合成、変換装置が車両等の機器内部に設置さ
れた場合、マッピングテーブルを転送するために普段使
用することのない専用インタフェースを機器の外部に設
置することは実用的でない。
フェースを持つ機器との兼用が予想される。この場合で
も、マッピングテーブルは(画素数)×(1画素あたり
のマップデータの容量)分のデータ転送が必要となり、
高速な転送環境が必要となる。現在、車両用のデータ転
送が可能なインタフェースとしてCAN BUSがある
が、これは制御データの転送を想定したものであり、マ
ッピングテーブルのような大きなデータを転送すること
を想定したものではなく、これも実用的とは言いがた
い。
とせずにカメラ設置後にマッピングテーブルを算出する
ことを可能とし、汎用性が高く、かつ、安価で、メンテ
ナンスの容易な画像合成変換装置を提供することにあ
る。
明の画像合成変換装置は、実画像を撮像する撮像手段か
ら入力される画像を所定の仮想視点からみた仮想画像に
変換して出力する画像変換装置であって、前記実画像上
の画素と前記仮想画像上の画素とをそれぞれ所定の投影
モデル上の点に対応付けて記録し、かつ前記仮想画像上
の画素と前記投影モデル上の点との対応を記録した第1
の記憶手段及び前記仮想画像上の画素と前記実画像上の
画素との対応を記録した第2の記憶手段と、前記撮像手
段と前記仮想視点との位置関係を入力する入力手段と、
前記第1の記憶手段の内容と前記位置関係とに応じて前
記第2の記憶手段の記録内容を書き換える演算手段とを
備えたことを特徴とする。
蔵することなく、撮像手段の設置後にマッピングテーブ
ルを算出でき、安価な構成により画像合成、変換を行う
ことが可能となる。
記撮像手段の設置位置が予め定められている場合に前記
設置位置から前記位置関係を予測して求める手段を備え
たことを特徴とし、また、前記入力手段に替えて、前記
投影モデル上の点に対する前記撮像手段の相対位置を校
正データとして求め、前記校正データに基づいて前記位
置関係を予測して求める手段を備えたことを特徴とし、
更にまた、前記入力手段に替えて、外部の校正手段によ
り求められた校正データを用いて前記仮想カメラと前記
撮像手段との位置関係を求めることを特徴とする。
さが向上し、また、何らかの要因により撮像手段の取付
位置がずれた場合でも、外部の高性能な演算装置を必要
とせずに、マッピングテーブルを作り直すことができ、
メンテナンスが容易となる。更に、校正手段を内蔵する
と、全ての処理を内部処理で完了することができ、撮像
手段の取り付け後の処理を、全て画像合成変換装置単体
で実施可能となる。
記投影モデル上の点の集合データを予測符号化により圧
縮した形式で記録する記録手段と、前記記録手段により
圧縮して記録されている前記集合データを伸張して元の
形式に戻す伸張手段とを備えたことを特徴とする。この
構成により、必要なメモリ容量を低減でき、且つ、少な
い演算によりデータを伸張することができる。
いて、図面を参照して説明する。
1の実施の形態に係る画像合成変換装置のブロック図で
ある。この画像合成変換装置は、撮像手段10と、演算
手段20と、マッピングテーブル参照手段30と、画像
合成手段40と、画像出力手段50とを備えて構成され
る。
11と、カメラ11で撮像した映像を記録するフレーム
メモリ13とを備える。撮像手段10が備えるカメラは
複数台であってもよく、この実施形態の撮像手段10は
カメラ11及びフレームメモリ13の他に、カメラ12
とフレームメモリ14を備える。
ラメータと、マッピングテーブル参照手段30により参
照して得られる予め計算された仮想カメラの画素位置に
対応する投影モデル上の3次元位置とから、出力画像の
生成に必要とする入力画像の画素位置を算出する。算出
した結果は、マッピングテーブルとしてマッピングテー
ブル参照手段30へ記録する。
ピングテーブルを記録するマッピングテーブル記録手段
31と、後述するように予め計算された仮想カメラの画
素位置に対応する投影モデル上の3次元位置を記録した
3次元座標記録手段32とを備える。本実施形態では、
この3次元座標記録手段32に記録されている投影モデ
ル上の3次元位置のデータと実カメラの設置位置とから
マッピングテーブルを算出し、算出したマッピングテー
ブルをマッピングテーブル記録手段31に記録する様に
なっている。
参照手段30を参照して出力画像の画素に対応する入力
画像を撮像手段10から読み出して、出力画像の画素を
生成する。また、画像出力手段50は、画像合成手段4
0で生成された画素から出力画像を生成して出力する。
明する。仮想視点の位置が固定であっても、画像合成手
段40が使用するマッピングテーブルは、撮像手段10
の設置位置に依存する。このため、撮像手段10を設置
した後、システムを最初に使う段階で、マッピングテー
ブルを作成する必要がある。以下では、まず最初に、マ
ッピングテーブル作成の手順を説明する。
れた仮想カメラの画素位置に対応する投影モデル上の3
次元位置が記録されている。投影モデルは、透視変換に
よる不定性を除去するために設定するモデルであり、例
えば、平面や円筒面等で規定できる。
の2つの平面を設定した例を示す図である。図2の場
合、例えば、出力画像の画素R1の位置(u1,v1)
に対応する3次元位置として、平面A上の点R1Aの座
標(x1a,y1a,z1a)が3次元座標記録手段3
2に記録され、出力画像の画素R2の位置(u2,v
2)に対応する3次元位置として、平面B上の点R2B
の座標(x2b,y2b,z2b)が3次元座標記録手
段32に記録されている。
を表す直線と投影モデル面との交点として算出されるた
め、投影モデルが曲面等の多次元の多項式で定義される
場合は、3次元座標を求める演算量は多大なものとな
る。また、図2から明らかなように、投影モデルが複数
の平面や曲面で定義される場合、仮想カメラの画像上の
画素に対応する投影モデル上の候補点が複数存在するた
め、これら複数の候補点も全て視線ベクトルを表す直線
と投影モデル面との交点として算出され、候補点の数だ
け交点を求める演算も必要となる。
として、平面A上に投影された点R1Aと、平面Bに投
影された点R1Bとが存在し、これら2つの候補点の中
から、仮想カメラに距離的に近い側の点である点R1A
を対応点としている。同様に、点R2に対応する候補点
として、平面Aに投影された点R2Aと、平面Bに投影
された点R2Bとが存在し、対応点としては、仮想カメ
ラに距離的に近い側の点である点R2Bを選択してい
る。
応点として選択するかは、モデルの定義に依存する。こ
のような、複数の候補点の中から、1つの候補点へと絞
り込む際にも、例えば、距離計算などの演算が必要とな
る。尚、候補点の算出は、従来例と同様な手順により求
める。
が、図3に示す様に、実カメラが複数台の場合も、各々
のカメラに対して同様な処理を適用し、仮想カメラの画
像上の画素に対応する各カメラ上の点を算出する。
応する投影モデル面上の点をR3a、R3b、R3cと
して示している。3次元座標記録手段32には、仮想カ
メラ上の各画素に対応する投影モデル上の対応点の3次
元位置としてR3a、R3b、R3cの座標が記録され
る。
係が予め一定の精度で予測可能な場合、投影モデル上の
対応点がいずれのカメラに対応点を持つかを計算するこ
とが可能である。例えば、監視カメラや車載カメラ等
は、監視対象等を撮像できる位置としてその設置場所が
限られてしまうのが普通であるため、仮想カメラと実カ
メラとの位置関係は予測可能であり、予測した実カメラ
の位置データを、カメラパラメータとして演算手段20
に入力し、3次元座標記録手段32の記録データを用い
てマッピングテーブルを作成することができる。
モデル上の対応点に対する実カメラの画素位置は、周知
の校正手段によって容易に計測することができるため、
この計測データを取り込めば、仮想カメラと実カメラと
の位置関係を設定することができる。尚、後述する第3
の実施の形態として、校正手段を内蔵する例を説明す
る。
上のみに対応点を持ち、点R3cは実際のカメラ12の
画像上のみに対応点を持つ。また、点R3bは、カメラ
11ならびにカメラ12の何れの画像上にも対応点を持
つ。
対して点R3aの対応点を求めたり、カメラ11に対し
て点R3cの対応点を求める演算を実施することは無駄
である。従って、例えば、3次元座標記録手段32に、
仮想カメラの画像上の画素に対応する3次元座標ととも
に、画面上に対応する画素が存在するカメラの識別符号
を記録することで、全く対応する画素の存在する可能性
のない実カメラに対しては、無用な演算を実施しないよ
うにして、マッピングテーブルの作成に要する演算量を
低減することができる。
カメラの画素から出力画像の画素を算出する際に必要と
なる各カメラの必要度も予め算出することができるた
め、必要度も同時に記録することが可能である。これに
より、必要度の演算も省略できる。各カメラの必要度
は、例えば、投影モデル面上の3次元位置から、各実カ
メラまでの距離の逆数の比を正規化するなどして求める
ことができる。必要度の意味については、画像合成手段
40の動作説明において説明する。
置では、仮想カメラ上の画素に対応する投影モデル上の
対応点の3次元位置を予め算出して3次元座標記録手段
32に記録しておくことにより、演算手段20は、3次
元座標記録手段32に記録されている3次元位置を求め
るために必要とする膨大な量の演算を実施する必要がな
くなり、実カメラの設置位置がずれた場合にも3次元座
標記録手段32のデータを使用して、高速に、新たな実
カメラ設置位置に対応したマッピングテーブルを算出す
ることが可能となる。
を参照して得られる仮想カメラの画素位置に対応する3
次元座標と、別途入力される実カメラのカメラパラメー
タとを基に、仮想カメラの画素位置に対応する実カメラ
上の画素位置を算出する。図2の場合、前述したよう
に、3次元座標記録手段32には、例えば、出力画像の
画素R1の位置(u1,v1)に対応する3次元位置と
して、平面Aの点R1Aの座標(x1a,y1a,z1
a)が、出力画像の画素R2の位置(u2,v2)に対
応する3次元位置として、平面B上の点R2Bの座標
(x2b,y2b,z2b)が記録されている。
投影される点を計算すると、点R1Aは点I1(U1,
V1)に、点R2Bは点I2(U2,V2)にそれぞれ
投影される。演算手段20は、この結果から、マッピン
グテーブルを作成し、マッピングテーブル記録手段31
へ格納する。
カメラとの位置関係が予め一定の精度で予測可能で、か
つ、3次元座標記録手段32に仮想カメラの画像上の画
素に対応する3次元座標と共に、画面上に対応する画素
が存在するカメラの識別符号が記録されている場合、演
算手段20は、識別符号が記録されているカメラに対し
てのみ、対応する画素位置を計算する。
手段20で計算された仮想カメラ上の画素と実カメラ上
の画素との対応関係を示すマッピングテーブルを記録す
る。図9は、このマッピングテーブルの説明図である。
マッピングテーブル記録手段31は、仮想カメラの画素
座標位置(u,v)と投影モデル上の座標(x,y,
z)との関係を記憶した第1の記憶手段を備え、演算手
段20は、投影モデル上の座標と実カメラの画素座標位
置(U,V)との関係をこの第1の記憶手段の記憶内容
に基づき算出し、仮想カメラの画素座標位置(u,v)
と実カメラの画素座標位置(U,V)との関係を作成し
てこれを第2の記憶手段にマッピングテーブルとして記
憶する。このマッピングテーブルには、必要に応じて、
実カメラの識別子(図9中に“C1”として例示)と、
複数のカメラが対応する場合の各カメラの必要度とが記
録される。
3次元座標記録手段32の記録データを用いてマッピン
グテーブルを作成し、マッピングテーブル記録手段31
に記録した後の動作を説明する。
2とにより撮像した画像をそれぞれフレームメモリ1
3、14へ記録する。マッピングテーブル参照手段30
は、マッピングテーブル記録手段31に記録されている
マッピングテーブルを参照して、画像合成手段40が生
成する出力画像の画素位置を、その画素に対応する入力
画像の画素位置へと変換する。出力画像の1つの画素位
置が、入力画像の複数の画素位置に対応する場合は、そ
れらの画素の必要度もマッピングテーブルから読み出
す。
ル参照手段30を参照し、生成する出力画像の画素に対
応する入力画像の画素を撮像手段10から読み出す。出
力画像の画素が1つの入力画像の画素のみに対応する場
合は、入力画素の値を画像出力手段50へと出力する。
また、対応する画素が存在しない場合は、予め定めた値
を画像出力手段50へと出力する。
複数の画素位置に対応する場合は、入力画像の画素位置
と同時に参照した各画素の必要度に応じて、それらの画
素値を合成する。単純には、必要度の逆比に応じて加算
し、出力画像の画素値とする。画像出力手段50は、画
像合成手段40で生成された出力画像の画素から出力画
像を生成し、出力する。
置では、マッピングテーブル作成処理において予め3次
元座標記録手段に記録されているデータを利用するた
め、3次元位置を求めるために必要な膨大な量の演算を
マッピングテーブル作成時に実施する必要がなくなり、
透視投影変換と歪み補正演算のみを実施するだけで済
む。
力を持たない場合であっても、撮像手段10の設置後に
マッピングテーブルを高速に生成することが可能とな
る。これにより、汎用性が高く、かつ、安価で、メンテ
ナンスの容易な画像合成変換装置を得ることが可能とな
る。
2の実施の形態に係る画像合成変換装置で用いる3次元
座標記録手段のブロック図である。この実施形態の画像
合成変換装置の全体構成とその動作については、第1の
実施の形態と同様であるのでその図示及び説明は省略
し、図4に示す第2の実施の形態に係る特徴部分につい
てのみ説明する。
め計算された仮想カメラの画素位置に対応する投影モデ
ル上の3次元位置をデータ圧縮した形式で記録する記録
手段34と、記録手段34にデータ圧縮された形式で記
録されている3次元位置を伸張して元のデータに復元す
る伸張手段33とから構成される。
して、以下、その動作を説明する。記録手段34は、予
め計算された仮想カメラの画素位置に対応する投影モデ
ル上の3次元位置を、予測符号化によりデータ圧縮した
形式で記録する。投影モデルは、一般に平面や、曲面等
の滑らかな面の集まりとして定義され、3次元位置はこ
の投影モデル面と仮想カメラの視線を表す直線との交点
として表され、仮想カメラの画面上の画素は規則正しく
並んでいる。
較的規則正しく変化することになる。このため、予測符
号化により効率の良いデータ圧縮が可能となる。例え
ば、図5に示すように、3次元位置の各成分を1つ前と
の差分を予測値とし、予測値と3次元位置の各成分との
差分(予測誤差)を圧縮データとするなどの簡単な圧縮
方法により高い圧縮率を達成できる。図5は一次元を例
示するものであるが、容易に3次元に拡張可能である。
また、予測符号化は、予測値と予測誤差との加算によっ
て元のデータを復元できるため、伸張に要する演算量は
限られたものとなり、高速に伸張処理ができる。
た形式で記録された3次元位置のデータを伸張して元の
データに復元する。このとき、先に示したように、予測
符号化を伸張する伸張手段33には、高い演算能力が必
要とされない。
実施形態では、高い演算能力を必要とせず、且つ、少な
いメモリ容量でマッピングテーブルを作成するためのデ
ータを記録できるという利点がある。このことは、画像
合成変換装置を使用中に何らかの要因によって、マッピ
ングテーブルを作り直す必要が生じた際に備えて、マッ
ピングテーブルを作成した後も、仮想カメラの画素位置
に対応する投影モデル上の3次元位置のデータを保持し
続ける時にも有利となる。
3の実施の形態に係る画像合成変換装置のブロック図で
ある。この実施形態に係る画像合成変換装置は、撮像手
段10と、演算手段20と、マッピングテーブル参照手
段30と、画像合成手段40と、画像出力手段50と、
校正手段60とを備えて構成される。マッピングテーブ
ル参照手段30の構成は、第1の実施の形態または第2
の実施の形態に係る画像合成変換装置と同様である。
た画面内の既知の世界座標上のポイントと、画面上の画
素位置とを対応付けることで、撮像手段10の校正デー
タを生成し、カメラパラメータとして演算手段20に出
力する。
たカメラパラメータと、マッピングテーブル参照手段3
0により参照して得られる予め計算された仮想カメラの
画素位置に対応する投影モデル上の3次元位置とから、
出力画像の生成に必要とする入力画像の画素位置を算出
する。算出した結果は、マッピングテーブルとしてマッ
ピングテーブル参照手段30へ記録する。
参照手段30を参照して出力画像の画素に対応する入力
画像を撮像手段10から読み出して出力画像の画素を生
成し、画像出力手段50は、画像合成手段40で生成さ
れた画素から出力画像を生成して出力する。
作は、第1の実施の形態と同様であるのでその説明は省
略し、第1の実施形態に比べて異なる校正手段60の動
作についてのみ説明する。
ある。この校正手段60は、例えば、入力画像に位置合
わせのためのマークを重畳するマーク重畳手段63と、
マークが重畳された画像を表示するモニタ64と、マー
クの表示位置を指示するコントローラ61と、マークの
位置と、既知の世界座標上のポイントの座標とからカメ
ラパラメータを算出する校正演算手段62とから構成さ
れる。
例を示す図である。モニタ64には、マーク重畳手段6
3により位置合わせ用のマークA、Bが入力画像に重畳
表示される。位置合わせ用のマークA、Bの表示位置
は、コントローラ61により制御され、コントローラ6
1からは、表示位置がマーク重畳手段63へと通知され
る。図示する例では、複数の位置合わせ用マークA、B
が存在するため、マークA、Bの夫々の番号も同時に通
知される。
である位置合わせ用ターゲットCが写してある。このと
き、図8の位置合わせ前のモニタ表示(上段)の様に、
マークA、BとターゲットCとがずれて表示された場
合、コントローラ61の操作により位置合わせ用マーク
A、Bの表示位置を移動して位置あわせ用ターゲットC
の所定のポイントと一致させ、図8の下段に示すモニタ
表示の状態とする。
ーラ61から校正演算手段62へと、マーク合わせが終
了したことを通知するとともに、そのときのマークA、
Bの表示位置も通知する。校正演算手段62では、コン
トローラ61から通知されるマークA、Bの位置と、世
界座標上の既知の座標との対応関係から、入力画像を撮
像した撮像手段10の校正を実施し、その結果得られる
カメラパラメータを演算手段20に出力する。
点数を2点としたが、この位置合わせに必要な点数は、
撮像手段10の校正で求める必要のある変数の個数に依
存する。
手段の設置後の処理を全て画像合成変換装置単体で実施
することが可能となる。これにより、撮像手段の設置位
置が制限されることがなくなり、撮像手段の設置が容易
となる。また、何らかの要因により撮像手段の取り付け
位置がずれた場合でも、外部の高性能演算装置を必要と
せずに、マッピングテーブルを作り直すことができるた
め、メンテナンスのし易さも向上する。
内蔵することなく、撮像手段の設置後にマッピングテー
ブルを算出できるため、安価な構成により画像合成、変
換を実現可能となる。
装置のブロック図
装置で用いる投影モデルによる視点変換説明図
装置で用いるマッピングテーブルにおける仮想カメラと
実カメラとの対応説明図
装置で用いる3次元座標記録手段のブロック図
装置で用いる予測符号化の説明図
装置のブロック図
装置で用いる校正手段のブロック図
装置で用いる校正手段のモニタ表示例を示す図
装置で用いるマッピングテーブル説明図
カメラ座標、世界座標の関係図
Claims (5)
- 【請求項1】 実画像を撮像する撮像手段から入力され
る画像を所定の仮想視点からみた仮想画像に変換して出
力する画像変換装置であって、前記実画像上の画素と前
記仮想画像上の画素とをそれぞれ所定の投影モデル上の
点に対応付けて記録し、かつ前記仮想画像上の画素と前
記投影モデル上の点との対応を記録した第1の記憶手段
及び前記仮想画像上の画素と前記実画像上の画素との対
応を記録した第2の記憶手段と、前記撮像手段と前記仮
想視点との位置関係を入力する入力手段と、前記第1の
記憶手段の内容と前記位置関係とに応じて前記第2の記
憶手段の記録内容を書き換える演算手段とを備えたこと
を特徴とする画像変換装置。 - 【請求項2】 前記入力手段に替えて、前記撮像手段の
設置位置が予め定められている場合に前記設置位置から
前記位置関係を予測して求める手段を備えたことを特徴
とする請求項1に記載の画像変換装置。 - 【請求項3】 前記入力手段に替えて、前記投影モデル
上の点に対する前記撮像手段の相対位置を校正データと
して求め、前記校正データに基づいて前記位置関係を予
測して求める手段を備えたことを特徴とする請求項1に
記載の画像変換装置。 - 【請求項4】 前記入力手段に替えて、外部の校正手段
により求められた校正データを用いて前記仮想カメラと
前記撮像手段との位置関係を求めることを特徴とする請
求項1に記載の画像変換装置。 - 【請求項5】 前記第1の記憶手段は、前記投影モデル
上の点の集合データを予測符号化により圧縮した形式で
記録する記録手段と、前記記録手段により圧縮して記録
されている前記集合データを伸張して元の形式に戻す伸
張手段とを備えたことを特徴とする請求項1乃至請求項
4のいずれかに記載の画像変換装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002057440A JP4021685B2 (ja) | 2002-03-04 | 2002-03-04 | 画像合成変換装置 |
US10/484,916 US7538798B2 (en) | 2002-03-04 | 2003-02-25 | Image combination/conversion apparatus |
PCT/JP2003/002077 WO2003075224A1 (fr) | 2002-03-04 | 2003-02-25 | Dispositif de combinaison/conversion d'image |
EP03743508.8A EP1482450B1 (en) | 2002-03-04 | 2003-02-25 | Image combination/conversion apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002057440A JP4021685B2 (ja) | 2002-03-04 | 2002-03-04 | 画像合成変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003256874A true JP2003256874A (ja) | 2003-09-12 |
JP4021685B2 JP4021685B2 (ja) | 2007-12-12 |
Family
ID=27784659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002057440A Expired - Lifetime JP4021685B2 (ja) | 2002-03-04 | 2002-03-04 | 画像合成変換装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7538798B2 (ja) |
EP (1) | EP1482450B1 (ja) |
JP (1) | JP4021685B2 (ja) |
WO (1) | WO2003075224A1 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006048451A (ja) * | 2004-08-05 | 2006-02-16 | Toshiba Corp | 周辺監視装置および俯瞰画像表示方法 |
JP2006238082A (ja) * | 2005-02-25 | 2006-09-07 | Casio Comput Co Ltd | デジタルカメラ及びカメラの撮影位置モニタ方法 |
JP2006338167A (ja) * | 2005-05-31 | 2006-12-14 | Techno Horon:Kk | 画像データ作成方法 |
JP2007003462A (ja) * | 2005-06-27 | 2007-01-11 | Toyota Motor Corp | 視線認識装置、及び視線認識方法 |
WO2008020516A1 (fr) | 2006-08-18 | 2008-02-21 | Panasonic Corporation | dispositif de traitement d'image embarqué et son procédé de génération d'informations de conversion de point de vue |
JP2008516318A (ja) * | 2004-10-08 | 2008-05-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 時間的に変わるグラフィックモデルを表すデータストリームの符号化方法 |
JP2009172122A (ja) * | 2008-01-24 | 2009-08-06 | Brother Ind Ltd | ミシン |
JP2012216962A (ja) * | 2011-03-31 | 2012-11-08 | Takenaka Komuten Co Ltd | 監視装置及びプログラム |
WO2013136933A1 (ja) | 2012-03-16 | 2013-09-19 | 株式会社イシダ | 組合せ計量装置 |
JP2016213574A (ja) * | 2015-04-30 | 2016-12-15 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
CN107665483A (zh) * | 2017-09-27 | 2018-02-06 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 |
JP2019054439A (ja) * | 2017-09-15 | 2019-04-04 | アイシン精機株式会社 | 画像処理装置 |
JP7514125B2 (ja) | 2020-07-06 | 2024-07-10 | 日本放送協会 | 画像処理装置およびそのプログラム |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4021685B2 (ja) | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
US7782374B2 (en) * | 2005-03-03 | 2010-08-24 | Nissan Motor Co., Ltd. | Processor and processing method for generating a panoramic image for a vehicle |
JP5144260B2 (ja) * | 2005-07-11 | 2013-02-13 | シャープ株式会社 | 映像送信装置、映像表示装置、映像送信方法、及び映像表示方法 |
US20070016372A1 (en) * | 2005-07-14 | 2007-01-18 | Gm Global Technology Operations, Inc. | Remote Perspective Vehicle Environment Observation System |
WO2007038330A2 (en) * | 2005-09-22 | 2007-04-05 | 3M Innovative Properties Company | Artifact mitigation in three-dimensional imaging |
JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
US7742624B2 (en) * | 2006-04-25 | 2010-06-22 | Motorola, Inc. | Perspective improvement for image and video applications |
JP5159070B2 (ja) * | 2006-08-31 | 2013-03-06 | アルパイン株式会社 | 車両周辺画像表示装置及び表示方法 |
JP4257356B2 (ja) * | 2006-09-26 | 2009-04-22 | 株式会社日立製作所 | 画像生成装置および画像生成方法 |
JP4492724B2 (ja) * | 2008-03-25 | 2010-06-30 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
GB2462095A (en) * | 2008-07-23 | 2010-01-27 | Snell & Wilcox Ltd | Processing of images to represent a transition in viewpoint |
JP4811508B2 (ja) * | 2009-03-27 | 2011-11-09 | ブラザー工業株式会社 | ミシン |
US8934017B2 (en) | 2011-06-01 | 2015-01-13 | Honeywell International Inc. | System and method for automatic camera placement |
US20140192159A1 (en) * | 2011-06-14 | 2014-07-10 | Metrologic Instruments, Inc. | Camera registration and video integration in 3d geometry model |
US20130201339A1 (en) * | 2012-02-08 | 2013-08-08 | Honeywell International Inc. | System and method of optimal video camera placement and configuration |
EP2887029B1 (de) * | 2013-12-20 | 2016-03-09 | Multipond Wägetechnik GmbH | Befüllungsvorrichtung und Verfahren zum Erfassen einer Befüllung |
CN107180406B (zh) | 2016-03-09 | 2019-03-15 | 腾讯科技(深圳)有限公司 | 图像处理方法和设备 |
US10473772B2 (en) * | 2017-10-12 | 2019-11-12 | Ford Global Technologies, Llc | Vehicle sensor operation |
US20180095475A1 (en) * | 2017-11-22 | 2018-04-05 | GM Global Technology Operations LLC | Systems and methods for visual position estimation in autonomous vehicles |
JP2019103067A (ja) * | 2017-12-06 | 2019-06-24 | キヤノン株式会社 | 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム |
JP7313811B2 (ja) * | 2018-10-26 | 2023-07-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN110335360B (zh) | 2019-05-24 | 2020-12-25 | 深圳大学 | 三维元素布局可视化方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334703A (ja) * | 1994-06-10 | 1995-12-22 | Susumu Tate | 3次元映像処理装置及び方法 |
JPH1097642A (ja) * | 1996-09-20 | 1998-04-14 | Canon Inc | 画像処理方法及び装置及び記憶媒体 |
JPH10198824A (ja) * | 1996-11-14 | 1998-07-31 | Fujitsu Ltd | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
WO2000007373A1 (fr) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Procede et appareil d'affichage d'images |
JP2000215311A (ja) * | 1999-01-21 | 2000-08-04 | Nippon Telegr & Teleph Corp <Ntt> | 仮想視点画像生成方法およびその装置 |
WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
JP2001347909A (ja) * | 2000-04-05 | 2001-12-18 | Matsushita Electric Ind Co Ltd | 運転操作補助方法および装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07311857A (ja) * | 1994-05-16 | 1995-11-28 | Fujitsu Ltd | 画像合成表示装置およびシミュレーションシステム |
US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
EP0838068B1 (en) * | 1995-07-10 | 2005-10-26 | Sarnoff Corporation | Method and system for rendering and combining images |
US6081273A (en) * | 1996-01-31 | 2000-06-27 | Michigan State University | Method and system for building three-dimensional object models |
US6184892B1 (en) * | 1996-11-14 | 2001-02-06 | Fujitsu Limited | Image production processing apparatus and structural data generating apparatus for generating structural data used in the image production processing apparatus |
US6124862A (en) * | 1997-06-13 | 2000-09-26 | Anivision, Inc. | Method and apparatus for generating virtual views of sporting events |
JP3624769B2 (ja) * | 1999-09-30 | 2005-03-02 | 株式会社豊田自動織機 | 車両後方監視装置用画像変換装置 |
JP3632563B2 (ja) * | 1999-10-19 | 2005-03-23 | 株式会社豊田自動織機 | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
JP4370672B2 (ja) * | 2000-04-11 | 2009-11-25 | ソニー株式会社 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
US6573912B1 (en) * | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
US20020122117A1 (en) * | 2000-12-26 | 2002-09-05 | Masamichi Nakagawa | Camera device, camera system and image processing method |
JP3645196B2 (ja) * | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
JP4021685B2 (ja) | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
-
2002
- 2002-03-04 JP JP2002057440A patent/JP4021685B2/ja not_active Expired - Lifetime
-
2003
- 2003-02-25 EP EP03743508.8A patent/EP1482450B1/en not_active Expired - Lifetime
- 2003-02-25 US US10/484,916 patent/US7538798B2/en active Active
- 2003-02-25 WO PCT/JP2003/002077 patent/WO2003075224A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334703A (ja) * | 1994-06-10 | 1995-12-22 | Susumu Tate | 3次元映像処理装置及び方法 |
JPH1097642A (ja) * | 1996-09-20 | 1998-04-14 | Canon Inc | 画像処理方法及び装置及び記憶媒体 |
JPH10198824A (ja) * | 1996-11-14 | 1998-07-31 | Fujitsu Ltd | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
WO2000007373A1 (fr) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Procede et appareil d'affichage d'images |
JP2000215311A (ja) * | 1999-01-21 | 2000-08-04 | Nippon Telegr & Teleph Corp <Ntt> | 仮想視点画像生成方法およびその装置 |
WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
JP2001347909A (ja) * | 2000-04-05 | 2001-12-18 | Matsushita Electric Ind Co Ltd | 運転操作補助方法および装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006048451A (ja) * | 2004-08-05 | 2006-02-16 | Toshiba Corp | 周辺監視装置および俯瞰画像表示方法 |
JP2008516318A (ja) * | 2004-10-08 | 2008-05-15 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 時間的に変わるグラフィックモデルを表すデータストリームの符号化方法 |
JP2006238082A (ja) * | 2005-02-25 | 2006-09-07 | Casio Comput Co Ltd | デジタルカメラ及びカメラの撮影位置モニタ方法 |
JP4552131B2 (ja) * | 2005-02-25 | 2010-09-29 | カシオ計算機株式会社 | デジタルカメラ、デジタルカメラの制御方法及びプログラム |
JP4548228B2 (ja) * | 2005-05-31 | 2010-09-22 | 株式会社テクノホロン | 画像データ作成方法 |
JP2006338167A (ja) * | 2005-05-31 | 2006-12-14 | Techno Horon:Kk | 画像データ作成方法 |
JP2007003462A (ja) * | 2005-06-27 | 2007-01-11 | Toyota Motor Corp | 視線認識装置、及び視線認識方法 |
JP4742695B2 (ja) * | 2005-06-27 | 2011-08-10 | トヨタ自動車株式会社 | 視線認識装置、及び視線認識方法 |
JP2008048266A (ja) * | 2006-08-18 | 2008-02-28 | Matsushita Electric Ind Co Ltd | 車載画像処理装置及びその視点変換情報生成方法 |
WO2008020516A1 (fr) | 2006-08-18 | 2008-02-21 | Panasonic Corporation | dispositif de traitement d'image embarqué et son procédé de génération d'informations de conversion de point de vue |
JP2009172122A (ja) * | 2008-01-24 | 2009-08-06 | Brother Ind Ltd | ミシン |
US8267024B2 (en) | 2008-01-24 | 2012-09-18 | Brother Kogyo Kabushiki Kaisha | Sewing machine and computer-readable medium storing control program executable on sewing machine |
JP2012216962A (ja) * | 2011-03-31 | 2012-11-08 | Takenaka Komuten Co Ltd | 監視装置及びプログラム |
WO2013136933A1 (ja) | 2012-03-16 | 2013-09-19 | 株式会社イシダ | 組合せ計量装置 |
US9417115B2 (en) | 2012-03-16 | 2016-08-16 | Ishida Co., Ltd. | Combination weighing device with imaging system |
JP2016213574A (ja) * | 2015-04-30 | 2016-12-15 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
JP2019054439A (ja) * | 2017-09-15 | 2019-04-04 | アイシン精機株式会社 | 画像処理装置 |
JP7013751B2 (ja) | 2017-09-15 | 2022-02-01 | 株式会社アイシン | 画像処理装置 |
CN107665483A (zh) * | 2017-09-27 | 2018-02-06 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 |
JP7514125B2 (ja) | 2020-07-06 | 2024-07-10 | 日本放送協会 | 画像処理装置およびそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1482450B1 (en) | 2018-12-19 |
US7538798B2 (en) | 2009-05-26 |
EP1482450A4 (en) | 2009-12-16 |
EP1482450A1 (en) | 2004-12-01 |
US20040201587A1 (en) | 2004-10-14 |
JP4021685B2 (ja) | 2007-12-12 |
WO2003075224A1 (fr) | 2003-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003256874A (ja) | 画像合成変換装置 | |
JP7164706B2 (ja) | 画像繋ぎ合わせ方法及び装置、車載画像処理装置、電子機器、記憶媒体 | |
JP5013773B2 (ja) | 車載画像処理装置及びその視点変換情報生成方法 | |
RU2713611C2 (ru) | Способ моделирования трехмерного пространства | |
US9633266B2 (en) | Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings | |
US6445815B1 (en) | Measurement of depth image considering time delay | |
US8139114B2 (en) | Surroundings monitoring apparatus and surroundings monitoring method for reducing distortion caused by camera position displacement | |
US20100204964A1 (en) | Lidar-assisted multi-image matching for 3-d model and sensor pose refinement | |
JP2004354257A (ja) | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
JP2002228442A (ja) | 位置姿勢の決定方法及び装置並びに記憶媒体 | |
JPWO2018235300A1 (ja) | 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体 | |
US11494975B2 (en) | Method for analyzing three-dimensional model and device for analyzing three-dimensional model | |
CN114494466B (zh) | 外参标定方法、装置及设备、存储介质 | |
KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
CN113763481B (zh) | 一种移动场景中多相机视觉三维地图构建与自标定方法 | |
CN118052886A (zh) | 一种用于矫正无人机ar显示误差的gnss与相机外参标定方法 | |
CN114821544B (zh) | 感知信息生成方法、装置、车辆、电子设备及存储介质 | |
JPH10255071A (ja) | 画像処理システム | |
KR20200122967A (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
JPH1173492A (ja) | 座標変換方法、画像合成方法及び情報記録媒体 | |
JP2004086784A (ja) | 画像接続方法及び装置 | |
CN116228833A (zh) | 一种基于自监督单目深度估计的稠密重建方法 | |
CN117330051A (zh) | 一种实时雷达视觉融合的室内场景采集建模方法及系统 | |
KR20240044174A (ko) | 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템 | |
JP2024097690A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050228 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070426 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070720 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070927 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4021685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |