JP2022011818A - 情報処理装置およびその制御方法 - Google Patents
情報処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP2022011818A JP2022011818A JP2020113194A JP2020113194A JP2022011818A JP 2022011818 A JP2022011818 A JP 2022011818A JP 2020113194 A JP2020113194 A JP 2020113194A JP 2020113194 A JP2020113194 A JP 2020113194A JP 2022011818 A JP2022011818 A JP 2022011818A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- information
- conversion
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims description 61
- 238000006243 chemical reaction Methods 0.000 claims abstract description 135
- 230000001131 transforming effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003702 image correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
Description
三次元空間を第1のカメラにより撮影して得られる第1の画像を取得する画像取得手段と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得手段と、
前記第1の画像を第1の変換情報により幾何変換して第1の変換画像を生成する画像変換手段と、
前記地図情報と前記第1の変換画像とを照合する照合手段と、
を有し、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される。
本発明に係る情報処理装置の第1実施形態として、カメラから入力される画像と地図情報とをマッチングし、カメラの位置姿勢を算出する情報処理装置について述べる。例えば、算出した位置姿勢は移動体の制御に用いられることになる。なお、位置姿勢を入力し移動体を制御する方法については公知であるため説明は省略する。
第1実施形態においては、カメラ2で撮像した画像を用いて作成した地図情報を用いて、カメラ2とは異なるカメラ1の位置姿勢を算出する。特に、カメラ毎に地図を作成する手間を削減し、高い精度で、安定して位置姿勢を算出する。
図2は、第1実施形態に係る情報処理装置100の機能構成を示す図である。上述したように、情報処理装置100は、センサ10であるカメラから入力された画像に基づいて位置姿勢を算出し、移動体の制御するために、移動体制御部(不図示)に位置姿勢を出力する。
図4は、情報処理装置100の動作を説明するフローチャートである。
以上説明したとおり第1実施形態によれば、カメラ1の画像を共通パラメータで表される変換画像にあらかじめ変換してから地図との照合を行う。このとき、地図を作成したカメラ2の歪み補正済みパラメータを共通パラメータとして用いる。このようにすることで、地図を作成したカメラと位置姿勢算出で用いるカメラが異なる場合であっても、画像と地図との照合や位置姿勢算出を、高精度で安定して行うことが可能となる。また、カメラ毎に地図を作成するという手間もなくなる。
上述の説明では、センサ10(カメラ1)はモノクロ画像を取得するモノクロカメラであるとした。しかし、センサ10としては、モノクロカメラに限定されず、カラーカメラ、ステレオカメラ、奥行カメラなどを用いることも可能である。すなわち、三次元空間を射影して得られる二次元配列情報を取得するものであれば何でもよい。なお、奥行カメラとはカメラの各画素がセンサからの奥行(デプス)値を格納したデプスマップを取得するカメラである。また、センサ10は三次元空間を射影して二次元配列に格納する構成の三次元LiDARでもよい。センサは単眼でもよいしステレオやさらに複数のカメラを備えるようにしてもよい。
第2実施形態では、ユーザが指定した設定パラメータ(例えば画角と画像サイズ)となるように共通パラメータを生成する形態について説明する。なお、第2実施形態における装置の構成は、第1実施形態(図2、図3)と同様であるため説明は省略する。また、装置の動作についても第1実施形態(図4)と同様であり、ステップS12の詳細動作が異なる。
上述したように、第2実施形態では、ユーザから設定パラメータの指定を受け付け、当該設定パラメータに適合する共通パラメータを生成する。設定パラメータの指定は、例えば、表示部26に表示されるGUIを介して受け付ける。
上述の通り、第2実施形態では、ステップS12における共通パラメータ生成の詳細動作が異なる。ステップS12で共通パラメータを生成しステップS13まで実施した後に、生成した共通パラメータで表される地図をロードする。そして、ステップS14以降の地図照合(すなわちカメラ1の位置姿勢算出)を行う。
以上説明したとおり第2実施形態によれば、ユーザは、変換後の画像を見ながら共通パラメータを設定することが出来る。例えば、カメラ1の入力画像に写る領域を最大限利用できる共通パラメータを設定したり、広角範囲を処理できる共通パラメータにしたりすることができ、ユーザの目的に応じた共通パラメータを設定することができるようになる。
上述の説明では、ユーザが入力した画像のサイズ(w,h)と垂直画角(FOV)に基づいて共通パラメータを生成したが、ユーザが入力する設定パラメータは上記に限定されない。すなわち、共通パラメータを一意に生成できる設定パラメータであれば何でもよい。例えば、垂直画角の代わりに水平画角を入力する構成としてもよい。さらに、共通パラメータc ^に含まれるパラメータ(すなわち、焦点距離および画像中心座標)を直接入力する構成としてもよい。さらに、GUI200において、表示画像240や表示部品241の変形を行うユーザ操作を受け付けるなど、インタラクティブな入力方法を利用してもよい。
第3実施形態では、複数のカメラパラメータから共通パラメータを自動生成する形態について説明する。なお、以下の説明では、カメラが撮像する画素情報量を最大限利用できるような共通パラメータを生成する場合を想定する。すなわち、画像を共通パラメータで表される変換画像に変換するときに画像領域外となる領域を最小にする。なお、第3実施形態における装置の構成は、第1実施形態(図2、図3)と同様であるため説明は省略する。また、装置の動作についても第1実施形態(図4)と同様であり、ステップS12の詳細動作が異なる。
図6は、共通パラメータ自動生成の概念を示す図である。図6では、変換画像、カメラ1、カメラ2それぞれの画像領域が示されており、図面の左から右に進むにつれて共通パラメータが調整されていることを示している。
以上説明したとおり第3実施形態によれば、各々のカメラの画素を最大限利用できる画角となる共通パラメータを生成することができる。それにより、異なるカメラで作成した地図を利用する場合においても、安定して、高い精度で位置姿勢を算出できるようになる。
上述の説明では、共通パラメータの焦点距離を調節したが、地図の照合性能が向上する方法であれば、調節するのは共通パラメータの焦点距離に限定されない。例えば、画像中心座標(cx2 ^,cy2 ^)を調節してもよい。また、変換画像の画像サイズを調整してもよい。カメラモデルが異なる場合は、各カメラモデルの各々のパラメータを調整してもよい。
第4実施形態では、共通パラメータによる変換画像を生成しない形態について説明する。すなわち、第1~第3実施形態では、カメラの入力画像から変換画像を生成していたが、第4実施形態では、変換画像に相当する入力画像上の画素を、地図照合の際の画像参照時に参照する。
第4実施形態における装置の構成は、第1実施形態(図2)から変換部16を取り除いた構成である。また、入力部15から入力画像が地図照合部18に入力され、変換情報保持部14から変換情報が地図照合部18に入力する点が第1実施形態と異なる。
第4実施形態における装置の動作についても第1実施形態(図4)からステップS15を取り除いたものとなる。また、ステップS14では、入力部15が入力画像を地図照合部18に入力する点が異なり、ステップS16では、地図照合部1が入力画像と地図保持部17が保持する地図とを照合する点で異なる。
以上説明したとおり第4実施形態によれば、画像を変換するのではなく、画像から検出した特徴点の二次元座標を共通パラメータで表される変換画像で検出された二次元座標に変換する。このようにすることで、変換した画像を保持するメモリを削減しつつ、異なるカメラで作成した地図を利用して位置姿勢を算出することができるようになる。
上述の説明では、変換情報とはリマップテーブルであった。これに限らず、変換情報は、地図照合に用いる要素を共通パラメータで表される幾何空間に変換できるものであれば良い。例えば、数式(6)の逆変換により入力画像から検出した特徴点座標を直接共通パラメータで表される二次元幾何空間の二次元座標に変換することもできる。このようにすることで、リマップテーブルにおける補間が必要ないためより高精度に二次元座標を変換することができる。
第5実施形態では、共通パラメータを用いずに作成された地図情報を、当該地図情報の作成に利用したカメラと異なるカメラで用いることを可能とする形態について述べる。具体的には、第1~第4実施形態で述べた共通パラメータを用いて作成された地図情報同様に利用可能とすべく地図情報を変換する。
図8は、第5実施形態に係る情報処理装置500の機能構成を示す図である。情報処理装置500は、地図変換部51、共通パラメータ生成部11、パラメータ保持部12、変換情報生成部13、変換情報保持部14、地図保持部17を含む。情報処理装置100と同一の参照符号を付した構成についてはほぼ同様の機能を有する。ただし、変換情報保持部14が変換情報を地図変換部51に出力すること、地図変換部51が変換情報を用いて地図情報変換を行う点が異なる。
図9は、第5実施形態における情報処理装置500の動作を説明するフローチャートである。ステップS11及びステップS12は第1実施形態と同様のため説明を省略する。ステップS13では、変換情報生成部13は、変換情報(リマップテーブル)を生成する。ここでは、地図を作成したカメラ2の歪み補正済みパラメータで表される画像座標から共通パラメータで表される変換画像座標に変換するリマップテーブルを生成する。
以上説明したとおり第5実施形態によれば、共通パラメータを用いずに作成した地図情報に含まれる特徴点の二次元座標を、共通パラメータで表される変換画像座標に変換する。このようにすることで、共通パラメータを用いずに作成された地図情報を、他のカメラでも用いることができるようになる。すなわち、第1~第4実施形態と同様に、カメラ毎に地図を再作成する手間や、共通パラメータ変更時の地図再作成の手間を減らすことができる
<変形例>
上述の説明では、地図情報に含まれる特徴点の二次元座標を、共通パラメータで表される変換画像上で検出される二次元座標に変換した。ただし、地図情報に、画像や特徴点周りのパッチといったカメラパラメータに紐づく情報が保持されている場合、画像や特徴点周りのパッチも合わせて変換してもよい。このようにすることで、マップと入力画像との特徴点マッチングや、位置姿勢計測精度が向上する。
第1実施形態によれば、カメラ1の画像を共通パラメータで表される変換画像にあらかじめ変換してから地図との照合を行う。このとき、地図を作成したカメラ2の歪み補正済みパラメータを共通パラメータとして用いる。このようにすることで、地図を作成したカメラと位置姿勢算出で用いるカメラが異なる場合であっても、画像と地図との照合や位置姿勢算出を、高精度で安定して行うことが可能となる。また、カメラ毎に地図を作成するという手間もなくなる。さらに、共通パラメータで表せられる画像への変換は、従来の歪み補正における画像補正処理(リマップ)におけるリマップテーブルを変えるだけで実現可能である。そのため、地図照合における処理時間の増加させることなく実現することができる。
共通パラメータ生成部は、三次元空間を二次元配列に投影した時に、同じ対応関係となるようになるような共通パラメータを生成する。センサにカメラを用い、カメラモデルにピンホールカメラモデルを用いる場合には、共通パラメータc ^は、焦点距離(fx ^,fy ^)および、画像中心座標(cx ^,cy ^)で表される。
第1~第5実施形態においては、地図情報を作成するカメラ2と、その地図情報を利用して位置姿勢を算出するカメラ1の2つのカメラ間で地図情報を共通して利用する方法について述べた。しかし、地図情報を利用するカメラは2つに限定されるものではなく、さらに多くのカメラで地図情報を利用してよい。また、共通パラメータも、それら複数のカメラに対して適当なパラメータを生成できる。
Claims (19)
- 三次元空間を第1のカメラにより撮影して得られる第1の画像を取得する画像取得手段と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得手段と、
前記第1の画像を第1の変換情報により幾何変換して第1の変換画像を生成する画像変換手段と、
前記地図情報と前記第1の変換画像とを照合する照合手段と、
を有し、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される
ことを特徴とする情報処理装置。 - 前記第1の変換情報は前記第1のカメラのカメラパラメータを含み、前記第2の変換情報は前記第2のカメラのカメラパラメータを含む
ことを特徴とする請求項1に記載の情報処理装置。 - 前記第2の変換情報は、前記第2のカメラにより撮影された画像に対する画角、画像中心の調整または歪み補正の少なくとも何れか一つを行う変換情報である
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記共通の幾何対応関係と前記第1のカメラのカメラパラメータとに基づいて前記第1の変換情報を生成する変換情報生成手段をさらに有する
ことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 - 前記第1の画像および前記第2の画像は、デプスマップを含む
ことを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 - 前記共通の幾何対応関係を示す共通パラメータを生成するパラメータ生成手段をさらに有する
ことを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。 - 前記パラメータ生成手段は、前記第2のカメラのカメラパラメータまたは前記第2のカメラにより撮影された画像の歪みおよびバイアスを補正した画像におけるカメラパラメータの何れか一つを選択する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記パラメータ生成手段は、前記第1の変換画像に含まれる前記第1のカメラによる撮像領域量または変換画像の画質の高さを表す度合の少なくとも一方に基づいて前記共通パラメータを生成する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記パラメータ生成手段は、ユーザにより指定されたカメラパラメータに基づいて前記共通パラメータを生成する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記パラメータ生成手段は、前記第1のカメラによる撮影範囲と前記第2のカメラによる撮影範囲とに基づいて前記共通パラメータを生成する
ことを特徴とする請求項6に記載の情報処理装置。 - 前記パラメータ生成手段は、前記第1の変換画像の範囲が前記第1のカメラによる撮影範囲と前記第2のカメラによる撮影範囲との両方に含まれるように前記共通パラメータを生成する
ことを特徴とする請求項10に記載の情報処理装置。 - 前記第1の変換画像に基づいて前記地図情報を更新する地図情報更新手段をさらに有する
ことを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。 - 三次元空間を第1のカメラにより撮影して得られる第1の画像を取得する画像取得手段と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得手段と、
前記第1の画像の特徴点と、該第1の画像の特徴点の座標を第1の変換情報により幾何変換して得られる変換座標における前記地図情報とを照合する照合手段と、
を有し、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の画像を前記第1の変換情報により変換した第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される
ことを特徴とする情報処理装置。 - 前記三次元空間を第3のカメラにより撮影して得られる第3の画像を第3の変換情報により幾何変換して得られる第3の変換画像に基づいて生成された第2の地図情報を取得する第2の地図情報取得手段と、
前記第2の地図情報を前記地図情報と共通の幾何対応関係となるよう変換し変換地図情報を生成する地図情報変換手段と、
をさらに有する
ことを特徴とする請求項1乃至13の何れか1項に記載の情報処理装置。 - 前記地図情報と前記変換地図情報とを単一の地図情報に合成する合成手段をさらに有する
ことを特徴とする請求項14に記載の情報処理装置。 - 前記照合手段は、前記照合により前記第1のカメラの位置姿勢を算出する
ことを特徴とする請求項1乃至15の何れか1項に記載の情報処理装置。 - 三次元空間を撮影する第1のカメラと接続される情報処理装置の制御方法であって、
前記第1のカメラにより得られる第1の画像を取得する画像取得工程と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得工程と、
前記第1の画像を第1の変換情報により幾何変換して第1の変換画像を生成する画像変換工程と、
前記地図情報と前記第1の変換画像とを照合する照合工程と、
を含み、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される
ことを特徴とする制御方法。 - 三次元空間を撮影する第1のカメラと接続される情報処理装置の制御方法であって、
前記第1のカメラにより得られる第1の画像を取得する画像取得工程と、
前記三次元空間を前記第1のカメラとは異なる第2のカメラにより撮影して得られる第2の画像を第2の変換情報により幾何変換して得られる第2の変換画像に基づいて生成された地図情報を取得する地図情報取得工程と、
前記第1の画像の特徴点と、該第1の画像の特徴点の座標を第1の変換情報により幾何変換して得られる変換座標における前記地図情報とを照合する照合工程と、
を含み、
前記第1の変換情報および前記第2の変換情報は、前記三次元空間と前記第1の画像を前記第1の変換情報により変換した第1の変換画像との幾何対応関係と前記三次元空間と前記第2の変換画像との幾何対応関係とが共通の幾何対応関係となるように設定される
ことを特徴とする制御方法。 - コンピュータを、請求項1乃至16の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020113194A JP7474137B2 (ja) | 2020-06-30 | 2020-06-30 | 情報処理装置およびその制御方法 |
US17/361,009 US11715218B2 (en) | 2020-06-30 | 2021-06-28 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020113194A JP7474137B2 (ja) | 2020-06-30 | 2020-06-30 | 情報処理装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022011818A true JP2022011818A (ja) | 2022-01-17 |
JP2022011818A5 JP2022011818A5 (ja) | 2023-06-15 |
JP7474137B2 JP7474137B2 (ja) | 2024-04-24 |
Family
ID=79031286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020113194A Active JP7474137B2 (ja) | 2020-06-30 | 2020-06-30 | 情報処理装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11715218B2 (ja) |
JP (1) | JP7474137B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11288842B2 (en) * | 2019-02-15 | 2022-03-29 | Interaptix Inc. | Method and system for re-projecting and combining sensor data for visualization |
KR20210036574A (ko) * | 2019-09-26 | 2021-04-05 | 삼성전자주식회사 | 자세 추정 방법 및 장치 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2004113836A1 (ja) | 2003-06-20 | 2006-08-03 | 三菱電機株式会社 | 撮影映像表示方法 |
JP5471626B2 (ja) | 2010-03-09 | 2014-04-16 | ソニー株式会社 | 情報処理装置、マップ更新方法、プログラム及び情報処理システム |
US9727793B2 (en) | 2015-12-15 | 2017-08-08 | Honda Motor Co., Ltd. | System and method for image based vehicle localization |
EP3382646A1 (en) * | 2017-03-29 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for providing calibration data, camera system and method for obtaining calibration data |
WO2019049331A1 (ja) | 2017-09-08 | 2019-03-14 | 株式会社ソニー・インタラクティブエンタテインメント | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 |
JP2019125116A (ja) | 2018-01-15 | 2019-07-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
KR102249381B1 (ko) * | 2019-11-25 | 2021-05-07 | 주식회사 스트리스 | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 |
-
2020
- 2020-06-30 JP JP2020113194A patent/JP7474137B2/ja active Active
-
2021
- 2021-06-28 US US17/361,009 patent/US11715218B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11715218B2 (en) | 2023-08-01 |
JP7474137B2 (ja) | 2024-04-24 |
US20210407113A1 (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109314753B (zh) | 使用光流生成中间视图的方法和计算机可读存储介质 | |
JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
CN107223269B (zh) | 三维场景定位方法和装置 | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP6560480B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
CN107155341B (zh) | 三维扫描系统和框架 | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
US20120069018A1 (en) | Ar process apparatus, ar process method and storage medium | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
CN106815869B (zh) | 鱼眼相机的光心确定方法及装置 | |
CN110599578A (zh) | 一种真实感三维彩色纹理重建方法 | |
JPWO2018235300A1 (ja) | 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体 | |
CN113409391A (zh) | 视觉定位方法及相关装置、设备和存储介质 | |
CN110312111A (zh) | 用于图像装置的自动校准的装置、系统和方法 | |
US11321960B2 (en) | Deep learning-based three-dimensional facial reconstruction system | |
CN109613974B (zh) | 一种大场景下的ar家居体验方法 | |
JP2022011818A (ja) | 情報処理装置およびその制御方法 | |
US10154241B2 (en) | Depth map based perspective correction in digital photos | |
JP2022039719A (ja) | 位置姿勢推定装置、位置姿勢推定方法及びプログラム | |
Cao et al. | Stereoscopic flash and no-flash photography for shape and albedo recovery | |
CN113129451A (zh) | 基于双目视觉定位的全息三维影像空间定量投影方法 | |
CN112330726B (zh) | 一种图像处理方法及装置 | |
WO2021149509A1 (ja) | 撮像装置、撮像方法、及び、プログラム | |
JP4623320B2 (ja) | 三次元形状推定システム及び画像生成システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230606 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240311 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7474137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |