JP2021166075A - 画像の投影方法、装置、デバイス及び記憶媒体 - Google Patents
画像の投影方法、装置、デバイス及び記憶媒体 Download PDFInfo
- Publication number
- JP2021166075A JP2021166075A JP2021106266A JP2021106266A JP2021166075A JP 2021166075 A JP2021166075 A JP 2021166075A JP 2021106266 A JP2021106266 A JP 2021106266A JP 2021106266 A JP2021106266 A JP 2021106266A JP 2021166075 A JP2021166075 A JP 2021166075A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- coordinates
- parameter matrix
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 146
- 238000006243 chemical reaction Methods 0.000 claims abstract description 77
- 230000009466 transformation Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 11
- 230000003252 repetitive effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0677—Optical disk device, e.g. CD-ROM, DVD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
- B60R2011/0026—Windows, e.g. windscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B2027/0192—Supplementary details
- G02B2027/0196—Supplementary details having transparent supporting structure for display mounting, e.g. to a window or a windshield
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Analysis (AREA)
- Instrument Panels (AREA)
Abstract
【解決手段】方法は、キャリブレーション対象領域の、車両のARカメラのカメラ座標系での第1カメラ座標を取得し、キャリブレーション対象領域はARカメラの撮影範囲内に位置し、ARカメラの第1外部パラメータ行列と、車両のヘッドアップディスプレイの第2外部パラメータ行列との間の相対的変換関係を取得し、第1カメラ座標及び相対的変換関係に基づいて、ヘッドアップディスプレイの座標系でのキャリブレーション対象領域に対応する投影シンボルの第2カメラ座標を決定し、第2カメラ座標に基づいて、ヘッドアップディスプレイが投影シンボルを含む画像を投影するように制御する。
【選択図】図2
Description
キャリブレーション対象領域の、車両のARカメラのカメラ座標系での第1カメラ座標を取得するステップであって、前記キャリブレーション対象領域は、前記ARカメラの撮影範囲内にある、取得するステップと、
前記ARカメラの第1外部パラメータ行列と、前記車両のヘッドアップディスプレイの第2外部パラメータ行列との間の相対的変換関係を取得するステップと、
前記第1カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第2カメラ座標を決定するステップと、
前記第2カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御するステップと、を含む。
キャリブレーション対象領域の、車両のARカメラのカメラ座標系での第1カメラ座標を取得するものであって、前記キャリブレーション対象領域は、前記ARカメラの撮影範囲内にある第1取得モジュールと、
前記ARカメラの第1外部パラメータ行列と、前記車両のヘッドアップディスプレイの第2外部パラメータ行列との間の相対的変換関係を取得する第2取得モジュールと、
前記第1カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第2カメラ座標を決定する決定モジュールと、
前記第2カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御する処理モジュールと、を含む。
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサによって実行できる命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが第1態様のいずれかに記載の方法を実行できるように、前記少なくとも1つのプロセッサによって実行される。
キャリブレーション対象領域の、車両のARカメラのカメラ座標系での第1カメラ座標を取得するために用いられ、ただし、前記キャリブレーション対象領域は、前記ARカメラの撮影範囲内にある第1取得モジュール71と、
前記ARカメラの第1外部パラメータ行列と、前記車両のヘッドアップディスプレイの第2外部パラメータ行列との間の相対的変換関係を取得するための第2取得モジュール72と、
前記第1カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第2カメラ座標を決定するための決定モジュール73と、
前記第2カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御するための処理モジュール74と、を含む。
前記第1外部パラメータ行列と、前記車両の運転席の所定の位置に設置される第1カメラの第3外部パラメータ行列との間の第1相対的変換関係を取得するための第1取得ユニットと、
前記第2外部パラメータ行列と前記第3外部パラメータ行列との間の第2相対的変換関係を取得するための第2取得ユニットと、
前記第1相対的変換関係及び前記第2相対的変換関係に基づいて、前記相対的変換関係を取得するための第3取得ユニットと、を含む。
前記ARカメラが所定のパタンを撮影した第1画像及び前記第1カメラが前記所定のパタンを撮影した第2画像を取得するために用いられ、前記所定のパタンは、前記車両の前方に設定される第1取得サブユニットと、
前記ARカメラの第1内部パラメータ行列及び前記第1カメラの第2内部パラメータ行列を取得するための第2取得サブユニットと、
前記第1画像、前記第2画像、前記第1内部パラメータ行列及び前記第2内部パラメータ行列に基づいて、前記第1相対的変換関係を取得するための第3取得サブユニットと、を含む。
前記所定のパタンの任意の第1所定の点について、前記第1所定の点のワールド座標系での第1ワールド座標と、前記第1所定の点の、前記第1画像で対応する第1画像座標及び前記第2画像で対応する第2画像座標を取得し、
前記第1ワールド座標、前記第1画像座標及び前記第1内部パラメータ行列に基づいて、前記ARカメラの第1姿勢を取得し、
前記第1ワールド座標、前記第2画像座標及び前記第2内部パラメータ行列に基づいて、前記第1カメラの第2姿勢を取得し、
前記第1姿勢及び前記第2姿勢に基づいて、前記第1相対的変換関係を取得するために用いられる。
前記ヘッドアップディスプレイによって投影された第3画像、及び前記第1カメラが前記第3画像を撮影して得られた第4画像を取得するために用いられ、前記第3画像は前記第4画像と解像度が同じである第4取得サブユニットと、
前記第1カメラの第2内部パラメータ行列及び前記ヘッドアップディスプレイの第3内部パラメータ行列を取得するための第5取得サブユニットと、
前記第3画像、前記第4画像、前記第2内部パラメータ行列及び前記第3内部パラメータ行列に基づいて、前記第2相対的変換関係を取得するための第6取得サブユニットと、を含む。
前記第3画像の任意の第2所定の点について、前記第2所定の点のワールド座標系での第2ワールド座標と、前記第2所定の点の、前記第3画像で対応する第3画像座標及び前記第4画像で対応する第4画像座標と、を取得し、
前記第2ワールド座標、前記第3画像座標及び前記第3内部パラメータ行列に基づいて、前記ヘッドアップディスプレイの第3姿勢を取得し、
前記第2ワールド座標、前記第4画像座標及び前記第2内部パラメータ行列に基づいて、前記第1カメラの第2姿勢を取得し、
前記第3姿勢及び前記第2姿勢に基づいて、前記第2相対的変換関係を取得するために用いられる。
前記第1カメラ座標及び前記相対的変換関係に基づいて、前記ヘッドアップディスプレイの座標系での前記キャリブレーション対象領域の第3カメラ座標を決定するための決定ユニットと、
前記キャリブレーション対象領域と前記投影シンボルとの間の実景の重ね合わせ関係及び前記第3カメラ座標に基づいて、前記第2カメラ座標を決定するための処理ユニットと、を含む。
Claims (17)
- キャリブレーション対象領域の、車両のARカメラのカメラ座標系での第1カメラ座標を取得するステップであって、前記キャリブレーション対象領域は、前記ARカメラの撮影範囲内にある、取得するステップと、
前記ARカメラの第1外部パラメータ行列と、前記車両のヘッドアップディスプレイの第2外部パラメータ行列との間の相対的変換関係を取得するステップと、
前記第1カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第2カメラ座標を決定するステップと、
前記第2カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御するステップと、を含む、
画像投影方法。 - 前記ARカメラの第1外部パラメータ行列と、前記車両のヘッドアップディスプレイの第2外部パラメータ行列との間の相対的変換関係を取得するステップは、
前記第1外部パラメータ行列と、第1カメラの第3外部パラメータ行列との間の第1相対的変換関係を取得するステップであって、前記第1カメラは、前記車両の運転席の所定の位置に設置される、取得するステップと、
前記第2外部パラメータ行列と前記第3外部パラメータ行列との間の第2相対的変換関係を取得するステップと、
前記第1相対的変換関係及び前記第2相対的変換関係に基づいて、前記相対的変換関係を取得するステップと、を含む、
請求項1に記載の画像投影方法。 - 前記第1外部パラメータ行列と、第1カメラの第3外部パラメータ行列との間の第1相対的変換関係を取得するステップは、
前記ARカメラが所定のパタンを撮影した第1画像及び前記第1カメラが前記所定のパタンを撮影した第2画像を取得するステップであって、前記所定のパタンは、前記車両の前方に設定される、取得するステップと、
前記ARカメラの第1内部パラメータ行列及び前記第1カメラの第2内部パラメータ行列を取得するステップと、
前記第1画像、前記第2画像、前記第1内部パラメータ行列及び前記第2内部パラメータ行列に基づいて、前記第1相対的変換関係を取得するステップと、を含む、
請求項2に記載の画像投影方法。 - 前記第1画像、前記第2画像、前記第1内部パラメータ行列及び前記第2内部パラメータ行列に基づいて、前記第1相対的変換関係を取得するステップは、
前記所定のパタンの任意の第1所定の点について、前記第1所定の点のワールド座標系での第1ワールド座標と、前記第1所定の点の、前記第1画像で対応する第1画像座標及び前記第2画像で対応する第2画像座標を取得するステップと、
前記第1ワールド座標、前記第1画像座標及び前記第1内部パラメータ行列に基づいて、前記ARカメラの第1姿勢を取得するステップと、
前記第1ワールド座標、前記第2画像座標及び前記第2内部パラメータ行列に基づいて、前記第1カメラの第2姿勢を取得するステップと、
前記第1姿勢及び前記第2姿勢に基づいて、前記第1相対的変換関係を取得するステップと、を含む、
請求項3に記載の画像投影方法。 - 前記第2外部パラメータ行列と前記第3外部パラメータ行列との間の第2相対的変換関係を取得するステップは、
前記ヘッドアップディスプレイによって投影された第3画像、及び前記第1カメラが前記第3画像を撮影して得られた第4画像を取得するステップであって、前記第3画像は前記第4画像と解像度が同じである、取得するステップと、
前記第1カメラの第2内部パラメータ行列及び前記ヘッドアップディスプレイの第3内部パラメータ行列を取得するステップと、
前記第3画像、前記第4画像、前記第2内部パラメータ行列及び前記第3内部パラメータ行列に基づいて、前記第2相対的変換関係を取得するステップと、を含む、
請求項2〜請求項4のいずれか1項に記載の画像投影方法。 - 前記第3画像、前記第4画像、前記第2内部パラメータ行列及び前記第3内部パラメータ行列に基づいて、前記第2相対的変換関係を取得するステップは、
前記第3画像の任意の第2所定の点について、前記第2所定の点のワールド座標系での第2ワールド座標と、前記第2所定の点の、前記第3画像で対応する第3画像座標及び前記第4画像で対応する第4画像座標を取得するステップと、
前記第2ワールド座標、前記第3画像座標及び前記第3内部パラメータ行列に基づいて、前記ヘッドアップディスプレイの第3姿勢を取得するステップと、
前記第2ワールド座標、前記第4画像座標及び前記第2内部パラメータ行列に基づいて、前記第1カメラの第2姿勢を取得するステップと、
前記第3姿勢及び前記第2姿勢に基づいて、前記第2相対的変換関係を取得するステップと、を含む、
請求項5に記載の画像投影方法。 - 前記第1カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第2カメラ座標を決定するステップは、
前記第1カメラ座標及び前記相対的変換関係に基づいて、前記ヘッドアップディスプレイの座標系での前記キャリブレーション対象領域の第3カメラ座標を決定するステップと、
前記キャリブレーション対象領域と前記投影シンボルとの間の実景の重ね合わせ関係及び前記第3カメラ座標に基づいて、前記第2カメラ座標を決定するステップと、を含む、
請求項1〜6のいずれか1項に記載の画像投影方法。 - キャリブレーション対象領域の、車両のARカメラのカメラ座標系での第1カメラ座標を取得するためのものであって、前記キャリブレーション対象領域は、前記ARカメラの撮影範囲内にある、第1取得モジュールと、
前記ARカメラの第1外部パラメータ行列と、前記車両のヘッドアップディスプレイの第2外部パラメータ行列との間の相対的変換関係を取得するための第2取得モジュールと、
前記第1カメラ座標及び前記相対的変換関係に基づいて、前記キャリブレーション対象領域に対応する投影シンボルの、前記ヘッドアップディスプレイの座標系での第2カメラ座標を決定するための決定モジュールと、
前記第2カメラ座標に基づいて、前記ヘッドアップディスプレイが前記投影シンボルを含む画像を投影するように制御するための処理モジュールと、を含む、
画像投影装置。 - 前記第2取得モジュールは、
前記第1外部パラメータ行列と、前記車両の運転席の所定の位置に設置される第1カメラの第3外部パラメータ行列との間の第1相対的変換関係を取得するための第1取得ユニットと、
前記第2外部パラメータ行列と前記第3外部パラメータ行列との間の第2相対的変換関係を取得するための第2取得ユニットと、
前記第1相対的変換関係及び前記第2相対的変換関係に基づいて、前記相対的変換関係を取得するための第3取得ユニットと、を含む、
請求項8に記載の画像投影装置。 - 前記第1取得ユニットは、
前記ARカメラが所定のパタンを撮影した第1画像及び前記第1カメラが前記所定のパタンを撮影した第2画像を取得するためのものであって、前記所定のパタンは、前記車両の前方に設定される、第1取得サブユニットと、
前記ARカメラの第1内部パラメータ行列及び前記第1カメラの第2内部パラメータ行列を取得するための第2取得サブユニットと、
前記第1画像、前記第2画像、前記第1内部パラメータ行列及び前記第2内部パラメータ行列に基づいて、前記第1相対的変換関係を取得するための第3取得サブユニットと、を含む、
請求項9に記載の画像投影装置。 - 前記第3取得サブユニットは、
前記所定のパタンの任意の第1所定の点について、前記第1所定の点のワールド座標系での第1ワールド座標と、前記第1所定の点の、前記第1画像で対応する第1画像座標及び前記第2画像で対応する第2画像座標を取得し、
前記第1ワールド座標、前記第1画像座標及び前記第1内部パラメータ行列に基づいて、前記ARカメラの第1姿勢を取得し、
前記第1ワールド座標、前記第2画像座標及び前記第2内部パラメータ行列に基づいて、前記第1カメラの第2姿勢を取得し、
前記第1姿勢及び前記第2姿勢に基づいて、前記第1相対的変換関係を取得するために用いられる、
請求項10に記載の画像投影装置。 - 前記第2取得ユニットは、
前記ヘッドアップディスプレイによって投影された第3画像、及び前記第1カメラが前記第3画像を撮影して得られた第4画像を取得するためのものであって、前記第3画像は前記第4画像と解像度が同じである、第4取得サブユニットと、
前記第1カメラの第2内部パラメータ行列及び前記ヘッドアップディスプレイの第3内部パラメータ行列を取得するための第5取得サブユニットと、
前記第3画像、前記第4画像、前記第2内部パラメータ行列及び前記第3内部パラメータ行列に基づいて、前記第2相対的変換関係を取得するための第6取得サブユニットと、を含む、
請求項9〜11のいずれか1項に記載の画像投影装置。 - 前記第6取得サブユニットは、
前記第3画像の任意の第2所定の点について、前記第2所定の点のワールド座標系での第2ワールド座標と、前記第2所定の点の、前記第3画像で対応する第3画像座標及び前記第4画像で対応する第4画像座標を取得し、
前記第2ワールド座標、前記第3画像座標及び前記第3内部パラメータ行列に基づいて、前記ヘッドアップディスプレイの第3姿勢を取得し、
前記第2ワールド座標、前記第4画像座標及び前記第2内部パラメータ行列に基づいて、前記第1カメラの第2姿勢を取得し、
前記第3姿勢及び前記第2姿勢に基づいて、前記第2相対的変換関係を取得するために用いられる、
請求項12に記載の画像投影装置。 - 前記決定モジュールは、
前記第1カメラ座標及び前記相対的変換関係に基づいて、前記ヘッドアップディスプレイの座標系での前記キャリブレーション対象領域の第3カメラ座標を決定するための決定ユニットと、
前記キャリブレーション対象領域と前記投影シンボルとの間の実景の重ね合わせ関係及び前記第3カメラ座標に基づいて、前記第2カメラ座標を決定するための処理ユニットと、を含む、
請求項8〜13のいずれか1項に記載の画像投影装置。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサによって実行できる命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが請求項1〜7のいずれか1項に記載の画像投影方法を実行できるように、前記少なくとも1つのプロセッサによって実行される、
電子機器。 - コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項1〜7のいずれか1項に記載の画像投影方法を実行させるために用いられる、
非一時的なコンピュータ可読記憶媒体。 - コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されると、請求項1〜7のいずれか1項に記載の画像投影方法を実現する、
コンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011554180.XA CN112738487B (zh) | 2020-12-24 | 2020-12-24 | 图像投射方法、装置、设备及存储介质 |
CN202011554180.X | 2020-12-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021166075A true JP2021166075A (ja) | 2021-10-14 |
JP7222031B2 JP7222031B2 (ja) | 2023-02-14 |
Family
ID=75615463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021106266A Active JP7222031B2 (ja) | 2020-12-24 | 2021-06-28 | 画像の投影方法、装置、デバイス及び記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11715238B2 (ja) |
EP (1) | EP3889908B1 (ja) |
JP (1) | JP7222031B2 (ja) |
KR (1) | KR102555820B1 (ja) |
CN (1) | CN112738487B (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102543899B1 (ko) * | 2020-08-27 | 2023-06-20 | 네이버랩스 주식회사 | 헤드업 디스플레이 및 그 제어방법 |
CN113570671A (zh) * | 2021-06-30 | 2021-10-29 | 惠州市德赛西威智能交通技术研究院有限公司 | 鱼眼摄像头标定方法、存储介质和电子设备 |
CN113592951A (zh) * | 2021-07-14 | 2021-11-02 | 阿波罗智联(北京)科技有限公司 | 车路协同中路侧相机外参标定的方法、装置、电子设备 |
CN113409405B (zh) * | 2021-07-19 | 2024-07-05 | 江苏普衡诺信息科技有限公司 | 评估相机标定位置的方法、装置、设备和存储介质 |
CN113781575B (zh) * | 2021-08-09 | 2024-01-12 | 上海奥视达智能科技有限公司 | 一种相机参数的标定方法、装置、终端和存储介质 |
CN114100160A (zh) * | 2021-09-30 | 2022-03-01 | 成都博物馆 | 皮影戏增强展示方法、系统和可读储存介质 |
CN114332213B (zh) * | 2022-03-17 | 2022-06-17 | 中国汽车技术研究中心有限公司 | 车辆视觉传感器仿真图像投射位姿确定方法和系统 |
CN116823590A (zh) * | 2022-03-18 | 2023-09-29 | 中科寒武纪科技股份有限公司 | 数据获取方法、装置、设备及系统 |
CN114820807B (zh) * | 2022-03-24 | 2023-01-31 | 合肥的卢深视科技有限公司 | 屏幕-相机的标定方法、系统、标定设备和存储介质 |
CN114862990B (zh) * | 2022-04-22 | 2024-04-30 | 网易(杭州)网络有限公司 | 一种镜像参数获取方法、装置、电子设备及存储介质 |
CN115164823B (zh) * | 2022-05-16 | 2024-04-02 | 上海芯翌智能科技有限公司 | 一种摄像机陀螺仪信息的获取方法及设备 |
CN114897996A (zh) * | 2022-05-31 | 2022-08-12 | 上海商汤临港智能科技有限公司 | 一种车载相机的标定方法及装置、计算机设备、存储介质 |
CN115393497B (zh) * | 2022-07-29 | 2024-06-14 | 中国第一汽车股份有限公司 | 虚拟成像方法、装置、非易失性存储介质和计算机设备 |
CN116051647B (zh) * | 2022-08-08 | 2024-06-25 | 荣耀终端有限公司 | 一种相机标定方法和电子设备 |
CN118632038A (zh) * | 2023-03-07 | 2024-09-10 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、计算机可读存储介质及产品 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763640B (zh) * | 2009-12-31 | 2011-10-19 | 无锡易斯科电子技术有限公司 | 车载多目摄像机环视系统的在线标定处理方法 |
CN102861611B (zh) * | 2011-07-08 | 2014-11-19 | 中国石油天然气股份有限公司 | 一种有机骨架多孔固体酸的应用 |
CN104915327B (zh) * | 2014-03-14 | 2019-01-29 | 腾讯科技(深圳)有限公司 | 一种文本信息的处理方法及装置 |
CN107228681A (zh) | 2017-06-26 | 2017-10-03 | 上海驾馥电子科技有限公司 | 一种通过摄像头加强导航功能的导航系统 |
US11181743B2 (en) * | 2017-11-14 | 2021-11-23 | Maxell, Ltd. | Head up display apparatus and display control method thereof |
KR102436730B1 (ko) | 2017-12-06 | 2022-08-26 | 삼성전자주식회사 | 가상 스크린의 파라미터 추정 방법 및 장치 |
CN108195387B (zh) * | 2017-12-22 | 2021-06-08 | 联创汽车电子有限公司 | Ar-hud导航系统及其gps数据校验修正方法 |
TWI657409B (zh) * | 2017-12-27 | 2019-04-21 | 財團法人工業技術研究院 | 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 |
CN110322513B (zh) * | 2018-03-30 | 2022-03-04 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法、装置及电子设备 |
KR20200057414A (ko) * | 2018-11-16 | 2020-05-26 | 삼성전자주식회사 | 주행 가이드 정보를 제공하는 전자 장치 및 그 방법 |
CN109649275B (zh) | 2018-11-29 | 2020-03-20 | 福瑞泰克智能系统有限公司 | 一种基于增强现实的驾驶辅助系统及方法 |
US10928901B2 (en) * | 2018-12-04 | 2021-02-23 | Samsung Electronics Co., Ltd. | Calibration method for three-dimensional (3D) augmented reality and apparatus thereof |
CN109688392B (zh) * | 2018-12-26 | 2021-11-02 | 联创汽车电子有限公司 | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 |
CN109883439A (zh) * | 2019-03-22 | 2019-06-14 | 百度在线网络技术(北京)有限公司 | 一种车辆导航方法、装置、电子设备及存储介质 |
CN110136519B (zh) * | 2019-04-17 | 2022-04-01 | 阿波罗智联(北京)科技有限公司 | 基于arhud导航的模拟系统和方法 |
CN111405263A (zh) * | 2019-12-26 | 2020-07-10 | 的卢技术有限公司 | 一种双摄像头结合共用于增强抬头显示的方法及系统 |
CN111121815B (zh) * | 2019-12-27 | 2023-07-07 | 重庆利龙中宝智能技术有限公司 | 一种基于ar-hud导航的路径显示方法、系统及计算机存储介质 |
CN111086453A (zh) * | 2019-12-30 | 2020-05-01 | 深圳疆程技术有限公司 | 一种基于摄像头的hud增强现实显示方法、装置及汽车 |
CN111147834A (zh) * | 2019-12-31 | 2020-05-12 | 深圳疆程技术有限公司 | 一种基于增强现实抬头显示的虚拟图像标定方法 |
CN111612852B (zh) * | 2020-05-20 | 2023-06-09 | 阿波罗智联(北京)科技有限公司 | 用于验证相机参数的方法和装置 |
-
2020
- 2020-12-24 CN CN202011554180.XA patent/CN112738487B/zh active Active
-
2021
- 2021-06-17 KR KR1020210078922A patent/KR102555820B1/ko active IP Right Grant
- 2021-06-18 EP EP21180273.1A patent/EP3889908B1/en active Active
- 2021-06-21 US US17/352,858 patent/US11715238B2/en active Active
- 2021-06-28 JP JP2021106266A patent/JP7222031B2/ja active Active
Non-Patent Citations (1)
Title |
---|
FOLKER WIENTAPPER ET AL.: "A Camera-Based Calibration for Automotive Augmented Reality Head-Up-Displays", [ONLINE], JPN6022024856, 23 December 2013 (2013-12-23), ISSN: 0004804642 * |
Also Published As
Publication number | Publication date |
---|---|
EP3889908B1 (en) | 2024-07-31 |
CN112738487B (zh) | 2022-10-11 |
KR20210091070A (ko) | 2021-07-21 |
EP3889908A3 (en) | 2022-01-19 |
JP7222031B2 (ja) | 2023-02-14 |
US20210312665A1 (en) | 2021-10-07 |
US11715238B2 (en) | 2023-08-01 |
KR102555820B1 (ko) | 2023-07-14 |
EP3889908A2 (en) | 2021-10-06 |
CN112738487A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021166075A (ja) | 画像の投影方法、装置、デバイス及び記憶媒体 | |
KR102358932B1 (ko) | 시선 위치에 기초한 안정 평면 결정 | |
US9892565B2 (en) | Reprojection OLED display for augmented reality experiences | |
US9747726B2 (en) | Late stage reprojection | |
WO2018019282A1 (zh) | 双目全景图像获取方法,装置及存储介质 | |
CN109829981B (zh) | 三维场景呈现方法、装置、设备及存储介质 | |
US10482666B2 (en) | Display control methods and apparatuses | |
JP2019125929A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2023056840A1 (zh) | 三维物体的显示方法、装置、设备及介质 | |
US20230405475A1 (en) | Shooting method, apparatus, device and medium based on virtual reality space | |
CN115525152A (zh) | 图像处理方法及系统、装置、电子设备和存储介质 | |
CN111885366A (zh) | 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备 | |
CN112017242A (zh) | 显示方法及装置、设备、存储介质 | |
US20240046554A1 (en) | Presenting virtual representation of real space using spatial transformation | |
TWI831583B (zh) | 虛擬實境設備調節方法、裝置、電子設備及儲存介質 | |
CN115431764B (zh) | 一种ar标尺展示方法、装置、电子设备及存储介质 | |
EP4086102A2 (en) | Navigation method and apparatus, electronic device, readable storage medium and computer program product | |
JP2023003033A (ja) | 電子機器および電子機器の制御方法 | |
JP2022012893A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN116402878A (zh) | 光场图像处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7222031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |