JP2020126626A - Ｖ２ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置 - Google Patents

Ｖ２ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置 Download PDF

Info

Publication number
JP2020126626A
JP2020126626A JP2020006495A JP2020006495A JP2020126626A JP 2020126626 A JP2020126626 A JP 2020126626A JP 2020006495 A JP2020006495 A JP 2020006495A JP 2020006495 A JP2020006495 A JP 2020006495A JP 2020126626 A JP2020126626 A JP 2020126626A
Authority
JP
Japan
Prior art keywords
target
pitch
height
computing device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020006495A
Other languages
English (en)
Other versions
JP6890350B2 (ja
Inventor
金桂賢
Kye-Hyeon Kim
金鎔重
Yongjoong Kim
金鶴京
Hak-Kyoung Kim
南雲鉉
Woonhyun Nam
夫碩▲くん▼
Sukhoon Boo
成明哲
Myungchul Sung
申東洙
Dongsoo Shin
呂東勳
Donghun Yeo
柳宇宙
Wooju Ryu
李明春
Myeong-Chun Lee
李炯樹
Hyungsoo Lee
張泰雄
Taewoong Jang
鄭景中
Kyungjoong Jeong
諸泓模
Hongmo Je
趙浩辰
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126626A publication Critical patent/JP2020126626A/ja
Application granted granted Critical
Publication of JP6890350B2 publication Critical patent/JP6890350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)

Abstract

【課題】入力イメージの質が良くない場合でも、正確に距離を予測するための方法を提供する。【解決手段】Ｖ２Ｖ通信を介して取得した追加情報をもピッチキャリブレーションに用いる方法であって、コンピューティング装置は、初期ピッチキャリブレーションモジュールが、参照イメージにピッチ計算演算を適用して、初期予測ピッチを生成させるプロセスと、物体検出ネットワークをもって、参照イメージにニューラルネットワーク演算を適用して、参照物体検出情報を生成させるプロセスを遂行させ、調整ピッチキャリブレーションモジュールが、ターゲット物体を選択し、ターゲット物体の予測ターゲット高さを計算した後、初期予測ピッチに対応する誤差を計算した後、誤差を利用して対象カメラに対する調整予測ピッチを決定させる。【選択図】図２

Description

本発明は、自律走行車両に利用するための方法及び装置に関し、より詳細には、カメラ基盤のロバスト物体距離の予測を提供する方法及び装置に関する。
近年、自律走行技術は、将来的な技術として脚光を浴びている。何よりも、自律走行技術には周辺物体を認識し、自律走行車両と前記周辺物体との間の距離を予測することが含まれる。前記プロセスを通じて、前記自律走行技術は、前記自律走行車両が安全に走行して前記周辺物体と衝突しないようにする技術である。
従来の自律走行技術は、カメラを介して取得された入力イメージにおいて消失点（ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔ）を見出すプロセスを含む。この際、ピッチキャリブレーションは、前記入力イメージ上の前記消失点及び主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）との間の関係を利用して、前記カメラのレンズ表面に対応する一般ベクトルと地面との間の角度を計算して遂行され得る。以後、前記計算された角度を利用して、前記入力イメージに含まれている少なくとも一つの物体と前記自律走行車両との間の少なくとも一つの距離を計算することができる。
一方、前記従来の自律走行技術は、前記カメラを介して取得された前記入力イメージの質が落ちると前記距離計算の正確度が急減するという問題点を有している。前記入力イメージを基盤として前記距離が予測されるので、前記距離の予測の際に欠陥が生じるのは当然である。しかし、多くの場合、本当の問題は人が前記イメージに欠陥が生じるのを防止できないことにある。具体的に、トンネルで光が弱くなったとか、雨によって視界がぼやけるというような問題は、性能の優れたカメラを使用したり自律走行システムをうまく設計したからといって解決され得ない。
したがって、前記カメラを介して取得された前記入力イメージの質が良くない場合でも、正確に距離の計算をすることができる方法が必要となる。
本発明は、上述した問題点を解決することを目的とする。
本発明は、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する方法を提供することによって、少なくとも一つのカメラを介して取得された入力映像の質が良くない場合にも自律走行車両と周辺物体との間の距離を予測し得ることを他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信を介して取得した追加情報を使用して少なくとも一つの対象カメラのピッチキャリブレーション（ｐｉｔｃｈ ｃａｌｉｂｒａｔｉｏｎ）をさらに精巧に遂行することによって、前記対象カメラを基盤とした物体距離予測の正確度を向上させる方法において、（ａ）コンピューティング装置が、前記対象カメラを介して少なくとも一つの参照イメージを取得すると、（ｉ）初期ピッチキャリブレーションモジュールをもって、前記参照イメージに少なくとも一つのピッチ計算演算を適用して、前記対象カメラの光軸と地面との間の角度を予測して生成された値である初期予測ピッチを生成させるプロセスと、（ｉｉ）物体検出ネットワークをもって、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して、前記参照イメージに含まれている一つ以上の参照物体に関する参照物体検出情報を生成させるプロセスとを遂行させる段階；及び（ｂ）前記コンピューティング装置が、調整ピッチキャリブレーションモジュールをもって、（ｉ）前記参照物体のうち少なくとも一つのターゲット物体を選択し、（ｉｉ）前記対象カメラを搭載した対象自律車両からの前記ターゲット物体の少なくとも一つの相対位置と前記初期予測ピッチとを参照して前記ターゲット物体の少なくとも一つの予測ターゲット高さを計算した後、（ｉｉｉ）前記予測ターゲット高さと予め取得された少なくとも一つの原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ターゲット高さとを参照して、前記初期予測ピッチに対応する少なくとも一つの誤差を計算した後、（ｉｖ）前記誤差を利用して前記対象カメラに対する少なくとも一つの調整予測ピッチを決定させる段階；を含むことを特徴とする方法が開示される。
一実施例において、前記コンピューティング装置が、前記調整ピッチキャリブレーションモジュールをもって、それぞれの前記参照物体が通信可能に対応する特定クラスを有するか否かに関する第１条件を満足する一つ以上の特定の参照物体を前記参照物体の中から選択させ、（ｉ）それぞれの前記特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ ｗｉｎｄｏｗ）領域内に位置するか否かに関する第２条件、及び（ｉｉ）それぞれの前記特定の参照バウンディングボックスの縦横比（ａｓｐｅｃｔ ｒａｔｉｏ）が予測閾値未満であるか否かに関する第３条件のうち少なくとも一つを満足する前記少なくとも一つのターゲット物体を前記特定の参照物体の中から選択させることを特徴とする。
一実施例において、前記（ｂ）段階以前に、前記コンピューティング装置が、距離計算モジュールをもって、前記初期予測ピッチと、前記参照物体検出情報と、前記参照イメージとを参照して、それぞれの前記参照物体を含むそれぞれの参照バウンディングボックスの各下段部分内の地点である一つ以上の参照位置基準点それぞれを、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）して、前記参照物体と前記対象自律走行車両との間の一つ以上の縦方向地面距離と一つ以上の横方向地面距離とを計算させ、前記縦方向地面距離及び前記横方向地面距離それぞれを成分として含むそれぞれの参照相対座標を生成させることを特徴とする。
一実施例において、前記（ｂ）段階以前に、前記コンピューティング装置が、前記距離計算モジュールをもって、下記数式を参照して前記参照位置基準点を前記空間座標系にマッピングし、

前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味し、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを、(cx,cy)は前記対象カメラの主点座標（ｃｏｏｒｄｉｎａｔｅ ｏｆ ａ ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することを特徴とする。
一実施例において、前記（ｂ）段階以前に、前記コンピューティング装置が、Ｖ２Ｖ通信モジュールをもって、前記対象自律走行車両から臨界距離より近いところに位置する一つ以上の通信可能な物体と通信を行って、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得させ、前記調整ピッチキャリブレーションモジュールをもって、通信可能に対応する特定クラスを有する特定の参照物体を前記参照物体の中から選択させた後、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることを特徴とする。
一実施例において、前記（ｂ）段階で、前記コンピューティング装置が、前記ターゲット物体が選択されると、前記調整ピッチキャリブレーションモジュールをもって、前記参照相対座標のうち、前記ターゲット物体に対応するターゲット相対座標を選択させ、前記初期予測ピッチを参照して高さ予測演算を遂行して前記予測ターゲット高さを計算させ、前記高さ予測演算は下記数式を参照して遂行され、

前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することを特徴とする。
一実施例において、前記（ｂ）段階で、前記コンピューティング装置が、前記ターゲット物体の個数が１つである場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ−１）前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行させるか、（ｉｉ−２）前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行させることを特徴とする。
一実施例において、前記（ｂ）段階で、前記コンピューティング装置が、前記ターゲット物体の個数が２個以上である場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ）前記過大予測範囲に対応する過大予測誤差の割合及び前記過小予測範囲に対応する過小予測誤差の割合のうち少なくとも一つに関する情報を取得させ、（ｉｉｉ）前記取得された情報を参照して前記初期予測ピッチを調整させることを特徴とする。
一実施例において、前記（ａ）段階で、前記コンピューティング装置が、前記初期ピッチキャリブレーションモジュールをもって、前記参照イメージに前記ピッチ計算演算を適用して前記初期予測ピッチを生成させ、前記ピッチ計算演算は下記数式を参照して遂行され、

前記数式で、vyは前記参照イメージの消失点（前記消失点に関する情報は、前記参照イメージの一つ以上の線が消失する地点を見出すことによって取得される）のｙ方向座標を、cyは前記参照イメージの主点のｙ方向座標を、そしてfyは前記参照イメージの焦点のｙ方向座標を意味することを特徴とする。
一実施例において、前記（ａ）段階で、前記コンピューティング装置が、（ｉ）前記物体検出ネットワークに含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させ、（ｉｉ）前記物体検出ネットワークに含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップにおいて前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させた後、（ｉｉｉ）前記物体検出ネットワークに含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることを特徴とする。
一実施例において、（ｃ）前記コンピューティング装置が、前記物体検出ネットワーク及び前記距離計算モジュールをもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させる段階；をさらに含むことを特徴とする。
本発明の他の態様によると、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信を介して取得した追加情報を使用して少なくとも一つの対象カメラのピッチキャリブレーション（ｐｉｔｃｈ ｃａｌｉｂｒａｔｉｏｎ）をさらに精巧に遂行することによって、前記対象カメラを基盤とした物体距離予測の正確度を向上させるコンピューティング装置において、各インストラクションを格納する一つ以上のメモリと、（Ｉ）前記対象カメラを介して少なくとも一つの参照イメージを取得すると、（ｉ）初期ピッチキャリブレーションモジュールをもって、前記参照イメージに少なくとも一つのピッチ計算演算を適用して、前記対象カメラの光軸と地面との間の角度を予測して生成された値である初期予測ピッチを生成させるプロセス、（ｉｉ）物体検出ネットワークをもって、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して、前記参照イメージに含まれている一つ以上の参照物体に関する参照物体検出情報を生成させるプロセスを遂行させるプロセス、及び（ＩＩ）調整ピッチキャリブレーションモジュールをもって、（ｉ）前記参照物体のうち少なくとも一つのターゲット物体を選択し、（ｉｉ）前記対象カメラを搭載した対象自律車両からの前記ターゲット物体の少なくとも一つの相対位置と前記初期予測ピッチとを参照して前記ターゲット物体の少なくとも一つの予測ターゲット高さを計算した後、（ｉｉｉ）前記予測ターゲット高さと予め取得された少なくとも一つの原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ターゲット高さとを参照して、前記初期予測ピッチに対応する少なくとも一つの誤差を計算した後、（ｉｖ）前記誤差を利用して前記対象カメラに対する少なくとも一つの調整予測ピッチを決定させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするコンピューティング装置が開示される。
一実施例において、前記プロセッサが、前記調整ピッチキャリブレーションモジュールをもって、それぞれの前記参照物体が通信可能に対応する特定クラスを有するか否かに関する第１条件を満足する一つ以上の特定の参照物体を前記参照物体の中から選択させ、（ｉ）それぞれの前記特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ ｗｉｎｄｏｗ）領域内に位置するか否かに関する第２条件、及び（ｉｉ）それぞれの前記特定の参照バウンディングボックスの縦横比（ａｓｐｅｃｔ ｒａｔｉｏ）が予測閾値未満であるか否かに関する第３条件のうち少なくとも一つを満足する前記少なくとも一つのターゲット物体を前記特定の参照物体の中から選択させることを特徴とする。
一実施例において、前記（ＩＩ）プロセス以前に、前記プロセッサが、距離計算モジュールをもって、前記初期予測ピッチと、前記参照物体検出情報と、前記参照イメージとを参照して、それぞれの前記参照物体を含むそれぞれの参照バウンディングボックスの各下段部分内の地点である一つ以上の参照位置基準点それぞれを、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）して、前記参照物体と前記対象自律走行車両との間における一つ以上の縦方向地面距離と一つ以上の横方向地面距離とを計算させ、前記縦方向地面距離及び前記横方向地面距離それぞれを成分として含むそれぞれの参照相対座標を生成させることを特徴とする。
一実施例において、前記（ＩＩ）プロセス以前に、前記プロセッサが、前記距離計算モジュールをもって、下記数式を参照して前記参照位置基準点を前記空間座標系にマッピングし、

前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味し、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを、(cx,cy)は前記対象カメラの主点座標を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することを特徴とする。
一実施例において、前記（ＩＩ）プロセス以前に、前記プロセッサが、Ｖ２Ｖ通信モジュールをもって、前記対象自律走行車両から臨界距離より近いところに位置する一つ以上の通信可能な物体と通信を行って、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得させ、前記調整ピッチキャリブレーションモジュールをもって、通信可能に対応する特定クラスを有する特定の参照物体を前記参照物体の中から選択させた後、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標、及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記ターゲット物体が選択されると、前記調整ピッチキャリブレーションモジュールをもって、前記参照相対座標のうち前記ターゲット物体に対応するターゲット相対座標を選択させ、前記初期予測ピッチを参照して高さ予測演算を遂行して前記予測ターゲット高さを計算させ、前記高さ予測演算は下記数式を参照して遂行され、

前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記ターゲット物体の個数が１つである場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ−１）前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行させるか、（ｉｉ−２）前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行させることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記ターゲット物体の個数が２個以上である場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ）前記過大予測範囲に対応する過大予測誤差の割合及び前記過小予測範囲に対応する過小予測誤差の割合のうち少なくとも一つに関する情報を取得させ、（ｉｉｉ）前記取得された情報を参照して前記初期予測ピッチを調整させることを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記初期ピッチキャリブレーションモジュールをもって、前記参照イメージに前記ピッチ計算演算を適用して前記初期予測ピッチを生成させ、前記ピッチ計算演算は下記数式を参照して遂行され、

前記数式で、vyは前記参照イメージの消失点（前記消失点に関する情報は、前記参照イメージの一つ以上の線が消失する地点を見出すことによって取得される）のｙ方向座標を、cyは前記参照イメージの主点のｙ方向座標を、そしてfyは前記参照イメージの焦点のｙ方向座標を意味することを特徴とする。
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記物体検出ネットワークに含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させ、（ｉｉ）前記物体検出ネットワークに含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップにおいて前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させた後、（ｉｉｉ）前記物体検出ネットワークに含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることを特徴とする。
一実施例において、前記プロセッサが、（ＩＩＩ）前記物体検出ネットワーク及び前記距離計算モジュールをもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させるプロセスをさらに遂行することを特徴とする。
これ以外にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明は、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する方法を提供することによって、少なくとも一つのカメラを介して取得された入力映像の質が良くない場合にも自律走行車両と周辺物体との間の距離を予測し得るようにする効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこのような図面に基づいて他の各図面が得られ得る。
本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するコンピューティング装置の構成を概略的に示した図面である。 本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する方法を概略的に示したフローチャートである。 本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するのに使用される初期予測ピッチを計算する方法を概略的に示した図面である。 本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するのに使用されるターゲット物体の予測ターゲット高さを計算する方法を概略的に示した図面である。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。このような実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するコンピューティング装置の構成を概略的に示した図面である。
図１を参照すると、前記コンピューティング装置１００は、追って詳細に説明する成分である、少なくとも一つのＶ２Ｖ通信モジュール１３０と、少なくとも一つの初期ピッチキャリブレーションモジュール１４０と、少なくとも一つの調整ピッチキャリブレーションモジュール１５０と、少なくとも一つの距離計算モジュール１６０と、少なくとも一つの物体検出ネットワーク１７０とを含むことができる。この場合、前記Ｖ２Ｖ通信モジュール１３０、前記初期ピッチキャリブレーションモジュール１４０、前記調整ピッチキャリブレーションモジュール１５０、前記距離計算モジュール１６０及び前記物体検出ネットワーク１７０の入出力及び演算過程は、少なくとも一つの通信部１２０と少なくとも一つのプロセッサ１１０とによってそれぞれ行われ得る。ただし、図１では前記通信部１２０及び前記プロセッサ１１０の具体的な通信構造図を省略した。この場合、メモリ１１５は、後述する様々なインストラクションを格納した状態であり得、前記プロセッサ１１０は、前記メモリ１１５に格納された各インストラクションを遂行するように設定され、追って説明する前記各インストラクションを遂行することによって本発明のプロセスを遂行することができる。このように、前記コンピューティング装置１００が描写されたからといって、前記コンピューティング装置１００がプロセッサ、メモリ、媒体又はその他の演算要素を含む統合装置を排除するわけではない。
本発明において、前記コンピューティング装置１００は、本発明の方法を使用してキャリブレーションされる、対象カメラを含む対象自律走行車両と連動して遂行することができる。この場合、前記コンピューティング装置１００は、前記対象自律走行車両に直接搭載され得るか、前記対象自律走行車両と通信する中央サーバに搭載され得もする。
以上、本発明の一実施例にしたがって、前記Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する前記コンピューティング装置１００の構成について説明したところ、以下、本発明にしたがって前記カメラ基盤の物体距離予測方法について図２を参照して説明することにする。
図２は、本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する方法を概略的に示したフローチャートである。
図２を参照すると、参照イメージが前記対象カメラを介して取得されると、前記初期ピッチキャリブレーションモジュール１４０と前記物体検出ネットワーク１７０とによる演算がそれぞれ遂行され、前記演算のそれぞれの結果（前記初期ピッチキャリブレーションモジュール１４０からの初期予測ピッチと前記物体検出ネットワーク１７０からの参照物体検出情報）及び前記参照イメージは、前記距離計算モジュール１６０に独立して入力されて、前記対象自律走行車両に対する、前記参照イメージに含まれている一つ以上の参照物体のうち一つ以上の参照相対座標を予測することができる。このような過程と並列して、前記コンピューティング装置１００の前記Ｖ２Ｖ通信モジュール１３０は、前記Ｖ２Ｖ通信を介して通信可能な物体と通信して、臨界距離より近くに位置する前記通信可能な物体に関する物体情報を取得することができる。この際、前記参照座標に関する情報及び前記通信可能な物体に関する情報は、前記調整ピッチキャリブレーションモジュール１５０に伝送され得る。以後、前記対象カメラの調整予測ピッチは、前記調整ピッチキャリブレーションモジュール１５０の演算を通じて計算された後、前記自律走行車両と周辺物体との間の正確な距離は正確に計算され得る。
より具体的に、前記コンピューティング装置１００は、前記初期ピッチキャリブレーションモジュール１４０をもって、前記対象カメラを介して取得された前記参照イメージを利用して、前記対象カメラの光軸と地面との間の角度である前記初期予測ピッチを計算させることができる。このような過程は、前記参照イメージ上の消失点と主点と焦点との間の関係を利用して遂行され得る。図３を参照して、このような過程について詳細に説明することにする。
図３は、本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するのに使用される初期予測ピッチを計算する方法を概略的に示した図面である。
図３を参照すると、前記初期予測ピッチが計算される原理を知ることができる。前記消失点である(vx,vy)は、前記対象カメラの水平移動によっては変わらず、前記対象カメラの回転移動によってのみ変わる点であるので、前記参照イメージ上の前記消失点、前記焦点及び前記主点の位置に関する情報を利用して、前記対象カメラの前記初期予測ピッチを計算することができる。
具体的に、前記コンピューティング装置１００は、前記初期ピッチキャリブレーションモジュール１４０をもって、前記参照イメージ上の線が集まる地点である前記消失点の座標を検出させることができる。以後、前記コンピューティング装置１００は、前記初期ピッチキャリブレーションモジュール１４０をもって、予め取得された前記消失点、前記焦点及び前記主点の座標に関する情報を利用して前記初期予測ピッチを計算させることができる。一例として、前記消失点の座標が(vx,vy)であり、前記焦点の座標が(fx,fy)であり、前記主点の座標が(cx,cy)であれば、前記初期予測ピッチの値は下記数式によって計算され得る。
このような計算と並列して、前記対象カメラを介して取得された前記参照イメージは、前記物体検出ネットワーク１７０に伝送され得る。前記物体検出ネットワーク１７０は、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して前記参照イメージ上の前記参照物体を検出した後、前記参照物体に関する情報を含む前記参照物体検出情報を生成することができる。この際、前記物体検出ネットワーク１７０は、ＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）に対応して支援され得る。
具体的に、前記コンピューティング装置１００が、前記物体検出ネットワーク１７０に含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させることができ、前記物体検出ネットワーク１７０に含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップで前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させることができる。以後、前記コンピューティング装置１００は、前記物体検出ネットワーク１７０に含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることができる。
前記初期予測ピッチが前記初期ピッチキャリブレーションモジュール１４０により計算され、前記参照物体検出情報が前記物体検出ネットワーク１７０により生成されると、これらは前記距離計算モジュール１６０に伝送される。以後、前記コンピューティング装置１００は、前記距離計算モジュール１６０をもって、前記初期予測ピッチを利用して、前記参照物体及び前記対象自律走行車両それぞれの間における一つ以上の縦方向地面距離それぞれ及び一つ以上の横方向地面距離それぞれを計算することによって、前記参照相対座標を生成させることができる。
具体的には、前記コンピューティング装置１００が、前記距離計算モジュール１６０をもって、それぞれの前記参照物体を含む各参照バウンディングボックスの各下段部分にある地点である、それぞれの一つ以上の参照位置基準点を見出すようにすることができる。この場合、前記参照位置基準点は、前記下段部分の中間に位置する地点であり得、本発明の範囲はこれに限定されない。以後、前記コンピューティング装置１００は、前記距離計算モジュール１６０をもって、前記参照位置基準点を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）させることができる。このようなマッピング過程は、下記数式を参照して行われ得る。
前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味することができる。また、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを意味することができる。また、(cx,cy)は前記対象カメラの主点座標（ｃｏｏｒｄｉｎａｔｅ ｏｆ ａ ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することができる。追って参照する図４を検討してみると、Z1が前記数式により計算される方式を見ることができる。φ1は対象カメラの光軸と、前記対象カメラと(X1,Z1)とをつなぐ線との間の角度を意味するものであって、前記数式を利用して計算され得る。φ1とθとを導き出したので、三角関数（ｔｒｉｇｏｎｏｍｅｔｒｉｃ ｆｕｎｃｔｉｏｎ）を使用してZ1を計算することができる。
また、このような過程と並列して、前記コンピューティング装置１００は、前記Ｖ２Ｖ通信モジュール１３０をもって、前記対象自律走行車両から臨界距離以内に位置する、車両及びバイクなどのＶ２Ｖ通信が可能な前記通信可能な物体と通信することができる。この場合、前記Ｖ２Ｖ通信を具現するために、４Ｇ通信、５Ｇ通信、又は車両間のラジオ通信等、どのような通信技術であっても適用することができる。このようなＶ２Ｖ通信を介して、前記Ｖ２Ｖ通信モジュール１３０は、前記通信可能な物体に対する、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得することができる。前記通信可能な物体原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）高さは、前記初期予測ピッチを調整するのに使用され得る。
以後、前記Ｖ２Ｖ通信モジュール１３０を介して取得された前記通信可能な物体に関する前記情報と、前記距離計算モジュール１６０により計算された前記参照相対座標と、前記物体検出ネットワーク１７０により生成された前記参照物体検出情報とは、前記調整ピッチキャリブレーションモジュール１５０に伝送され得る。
前記コンピューティング装置１００が、前記調整ピッチキャリブレーションモジュール１５０をもって、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標、及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を、前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることができる。この場合、前記特定の参照物体は、前記参照物体群及び前記通信可能な物体群に含まれている物体であり得る。より具体的に、前記通信可能な物体相対座標を前記参照相対座標と比較して、前記通信可能な物体相対座標と前記参照相対座標との間の類似点数を計算することができ、閾値より高い特定の類似点数を見出し、前記特定の類似点数に対応する前記ペアを選択して、前記特定の参照物体及び前記通信可能な物体の原本正解高さをペアリング（ｐａｉｒｉｎｇ）することができる。
一方、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを調整するのに使用される少なくとも一つのターゲット物体を選択させることができる。前記ターゲット物体は、前記参照イメージ上の前記参照物体のうち少なくとも一部であり得、それぞれの前記参照物体が通信可能に対応する特定クラスを有するのかに関する第１条件を満足しなければならない。前記ターゲット物体に対応する原本正解ターゲット高さは、前記Ｖ２Ｖ通信を介して取得された前記通信可能な物体原本正解高さから取得されなければならないため、前記第１条件が満足されなければならない。加えて、前記ターゲット物体は、第２条件及び第３条件のうち少なくとも一部を満足することができる。この場合、前記第２条件は、前記第１条件を満足するそれぞれの特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ ｗｉｎｄｏｗ）領域内に位置するか否かに関する条件に対応することができる。また、前記第３条件は、それぞれの前記特定の参照バウンディングボックスの各縦横比（ａｓｐｅｃｔ ｒａｔｉｏ）が予測閾値未満であるか否かに関する条件に対応することができる。
前記第２条件において、前記イラストレーションウィンドウ領域が提示される。前記特定の参照バウンディングボックスのうち一つが前記イラストレーションウィンドウ領域に位置する場合、これに対応する物体の全体部分は、前記特定の参照バウンディングボックスのうち一つに含まれ得る。これと反対に、前記特定の参照バウンディングボックスのうち一つが前記イラストレーションウィンドウ領域に位置しない場合、これに対応する物体のうち一部のみが前記特定の参照バウンディングボックスのうち一つに含まれ得る。つまり、前記イラストレーションウィンドウ領域は、前記参照イメージに含まれている前記特定の参照バウンディングボックスの側面が前記参照イメージの前記境界線に接しない、前記参照イメージの境界線から遠い、前記参照イメージの中間領域であり得る。対応する特定の参照バウンディングボックスが前記イラストレーションウィンドウ領域に位置せず、前記特定の参照物体の全体部分を含まない、特定の参照物体のうち一つが前記ターゲット物体として選択される場合、前記初期予測ピッチを調整する過程に関する誤差をもたらし得るため、前記第２条件は必要である。
前記第３条件において、前記予測閾値が提示される。前記予測閾値は、前記対象自律走行車両から左右に過度に遠く離れていない前記特定の参照物体のうち一つを、前記ターゲット物体として選択するのに使用される。前記特定の参照物体のうち一つが前記対象自律走行車両から左右に過度に遠く離れている場合、これに対応する特定の参照バウンディングボックスは大きな縦横比を有することができる。したがって、前記特定の参照バウンディングボックスの縦横比を前記予測閾値と比較して、前記対象自律走行車両から左右に過度に遠く離れた前記特定の参照物体のうち一部は、前記ターゲット物体として選択されるものから除外され得る。前記特定の参照物体のうち一部が除外されなければならない理由は、前記特定の参照物体のうち一部が前記ターゲット物体として選択されれば、歪曲した状態で前記参照イメージ上に現れるため、前記初期予測ピッチを調整する過程で誤差が発生し得るからである。したがって、前記第２条件が必要である。
以後、前記ターゲット物体が決定されると、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記参照相対座標のうち前記ターゲット物体に対応する一つを選択してターゲット相対座標を取得させ、前記特定の参照原本正解高さのうち前記ターゲット物体に対応する一つを選択して原本正解ターゲット高さを取得させることができる。前記ターゲット相対座標及び前記原本正解ターゲット高さに関する情報を取得した後、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、予測ターゲット高さを生成させることができる。前記ターゲット物体に対する前記予測ターゲット高さを計算する方法は、以下で説明することにする。
具体的に、前記予測ターゲット高さは、下記数式によって、高さ予測演算を遂行することで計算され得る。
前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することができる。この場合、φ2及びZ2の計算方式は、前述したφ1及びZ1の計算方式とほぼ同様である。このようなところ、図４を参照して前記数式を幾何学的に説明することにする。
図４は、本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するのに使用されるターゲット物体の予測ターゲット高さを計算する方法を概略的に示した図面である。
図４において、Z2とLとを二辺に有する第１直角三角形と、Z2-Z1とHとを二辺に有する第２直角三角形は、互いにＡＡ相似関係にあることを確認することができる。この場合、H:L=Z2-Z1:Z2の比例的な関係が成立することが分かり、前記数式を利用して前記予測ターゲット高さHは計算され得る。
前記予測ターゲット高さが計算された後、前記初期予測ピッチが調整される。一つのターゲット物体が選択される場合と多数のターゲット物体が選択される場合など、二種類の異なる実施例がある。以下、それぞれの実施例を説明することにする。
まず、前記ターゲット物体の個数が１つである場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させることができる。この場合、前記原本正解ターゲット高さにＲを乗じた値よりも小さい範囲を前記過大予測範囲として、前記原本正解ターゲット高さにＲを乗じた値よりも大きい範囲を前記過小予測範囲として設定することができる。前記Ｒは、予め設定された臨界比率であり得る。前記初期予測ピッチが過度に大きく計算される場合、前記予測ターゲット高さは前記原本正解ターゲット高さより低く計算され、これと反対である場合、前記予測ターゲット物体が前記原本正解ターゲット高さより高く計算されるので、前記過大予測範囲及び前記過小予測範囲は前記のように設定される。
前記範囲が前記のように設定された後、前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行して前記調整予測ピッチを生成させることができる。また、前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行して前記調整予測ピッチを生成させることができる。
次に、前記ターゲット物体の個数が２個以上である場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記のように前記過大予測範囲及び前記過小予測範囲を設定させ、前記過大予測範囲に対応する過大予測誤差の割合と前記過小予測範囲に対応する過小予測誤差の割合とのうち少なくとも一つに関する情報を取得させることができる。この場合、前記過大予測誤差の割合は、前記ターゲット物体の個数ｒ２に対する、第１特定予測ターゲット高さが前記過大予測範囲に含まれる第１特定ターゲット物体の個数ｒ１の比率であり得る。これと同様に、前記過小予測誤差の割合は、前記ターゲット物体の個数ｒ２に対する、第２特定予測ターゲット高さが前記過小予測範囲に含まれる第２特定ターゲット物体の個数ｒ１の比率であり得る。前記過小予測誤差の割合及び前記過大予測誤差の割合のうち一つが閾値より大きい場合、前記コンピューティング装置は、前記調整ピッチキャリブレーションモジュールをもって、前記初期予測ピッチを調整させることができる。
一般的に、前記初期予測ピッチに誤差がある場合、前記過小予測誤差の割合及び前記過大予測誤差の割合のうち一つのみが前記閾値より高い。前記過小予測誤差の割合が前記閾値より大きい場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行して前記調整予測ピッチを生成させることができる。これと反対に、前記過大予測誤差の割合が前記閾値より大きい場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを前記予め設定された調整割合だけ減少させる調整を遂行して前記調整予測ピッチを生成させることができる。
前記調整予測ピッチが決定されると、前記コンピューティング装置１００は、前記距離計算モジュール１６０及び前記物体検出ネットワーク１７０をもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させることができる。
本発明は、前記Ｖ２Ｖ通信により前記オンラインキャリブレーションを通じてカメラピッチを調整する方法に関する。すなわち、本発明は、前記カメラを基盤としてロバスト物体距離の予測を提供する。この際、ロバスト距離の予測は、前記消失点を見出す前記カメラピッチを調整するプロセスと、前記Ｖ２Ｖ通信を介して取得された情報を、前記カメラを介して取得された情報と融合させて前記周辺車両に対する実際の高さ情報を取得するプロセスと、前記周辺車両の前記実際の高さ情報を使用して前記ピッチをより正確に調整するプロセスとを含むことができる。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
［付記］
本願発明は、Ｖ２Ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置｛ＭＥＴＨＯＤ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＲＯＢＵＳＴ ＯＢＪＥＣＴ ＤＩＳＴＡＮＣＥ ＥＳＴＩＭＡＴＩＯＮ ＢＡＳＥＤ ＯＮ ＣＡＭＥＲＡ ＢＹ ＰＥＲＦＯＲＭＩＮＧ ＰＩＴＣＨ ＣＡＬＩＢＲＡＴＩＯＮ ＯＦ ＣＡＭＥＲＡ ＭＯＲＥ ＰＲＥＣＩＳＥＬＹ ＷＩＴＨ ＦＵＳＩＯＮ ＯＦ ＩＮＦＯＲＭＡＴＩＯＮ ＡＣＱＵＩＲＥＤ ＴＨＲＯＵＧＨ ＣＡＭＥＲＡ ＡＮＤ ＩＮＦＯＲＭＡＴＩＯＮ ＡＣＱＵＩＲＥＤ ＴＨＲＯＵＧＨ Ｖ２Ｖ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＡＮＤ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝に関する。

Claims (22)

  1. Ｖ２Ｖ（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信を介して取得した追加情報を使用して少なくとも一つの対象カメラのピッチキャリブレーション（ｐｉｔｃｈ ｃａｌｉｂｒａｔｉｏｎ）をさらに精巧に遂行することによって、前記対象カメラを基盤とした物体距離予測の正確度を向上させる方法において、
    （ａ）コンピューティング装置が、前記対象カメラを介して少なくとも一つの参照イメージを取得すると、（ｉ）初期ピッチキャリブレーションモジュールをもって、前記参照イメージに少なくとも一つのピッチ計算演算を適用して、前記対象カメラの光軸と地面との間の角度を予測して生成された値である初期予測ピッチを生成させるプロセスと、（ｉｉ）物体検出ネットワークをもって、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して、前記参照イメージに含まれている一つ以上の参照物体に関する参照物体検出情報を生成させるプロセスとを遂行させる段階；及び
    （ｂ）前記コンピューティング装置が、調整ピッチキャリブレーションモジュールをもって、（ｉ）前記参照物体のうち少なくとも一つのターゲット物体を選択し、（ｉｉ）前記対象カメラを搭載した対象自律車両からの前記ターゲット物体の少なくとも一つの相対位置と前記初期予測ピッチとを参照して前記ターゲット物体の少なくとも一つの予測ターゲット高さを計算した後、（ｉｉｉ）前記予測ターゲット高さと予め取得された少なくとも一つの原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ターゲット高さとを参照して、前記初期予測ピッチに対応する少なくとも一つの誤差を計算した後、（ｉｖ）前記誤差を利用して前記対象カメラに対する少なくとも一つの調整予測ピッチを決定させる段階；
    を含むことを特徴とする方法。
  2. 前記コンピューティング装置が、前記調整ピッチキャリブレーションモジュールをもって、それぞれの前記参照物体が通信可能に対応する特定クラスを有するか否かに関する第１条件を満足する一つ以上の特定の参照物体を前記参照物体の中から選択させ、（ｉ）それぞれの前記特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ ｗｉｎｄｏｗ）領域内に位置するか否かに関する第２条件、及び（ｉｉ）それぞれの前記特定の参照バウンディングボックスの縦横比（ａｓｐｅｃｔ ｒａｔｉｏ）が予測閾値未満であるか否かに関する第３条件のうち少なくとも一つを満足する前記少なくとも一つのターゲット物体を前記特定の参照物体の中から選択させることを特徴とする請求項１に記載の方法。
  3. 前記（ｂ）段階以前に、
    前記コンピューティング装置が、距離計算モジュールをもって、前記初期予測ピッチと、前記参照物体検出情報と、前記参照イメージとを参照して、それぞれの前記参照物体を含むそれぞれの参照バウンディングボックスの各下段部分内の地点である一つ以上の参照位置基準点それぞれを、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）して、前記参照物体と前記対象自律走行車両との間の一つ以上の縦方向地面距離と一つ以上の横方向地面距離とを計算させ、前記縦方向地面距離及び前記横方向地面距離それぞれを成分として含むそれぞれの参照相対座標を生成させることを特徴とする請求項１に記載の方法。
  4. 前記（ｂ）段階以前に、
    前記コンピューティング装置が、前記距離計算モジュールをもって、下記数式を参照して前記参照位置基準点を前記空間座標系にマッピングし、

    前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味し、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを、(cx,cy)は前記対象カメラの主点座標（ｃｏｏｒｄｉｎａｔｅ ｏｆ ａ ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することを特徴とする請求項３に記載の方法。
  5. 前記（ｂ）段階以前に、
    前記コンピューティング装置が、Ｖ２Ｖ通信モジュールをもって、前記対象自律走行車両から臨界距離より近いところに位置する一つ以上の通信可能な物体と通信を行って、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得させ、前記調整ピッチキャリブレーションモジュールをもって、通信可能に対応する特定クラスを有する特定の参照物体を前記参照物体の中から選択させた後、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることを特徴とする請求項３に記載の方法。
  6. 前記（ｂ）段階で、
    前記コンピューティング装置が、前記ターゲット物体が選択されると、前記調整ピッチキャリブレーションモジュールをもって、前記参照相対座標のうち、前記ターゲット物体に対応するターゲット相対座標を選択させ、前記初期予測ピッチを参照して高さ予測演算を遂行して前記予測ターゲット高さを計算させ、前記高さ予測演算は下記数式を参照して遂行され、

    前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することを特徴とする請求項１に記載の方法。
  7. 前記（ｂ）段階で、
    前記コンピューティング装置が、前記ターゲット物体の個数が１つである場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ−１）前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行させるか、（ｉｉ−２）前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行させることを特徴とする請求項１に記載の方法。
  8. 前記（ｂ）段階で、
    前記コンピューティング装置が、前記ターゲット物体の個数が２個以上である場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ）前記過大予測範囲に対応する過大予測誤差の割合及び前記過小予測範囲に対応する過小予測誤差の割合のうち少なくとも一つに関する情報を取得させ、（ｉｉｉ）前記取得された情報を参照して前記初期予測ピッチを調整させることを特徴とする請求項１に記載の方法。
  9. 前記（ａ）段階で、
    前記コンピューティング装置が、前記初期ピッチキャリブレーションモジュールをもって、前記参照イメージに前記ピッチ計算演算を適用して前記初期予測ピッチを生成させ、前記ピッチ計算演算は下記数式を参照して遂行され、

    前記数式で、vyは前記参照イメージの消失点（前記消失点に関する情報は、前記参照イメージの一つ以上の線が消失する地点を見出すことによって取得される）のｙ方向座標を、cyは前記参照イメージの主点のｙ方向座標を、そしてfyは前記参照イメージの焦点のｙ方向座標を意味することを特徴とする請求項１に記載の方法。
  10. 前記（ａ）段階で、
    前記コンピューティング装置が、（ｉ）前記物体検出ネットワークに含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させ、（ｉｉ）前記物体検出ネットワークに含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップにおいて前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させた後、（ｉｉｉ）前記物体検出ネットワークに含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることを特徴とする請求項１に記載の方法。
  11. （ｃ）前記コンピューティング装置が、前記物体検出ネットワーク及び前記距離計算モジュールをもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させる段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  12. Ｖ２Ｖ（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信を介して取得した追加情報を使用して少なくとも一つの対象カメラのピッチキャリブレーション（ｐｉｔｃｈ ｃａｌｉｂｒａｔｉｏｎ）をさらに精巧に遂行することによって、前記対象カメラを基盤とした物体距離予測の正確度を向上させるコンピューティング装置において、
    各インストラクションを格納する一つ以上のメモリと、
    （Ｉ）前記対象カメラを介して少なくとも一つの参照イメージを取得すると、（ｉ）初期ピッチキャリブレーションモジュールをもって、前記参照イメージに少なくとも一つのピッチ計算演算を適用して、前記対象カメラの光軸と地面との間の角度を予測して生成された値である初期予測ピッチを生成させるプロセス、（ｉｉ）物体検出ネットワークをもって、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して、前記参照イメージに含まれている一つ以上の参照物体に関する参照物体検出情報を生成させるプロセスを遂行させるプロセス、及び（ＩＩ）調整ピッチキャリブレーションモジュールをもって、（ｉ）前記参照物体のうち少なくとも一つのターゲット物体を選択し、（ｉｉ）前記対象カメラを搭載した対象自律車両からの前記ターゲット物体の少なくとも一つの相対位置と前記初期予測ピッチとを参照して前記ターゲット物体の少なくとも一つの予測ターゲット高さを計算した後、（ｉｉｉ）前記予測ターゲット高さと予め取得された少なくとも一つの原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ターゲット高さとを参照して、前記初期予測ピッチに対応する少なくとも一つの誤差を計算した後、（ｉｖ）前記誤差を利用して前記対象カメラに対する少なくとも一つの調整予測ピッチを決定させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするコンピューティング装置。
  13. 前記プロセッサが、前記調整ピッチキャリブレーションモジュールをもって、それぞれの前記参照物体が通信可能に対応する特定クラスを有するか否かに関する第１条件を満足する一つ以上の特定の参照物体を前記参照物体の中から選択させ、（ｉ）それぞれの前記特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ ｗｉｎｄｏｗ）領域内に位置するか否かに関する第２条件、及び（ｉｉ）それぞれの前記特定の参照バウンディングボックスの縦横比（ａｓｐｅｃｔ ｒａｔｉｏ）が予測閾値未満であるか否かに関する第３条件のうち少なくとも一つを満足する前記少なくとも一つのターゲット物体を前記特定の参照物体の中から選択させることを特徴とする請求項１２に記載のコンピューティング装置。
  14. 前記（ＩＩ）プロセス以前に、
    前記プロセッサが、距離計算モジュールをもって、前記初期予測ピッチと、前記参照物体検出情報と、前記参照イメージとを参照して、それぞれの前記参照物体を含むそれぞれの参照バウンディングボックスの各下段部分内の地点である一つ以上の参照位置基準点それぞれを、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）して、前記参照物体と前記対象自律走行車両との間における一つ以上の縦方向地面距離と一つ以上の横方向地面距離とを計算させ、前記縦方向地面距離及び前記横方向地面距離それぞれを成分として含むそれぞれの参照相対座標を生成させることを特徴とする請求項１２に記載のコンピューティング装置。
  15. 前記（ＩＩ）プロセス以前に、
    前記プロセッサが、前記距離計算モジュールをもって、下記数式を参照して前記参照位置基準点を前記空間座標系にマッピングし、

    前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味し、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを、(cx,cy)は前記対象カメラの主点座標を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することを特徴とする請求項１４に記載のコンピューティング装置。
  16. 前記（ＩＩ）プロセス以前に、
    前記プロセッサが、Ｖ２Ｖ通信モジュールをもって、前記対象自律走行車両から臨界距離より近いところに位置する一つ以上の通信可能な物体と通信を行って、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得させ、前記調整ピッチキャリブレーションモジュールをもって、通信可能に対応する特定クラスを有する特定の参照物体を前記参照物体の中から選択させた後、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標、及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることを特徴とする請求項１４に記載のコンピューティング装置。
  17. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ターゲット物体が選択されると、前記調整ピッチキャリブレーションモジュールをもって、前記参照相対座標のうち前記ターゲット物体に対応するターゲット相対座標を選択させ、前記初期予測ピッチを参照して高さ予測演算を遂行して前記予測ターゲット高さを計算させ、前記高さ予測演算は下記数式を参照して遂行され、

    前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することを特徴とする請求項１２に記載のコンピューティング装置。
  18. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ターゲット物体の個数が１つである場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ−１）前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行させるか、（ｉｉ−２）前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行させることを特徴とする請求項１２に記載のコンピューティング装置。
  19. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ターゲット物体の個数が２個以上である場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ）前記過大予測範囲に対応する過大予測誤差の割合及び前記過小予測範囲に対応する過小予測誤差の割合のうち少なくとも一つに関する情報を取得させ、（ｉｉｉ）前記取得された情報を参照して前記初期予測ピッチを調整させることを特徴とする請求項１２に記載のコンピューティング装置。
  20. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記初期ピッチキャリブレーションモジュールをもって、前記参照イメージに前記ピッチ計算演算を適用して前記初期予測ピッチを生成させ、前記ピッチ計算演算は下記数式を参照して遂行され、

    前記数式で、vyは前記参照イメージの消失点（前記消失点に関する情報は、前記参照イメージの一つ以上の線が消失する地点を見出すことによって取得される）のｙ方向座標を、cyは前記参照イメージの主点のｙ方向座標を、そしてfyは前記参照イメージの焦点のｙ方向座標を意味することを特徴とする請求項１２に記載のコンピューティング装置。
  21. 前記（Ｉ）プロセスで、
    前記プロセッサが、（ｉ）前記物体検出ネットワークに含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させ、（ｉｉ）前記物体検出ネットワークに含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップにおいて前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させた後、（ｉｉｉ）前記物体検出ネットワークに含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることを特徴とする請求項１２に記載のコンピューティング装置。
  22. 前記プロセッサが、（ＩＩＩ）前記物体検出ネットワーク及び前記距離計算モジュールをもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させるプロセスをさらに遂行することを特徴とする請求項１２に記載のコンピューティング装置。
JP2020006495A 2019-01-31 2020-01-20 Ｖ２ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置 Active JP6890350B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799238P 2019-01-31 2019-01-31
US62/799238 2019-01-31
US16/724,617 US10748032B1 (en) 2019-01-31 2019-12-23 Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same
US16/724617 2019-12-23

Publications (2)

Publication Number Publication Date
JP2020126626A true JP2020126626A (ja) 2020-08-20
JP6890350B2 JP6890350B2 (ja) 2021-06-18

Family

ID=69191928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020006495A Active JP6890350B2 (ja) 2019-01-31 2020-01-20 Ｖ２ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置

Country Status (5)

Country Link
US (1) US10748032B1 (ja)
EP (1) EP3690817B1 (ja)
JP (1) JP6890350B2 (ja)
KR (1) KR102296496B1 (ja)
CN (1) CN111508272B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811886B (zh) * 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
CN114688976B (zh) * 2020-12-29 2023-07-18 北京金风科创风电设备有限公司 风电机组的测距设备标定方法、装置、系统及设备
DE102021107793A1 (de) 2021-03-29 2022-09-29 Ford Global Technologies, Llc Verfahren zum Betreiben einer Fahrerassistenzfunktion
KR20230075683A (ko) 2021-11-23 2023-05-31 주식회사 인포웍스 심층 신경망 알고리즘 기반 4채널 중장비 avm 영상 융합 오토캘리브레이션 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256030A (ja) * 2006-03-23 2007-10-04 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
EP3159828A1 (en) * 2015-10-19 2017-04-26 Continental Automotive GmbH Adaptive calibration using visible car details
US20180365858A1 (en) * 2017-06-14 2018-12-20 Hyundai Mobis Co., Ltd. Calibration method and apparatus

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP3650578B2 (ja) * 2000-09-28 2005-05-18 株式会社立山アールアンドディ 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
JP3718747B2 (ja) * 2001-04-27 2005-11-24 日産自動車株式会社 車両用走行制御装置
JP4914019B2 (ja) * 2005-04-06 2012-04-11 キヤノン株式会社 位置姿勢計測方法及び装置
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
JP5240527B2 (ja) * 2010-11-25 2013-07-17 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
US9286678B2 (en) * 2011-12-28 2016-03-15 Pelco, Inc. Camera calibration using feature identification
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
EP3885217A1 (en) * 2015-02-10 2021-09-29 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6593588B2 (ja) * 2015-02-16 2019-10-23 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
KR102278387B1 (ko) * 2015-07-07 2021-07-16 주식회사 만도 거리 산출 장치, 거리 산출 방법, 운전 지원 장치 및 운전 지원 시스템
EP3174007A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
CN106650705B (zh) * 2017-01-17 2020-04-24 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
JP6799325B2 (ja) * 2017-05-29 2020-12-16 地方独立行政法人東京都立産業技術研究センター 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
CN107390205B (zh) 2017-07-20 2019-08-09 清华大学 一种利用车联网获取前车特征的单目视觉车辆测距方法
CN108983248A (zh) * 2018-06-26 2018-12-11 长安大学 一种基于3d激光雷达及v2x的网联车定位方法
CN109062209A (zh) * 2018-08-07 2018-12-21 安徽工程大学 一种智能辅助驾驶控制系统及其控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256030A (ja) * 2006-03-23 2007-10-04 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
EP3159828A1 (en) * 2015-10-19 2017-04-26 Continental Automotive GmbH Adaptive calibration using visible car details
US20180365858A1 (en) * 2017-06-14 2018-12-20 Hyundai Mobis Co., Ltd. Calibration method and apparatus

Also Published As

Publication number Publication date
EP3690817A1 (en) 2020-08-05
CN111508272A (zh) 2020-08-07
CN111508272B (zh) 2022-04-26
KR102296496B1 (ko) 2021-09-02
EP3690817B1 (en) 2022-09-28
US20200250470A1 (en) 2020-08-06
KR20200095361A (ko) 2020-08-10
US10748032B1 (en) 2020-08-18
JP6890350B2 (ja) 2021-06-18

Similar Documents

Publication Publication Date Title
JP6890350B2 (ja) Ｖ２ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
US11338807B2 (en) Dynamic distance estimation output generation based on monocular video
EP3673233A2 (en) Vehicle environment modeling with a camera
JP2019517089A (ja) 地面マーキングを認識するための画像処理方法、および地面マーキングを検出するためのシステム
CN109074490B (zh) 通路检测方法、相关装置及计算机可读存储介质
CN109902637A (zh) 车道线检测方法、装置、计算机设备和存储介质
US11348263B2 (en) Training method for detecting vanishing point and method and apparatus for detecting vanishing point
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
JP6986290B2 (ja) Ｖ２ｘ情報融合を利用してｈｄマップをアップデートするための自車両位置決定を遂行する方法及び装置
KR102373492B1 (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
KR20200095330A (ko) 세그먼테이션 스코어 맵 및 클러스터링 맵을 이용하여 자율 주행 차량의 주행 경로를 계획하기 위해 차선을 검출하는 포스트 프로세싱 방법 및 장치
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
JP2020119523A (ja) 疑似３ｄバウンディングボックスを検出する方法及びこれを利用した装置
US11373328B2 (en) Method, device and storage medium for positioning object
CN108363387A (zh) 传感器控制方法及装置
KR102618951B1 (ko) 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102626574B1 (ko) 카메라 및 라이다의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102616437B1 (ko) 라이다 및 관성측정장치의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102674613B1 (ko) 차로 결정 방법 및 차로 결정 장치
US20230296407A1 (en) Apparatus, method, and computer program for determining sections for map update
KR20240022986A (ko) 카메라 포즈 정보와 장면 이전 정보의 융합을 이용하여유클리드 공간 내의 객체들의 거리를 추정하는 방법 및 장치
KR20210061069A (ko) 3차원 객체를 표시하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200120

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200710

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210518

R150 Certificate of patent or registration of utility model

Ref document number: 6890350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250