CN108290521B - 一种影像信息处理方法及增强现实ar设备 - Google Patents
一种影像信息处理方法及增强现实ar设备 Download PDFInfo
- Publication number
- CN108290521B CN108290521B CN201580084719.0A CN201580084719A CN108290521B CN 108290521 B CN108290521 B CN 108290521B CN 201580084719 A CN201580084719 A CN 201580084719A CN 108290521 B CN108290521 B CN 108290521B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- straight line
- projection
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 21
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000007613 environmental effect Effects 0.000 claims abstract description 49
- 230000015654 memory Effects 0.000 claims description 46
- 230000000007 visual effect Effects 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 11
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 61
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000003502 gasoline Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000410536 Esme Species 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- -1 batteries Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 229910052700 potassium Inorganic materials 0.000 description 1
- 239000011591 potassium Substances 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
Abstract
一种影像信息处理方法及AR设备(100)，该方法包括：AR设备(100)获取包括目标物体(300)的影像的第一图像(S301)；所述AR设备(100)基于第一图像，检测AR设备(100)的环境参数(S302)；所述AR设备(100)基于环境参数，确定第一图像的裁剪比例系数(S303)；所述AR设备(100)基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像(S304，S409，S509，S609)；所述AR设备(100)提取第二图像中所述目标物体(300)的剩余影像中的M个轮廓特征点，以生成所述目标物体(300)的增强现实AR影像(S305，S410，S510，S610)；所述AR设备(100)在汽车的前挡风玻璃(200)上显示AR影像(S306)。本方法有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
Description
技术领域
本发明涉及影像处理技术领域，具体涉及了一种影像信息处理方法及增强现实AR设备。
背景技术
汽车在高速行驶过程中，驾驶员需要高度集中注意力以实时了解视线内的环境动态，如路障、行人、凹凸不平路面、岔路口等，从而保证行车安全。
本技术方案的发明人在研究过程中发现，由于人眼的视力有限，且容易受到疲劳驾驶、环境能见度低等内外部因素的影响，驾驶员单靠眼睛去看视线内的目标物体，很难在驾驶过程中始终清晰的获知环境动态，行车安全受到影响。
发明内容
本发明实施例提供一种影像信息处理方法及增强现实AR设备，有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
本发明实施例第一方面公开了一种影像信息处理方法，包括：
增强现实AR设备获取包括目标物体的影像的第一图像，其中，所述AR设备设置于汽车的中控台上，所述目标物体位于所述汽车的前方；
所述AR设备基于所述第一图像，检测AR设备的环境参数；
所述AR设备基于所述环境参数，确定所述第一图像的裁剪比例系数；
所述AR设备基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
所述AR设备提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的AR影像，所述M为正整数；
所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像。
可以看出，所述AR设备能够生成目标物体的增强现实AR影像，该显示在汽车的前挡风玻璃上的AR影像使得驾驶员全面清晰的获取视线内的环境动态，有利于提升行车安全性。例如，驾驶员在夜晚驾车行驶过程中，当行车方向出现行人时，AR设备能够快速输出符合该行人的AR影像(如行人的影像轮廓信息)，显示于汽车的前挡风玻璃上的AR影像有利于驾驶员全面清晰的获取视线内的所述行人的动态，从而提升行车安全性。
本发明实施例第一方面第一种可能的实现方式中，所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像，包括：
所述AR设备根据所述M个轮廓特征点在所述第二图像中的位置，在第三图像中添加所述AR影像，所述第三图像为空白图像，所述第三图像的尺寸与所述第二图像的尺寸相匹配；
所述AR设备基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；
所述AR设备根据所述投影角，在所述前挡风玻璃上投射所述第三图像。
本发明实施例第一方面第二种可能的实现方式中，所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像，包括：
所述AR设备基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；
所述AR设备根据所述投影角，在所述前挡风玻璃上投射所述AR影像。
本发明实施例第一方面第三种可能的实现方式中，所述前挡风玻璃包括显示屏，所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像，包括：
所述AR设备确定所述M个轮廓特征点对应的所述前挡风玻璃上的M个投影点的位置；
所述AR设备基于所述M个投影点的位置，在所述汽车的前挡风玻璃的显示屏上显示所述AR影像。
结合本发明实施例第一方面或第一方面第一种至第三种任一种可能的实现方式，在本发明实施例第一方面第四种可能的实现方式中，所述AR设备获取包括目标物体的影像的第一图像，包括：
所述AR设备以目标物体上的测距特征点为对焦参照点，拍摄所述目标物体以得到第一图像，其中，所述第一图像中与所述对焦参照点对应的像素点为所述第一图像的焦点。
结合本发明实施例第一方面第四种可能的实现方式，在本发明实施例第一方面第五种可能的实现方式中，所述AR设备基于所述第一图像，检测AR设备的环境参数，包括：
所述AR设备基于所述第一图像中所述焦点在第一图像中的相对位置，检测所述测距特征点与AR设备的中心点之间的距离c0，并确定所述距离c0对应的线段与所述设备视平面的夹角q0，所述设备视平面为所述AR设备的设备视平面；
所述AR设备拍摄驾驶员图像以得到参照图像，基于所述参照图像中驾驶员人眼中心像素点在所述参照图像中的相对位置，检测驾驶员人眼中心点与所述AR设备中心点之间的第一距离c1，并确定所述第一距离c1对应的线段与所述设备视平面的夹角q1；
所述AR设备检测前挡风玻璃上边缘的特征点B’与所述AR设备的中心点之间的第二距离c2、所述第二距离c2对应的线段与所述设备视平面的夹角q2，以及检测前挡风玻璃下边缘的特征点C’与所述AR设备的中心点之间的第三距离c3、所述第三距离c3对应的线段与所述设备视平面的夹角q3。
结合本发明实施例第一方面第五种可能的实现方式，在本发明实施例第一方面第六种可能的实现方式中，所述AR设备基于所述环境参数，确定所述第一图像的裁剪比例系数，包括：
所述AR设备将所述AR设备的中心点示意为二维坐标系XOY的原点O，将经过所述目标物体的所述测距特征点、且垂直于所述设备视平面的直线示意为直线L，基于所述原点O和所述直线L，确定所述二维坐标系XOY的参照平面，将所述设备视平面在所述参照平面上的投影直线示意为X轴，且所述X轴的方向设置为由所述原点O远离所述直线L的方向；
所述AR设备将驾驶员人眼中心点在所述参照平面上的投影点示意为二维坐标系XOY中的点A，将特征点B’在所述参照平面上的投影点示意为点B，将特征点C’在所述参照平面上的投影点示意为点C，将驾驶员视平面在所述参照平面上的投影直线示意为直线N；
其中，所述点A在所述X轴上的投影为点A1，所述点B在所述直线N上的投影为点B1，所述点B在所述X轴上的投影为点B2，所述原点O在所述直线L上的投影为点O1，所述点A在所述直线L上的投影为点A2，线段OB所在的直线与所述直线L的交点为点C1，线段AB所在的直线与所述直线L的交点为点C2，线段OC所在的直线与所述直线L的交点为点C3；
所述AR设备将所述线段OA的长度等效为所述第一距离c1，将∠AOA1等效为所述夹角q1，将所述线段OB的长度等效为所述距离c2，将∠BOO1等效为所述夹角q2，将所述线段OC的长度等效为所述距离c3，将∠COO1等效为所述夹角q3；
所述AR设备根据所述距离c0和所述夹角q0，确定线段OO1的长度和所述直线L的表达式；根据所述线段OA的长度和所述∠AOA1，确定所述点A的坐标；根据所述线段OB的长度和所述∠BOO1，确定所述点B的坐标；根据所述线段OC的长度和所述∠COO1，确定所述点C的坐标；根据经过所述点A和所述点B的直线的表达式和所述直线L的表达式确定所述点C2的坐标；根据经过所述点C和所述原点O的直线的表达式和所述直线L的表达式确定所述点C3的坐标；根据经过所述点B和所述原点O的直线的表达式和所述直线L的表达式确定所述点C1的坐标；根据所述点C1、所述点C2及所述点C3的坐标确定所述第一图像的裁剪比例系数。
本发明实施例第二方面公开了一种AR设备，所述AR设备包括存储器，以及和所述存储器耦合的处理器。所述存储器用于存储指令，处理器被配置用于运行所述指令，以执行本发明实施例第一方面任一方法中所描述的部分或全部步骤。
本发明实施例第三方面公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有用于AR设备执行的程序代码，该程序代码具体包括指令，所述指令用于执行本发明实施例第一方面任一方法中所描述的部分或全部步骤。
本发明实施例第四方面公开了一种AR设备，所述AR设备包括功能单元，所述功能单元用于执行本发明实施例第一方面任一方法中所描述的部分或全部步骤。
在一些可能的实现方式中，所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像之后，所述AR设备还可以执行以下操作：
所述AR设备获取所述目标物体的关联信息，并在所述述汽车的前挡风玻璃的第一预设位置显示所述关联信息，所述关联信息至少包括所述目标物体的身份信息、类型信息；或者，
所述AR设备获取与所述目标物体关联的导航信息，并在所述述汽车的前挡风玻璃的第二预设位置显示所述关联信息。
在一些可能的实现方式中，所述目标物体可以包括行车过程中可能出现在驾驶员视线内的各类物体或行人，如道路标志牌、建筑物、汽车、隔离带，等等。
本发明实施例中，AR设备首先获取包括目标物体的影像的第一图像，基于第一图像，检测AR设备的环境参数，其次，AR设备基于环境参数，确定第一图像的裁剪比例系数，再次，AR设备基于裁剪比例系数，裁剪第一图像以得到第二图像，AR设备然后提取第二图像中目标物体的剩余影像中的M个轮廓特征点，以生成目标物体的AR影像，最后，AR设备在汽车的前挡风玻璃上显示AR影像。可见，本发明实施例提供的AR设备能够生成目标物体的增强现实AR影像，并在汽车的前挡风玻璃上显示生成的AR影像，有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种移动交通工具通信系统的系统架构图；
图1.1是本发明实施例提供的一种示例车辆100的一种功能框图；
图1.2是本发明实施例公开的一种AR设备的应用场景示意图；
图2是本发明实施例公开的一种AR设备100的结构示意图；
图3是本发明第一方法实施例公开了一种影像信息处理方法；
图4是本发明第二方法实施例公开了一种影像信息处理方法；
图4.1是本发明实施例公开的一种示例应用场景的等效二维坐标系XOY的示意图；
图4.2是本发明实施例提供的一种轮廓特征点对应的目标物体上的特征点在二维坐标系XOY中的示意图；
图5是本发明第三方法实施例公开了一种影像信息处理方法；
图6是本发明第四方法实施例公开了一种影像信息处理方法；
图7是本发明装置实施例公开的一种AR设备的简化功能单元框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
以下详细描述及参考附图对所公开的系统和方法的各种特征和功能进行了描述。在图中，除非上下文另外指出，否则相似的符号标识相似的组件。本文中所描述的说明性系统和方法实施例并非唯一限定。应该理解的是，所公开的系统和方法的某些方面可以按多种不同的配置进行布置和组合，所有这些都在本文中被设想到。
请参阅图1，图1是本发明实施例提供的一种移动交通工具通信系统的系统架构图。其中，通信系统10包括交通工具12、一个或多个无线载波系统14、地面通信网络16、计算机18以及呼叫中心20。应该理解的是，所公开的方法能够与任何数量的不同系统一起使用，并不特定地限于此处示出的运行环境。同样，系统10的架构、构造、设置和运行以及它的单独部件在现有技术中通常是已知的。因此，以下的段落仅仅简单地提供了一个示例通信系统10的概述，本文没有示出的其它系统也能够使用所公开的方法。
交通工具12可实现在汽车上或可采取汽车的形式。然而，示例系统还可实现在其它车辆上或采取其它车辆的形式，诸如轿车、卡车、摩托车、公交车、船、飞机、直升机、割草机、铲雪车、休旅车、游乐园车辆、农业设备、施工设备、有轨电车、高尔夫球车、火车和电车等其它车辆。此外，机器人装置也可用于执行本文描述的方法和系统。
一些交通工具电子件28在图1中示出，包括信息通讯单元30、麦克风32、一个或多个按钮或者其它控制输入34、音频系统36、可视显示器38、以及GPS(Global PositionSystem，全球定位系统)模块40和多个VSM(Vehicle Security Module，交通工具系统模块)42。这些设备中的一些能够直接连接到信息通讯单元，例如麦克风32和按钮34，而其它的使用一个或多个网络连接实现间接连接，例如通信总线44或者娱乐总线46。合适的网络连接的实例包括CAN(Controller Area Network，控制器局域网)、MOST(Media OrientedSystems Transport，媒体导向系统转移)、LIN(Local Interconnect Network，局部互联网络)、LAN(Local Area Network，局域网)以及其它合适的连接，例如以太网或者符合已知的ISO(International Organization for Standardization，国际标准化组织)、SAE(Society of Automotive Engineers，美国机动车工程师学会)和IEEE(Institute ofElectrical and Electronics Engineers，国际电气与电子工程师学会)标准和规定的其它连接，这仅仅列举一小部分。
信息通讯单元30可以是OEM(Original Equipment Manufacturer，原始设备制造商)安装(嵌入)或者配件市场设备，它安装在交通工具中，且能够在无线载波系统14上且经无线联网进行无线声音和/或数据通信。这能使交通工具与呼叫中心20、其它启用信息通讯的交通工具、或者一些其它实体或者设备通信。信息通讯单元优选地使用无线电广播来与无线载波系统14建立通信信道(声音信道和/或数据信道)，使得声音和/或数据传输能够在信道上被发送和接收。通过提供声音和数据通信，信息通讯单元30能使交通工具提供多种不同的服务，包括与导航、电话、紧急救援、诊断、信息娱乐等相关联的那些服务。数据能够经数据连接(例如经数据信道上的分组数据传输，或者经使用现有技术中已知技术的声音信道)被发送。对于包括声音通信(例如，在呼叫中心20处具有现场顾问live advisor或者声音响应单元)和数据通信(例如，提供GPS位置数据或者车辆诊断数据至呼叫中心20)两者的组合服务，系统可利用在声音信道上的单个呼叫，并根据需要在声音信道上在声音和数据传输之间切换，这可以使用本领域技术人员已知的技术来完成。此外，可使用短消息服务SMS发送和接收数据(例如，PDP(Packet Data Protocol，分组数据协议))；信息通讯单元可被配置为移动终止和/或发起，或者被配置为应用终止和/或发起。
信息通讯单元30根据GSM(Global System for Mobile Communication，全球移动通信系统)或者CDMA(Code Division Multiple Access，码分多址)标准利用蜂窝通信，因此包括用于声音通信(例如免提呼叫)的标准蜂窝芯片集50、用于数据传输的无线调制解调器、电子处理设备52、一个或多个数字存储器设备54以及双天线56。应该明白，调制解调器能够通过存储在信息通讯单元内的软件实施且由处理器52执行，或者它能够是位于信息通讯单元30内部或者外部的分开的硬件部件。调制解调器能够使用任何数量的不同标准或者协议(例如EVDO(CDMA20001xEV-DO，EVDO)、CDMA、GPRS(General Packet Radio Service，通用分组无线服务技术)和EDGE(Enhanced Data Rate for GSM Evolution，增强型数据速率GSM演进技术))来运行。交通工具和其它联网设备之间的无线联网也能够使用信息通讯单元30来执行。为此目的，信息通讯单元30能够被配置为根据一个或多个无线协议(例如，IEEE 802.11协议、WiMAX(Worldwide Interoperability for Microwave Access，全球微波互联接入)或者蓝牙中的任何一种)无线通信。当用于例如TCP/IP(TransmissionControl Protocol/Internet Protocol，传输控制协议/因特网互联协议)的分组交换数据通信时，信息通讯单元能够被配置具有静态IP地址，或者能够被设置以从网络上的另一个设备(例如路由器)或者从网络地址服务器自动接收所分配的IP地址。
处理器52可以是能够处理电子指令的任何类型的设备，包括微处理器、微控制器、主处理器、控制器、交通工具通信处理器、以及ASIC(Application Specific IntegratedCircuit，特定用途集成电路)。它能够是仅用于信息通讯单元30的专用处理器或者能够与其它交通工具系统共享。处理器52执行各种类型的数字存储指令，例如存储在存储器54中的软件或者固件程序，它能使信息通讯单元提供较宽的多种服务。例如，处理器52能够执行程序或者处理数据，以执行本文讨论的方法的至少一部分。
信息通讯单元30能够被用于提供不同范围的交通工具服务，包括至和/或来自交通工具的无线通信。这样的服务包括：转向指引turn-by-turn direct1ns以及与基于GPS的交通工具导航模块40结合提供的其它导航相关联的服务；安全气囊部署通知以及与一个或多个碰撞传感器接口模块(例如主体控制模块(未图示))结合提供的其它紧急或路边救援相关联的服务；使用一个或多个诊断模块的诊断报告；以及信息娱乐相关联的服务，其中音乐、网页、电影、电视节目、视频游戏和/或其它信息被信息娱乐模块下载，并被存储用于当前或稍后回放。以上列出的服务决不是信息通讯单元30的所有能力的详尽列表，而仅仅是信息通讯单元能够提供的一些服务的列举。此外，应该理解，至少一些上述模块能够以存储在信息通讯单元30内部或外部的软件指令的形式实施，它们可以是位于信息通讯单元30内部或外部的硬件部件，或者它们可以是彼此集成的和/或共享的，或者与位于整个交通工具中的其它系统集成和/或共享，这仅列举几种可能性。在模块作为位于信息通讯单元30外部的VSM 42实施的情况下，它们可利用交通工具总线44与信息通讯单元交换数据和命令。
GPS模块40从GPS卫星的星座60接收无线电信号。从这些信号，模块40能够确定交通工具的位置，该交通工具的位置被用于给交通工具驾驶者提供导航和其它位置相关联的服务。导航信息能够被呈现在显示器38上(或者交通工具内的其它显示器)或者能够用语言呈现，例如当提供转向导航时完成。能够使用专用的交通工具内的导航模块(可以是GPS模块40的一部分)来提供导航服务，或者一些或全部导航服务可以经信息通讯单元30来完成，其中位置信息被发送到远程位置，以便于为交通工具提供导航地图、地图标注(感兴趣的点、餐馆等)、路线计算等等。位置信息能够被提供给呼叫中心20或者其它远程计算机系统，例如计算机18，以用于其它的目的，例如车队管理。并且，新的或者更新的地图数据能够经信息通讯单元30从呼叫中心20下载至GPS模块40。
除了音频系统36和GPS模块40之外，交通工具12能够包括电子硬件部件形式的其它交通工具系统模块VSM42，其它交通工具系统模块VSM42位于整个交通工具中，通常从一个或多个传感器接收输入，并使用所感测到的输入来执行诊断、监测、控制、报告和/或其它功能。VSM 42中的每一个优选地通过通信总线44连接到其它VSM，也连接到信息通讯单元30，并且能够被编程以运行交通工具系统和子系统诊断测试。例如，一个VSM 42能够是控制发动机运行的各方面(例如，燃料点火和点火时间)的ECM(EngineControlModule，发动机控制模块)，另一个VSM 42能够是调节交通工具的动力传动系的一个或多个部件的运行的动力传动系控制模块，且另一个VSM 42能够是管理位于整个交通工具中的各个电部件(如同交通工具的电动门锁和前灯)的主体控制模块。根据一个实施例，发动机控制模块装备有OBD(On Board Diagnostics，车载诊断)特征，车载诊断特征提供大量实时数据，例如从各种传感器(包括交通工具排放传感器)接收的数据，并提供标准化系列的诊断故障代码(DTS)，诊断故障代码允许技术人员快速地识别和维修交通工具内的故障。如本领域的技术人员所明白的，以上提及的VSM仅仅是可以在交通工具12内使用的一些模块的实例，许多其它的模块也是可能的。
交通工具电子件28还包括多个交通工具用户接口，为交通工具司乘人员提供了提供和/或接收信息的装置，包括麦克风32、按钮34、音频系统36和可视显示器38。如在本文所使用的，术语“交通工具用户接口”广泛地包括任何合适形式的电子设备，包括硬件和软件部件，该电子设备位于交通工具上，且能使交通工具用户与交通工具的部件通信或者通过交通工具的部件通信。麦克风32提供了至信息通讯单元的音频输入，以能使驾驶者或者其他司乘人员提供声音命令，并执行经无线载波系统14的免提护叫。为此目的，它能够连接到车载自动化声音处理单元，车载自动化声音处理单元利用现有技术中已知的HMI(HumanMachine Interface，人机接口)技术。按钮34允许手动用户输入至信息通讯单元30，以发起无线电话呼叫和提供其它数据、响应或者控制输入。分开的按钮能够被用于发起紧急呼叫以及常规服务求助呼叫至呼叫中心20。音频系统36提供音频输出至交通工具司乘人员且能够是专用的单机系统或者主交通工具音频系统的一部分。根据此处所示的具体实施例，音频系统36可运行地联接到交通工具总线44和娱乐总线46，且能够提供AM(AmplitudeModulation，调幅)、FM(Frequency Modulation，调频)和卫星广播、DVD(DigitalVersatile Disc，数字多功能光盘)和其它多媒体功能。这个功能能够与以上描述的信息娱乐模块结合提供或者独立提供。可视显示器38优选地是图形显示器，例如仪表板上的触摸屏或者从挡风玻璃反射的抬头显示器，且能够被用于提供多种输入和输出功能。各种其它交通工具用户接口也能够被利用，因为图1中的接口仅仅是一种具体实施方案的实例。
无线载波系统14优选地是蜂窝电话系统，包括多个蜂窝塔70(仅示出一个)、一个或多个MSC(Mobile Switching Center，移动交换中心)72以及将无线载波系统14与地面网络16连接所要求的任何其它的联网部件。每个蜂窝塔70包括发送和接收天线以及基站，来自不同蜂窝塔的基站直接连接到MSC 72或者经中间装置(例如基站控制器)连接到MSC 72。蜂窝系统14可实施任何合适的通信技术，包括例如模拟技术(例如AMPS(Advanced MobilePhone System，模拟移动通信系统))或者更新的数字技术(例如CDMA(例如CDMA2000)或GSM/GPRS)。如本领域的技术人员将会明白的，各种蜂窝塔/基站/MSC设置都是可能的，且可与无线系统14一起使用。例如，基站和蜂窝塔能够共同位于相同的地点，或者它们能够彼此定位较远，每个基站能够响应单个的蜂窝塔或者单个基站能够服务各个蜂窝塔，各个基站能够联接到单个MSC，这仅仅例举一小部分可能的设置。
除了使用无线载波系统14之外，卫星通信形式的不同无线载波系统能够被用于提供与交通工具的单向或者双向通信。这能够使用一个或多个通信卫星62和上行链路发射站64来完成。单向通信能够是例如卫星广播服务，其中节目内容(新闻、音乐等)被发射站64接收、打包用于上传、且接下来发送到卫星62，卫星62将节目广播到用户。双向通信能够是例如使用卫星62在交通工具12和站64之间中继电话通信的卫星电话服务。如果使用，这种卫星电话能够被附加到无线载波系统14或者代替无线载波系统14使用。
地面网络16可以是常规的陆基无线电通信网络，它连接到一个或多个固定电话，并将无线载波系统14连接到呼叫中心20。例如，地面网络16可包括PSTN(Public SwitchedTelephone Network，公共交换电话网络)，例如被用于提供有线电话、分组交换数据通信以及互联网基础设施的PSTN。地面网络16的一个或多个部分能够通过使用标准的有线网络、光纤或者其它光学网络、电缆网络、电力线、其它无线网络(例如WLAN(Wireless LocalArea Networks，无线局域网))、或者提供BWA(Broadband Wireless Access，宽带无线访问)的网络及其任何组合来实施。地面网络16还可以包括用于存储、上传、转换和/或在发送者和接收者之间传输SMS(Short Message Service，短消息)的一个或多个SMSC(ShortMessage Service Center，短消息服务中心)。例如，SMSC可以从呼叫中心20或者内容提供商(例如，外部短消息实体或者ESME)接收SMS消息，且SMSC可以将SMS消息传输给交通工具12(例如，移动终端设备)。SMSC和它们的功能对于技术人员来说是已知的。此外，呼叫中心20不必经地面网络16连接，但是可以包括无线电话设备，使得它能够直接与无线网络(例如无线载波系统14)通信。
计算机18能够是多个计算机中的一个，这多个计算机可经私人或者公共网络(例如互联网)访问。每个这样的计算机18都能够被用于一个或多个目的，例如交通工具可经信息通讯单元30和无线载波器14访问网页服务器。其它这样的可访问计算机18能够是例如：服务中心计算机，其中诊断信息和其它交通工具数据能够经信息通讯单元30从交通工具上传；交通工具所有者或者其他用户为例如如下目的而使用的客户端计算机：访问或者接收交通工具数据，或者设置或配置用户参数，或者控制交通工具的功能；或者第三方库，无论是通过与交通工具12还是呼叫中心20通信，或者与两者通信，交通工具数据或者其它信息被提供至或者来自该第三方库。计算机18还能够被用于提供互联网连接，例如DNS(DomainName Server，域名服务器)服务，或者作为使用DHCP(Dynamic host configurationprotocol，动态主机配置协议)或者其它合适的协议来分配IP地址给交通工具12的网络地址服务器。
呼叫中心20被设计以提供多种不同的系统后端功能给交通工具电子件28，并且根据在此示出的示例性实施例，呼叫中心20通常包括一个或多个交换机80、服务器82、数据库84、现场顾问86、以及VRS(Automatic voice response system，自动声音响应系统)88，它们在现有技术中全部都是已知的。这些各种呼叫中心部件优选地经有线或者无线局域网90彼此联接。交换机80能够是PBX(Private branch exchange，专用交换分机)，路由进入的信号，使得声音传输通常通过普通电话发送到现场顾问86或者使用VoIP发送到自动声音响应系统88。现场顾问电话也能够使用VoIP(Voice over Internet Phone，网络语音电话业务)，如图1中的虚线所指示。VoIP和通过交换机80的其它的数据通信经连接在交换机80和网络90之间的调制解调器(未图示)来实施。数据传输经调制解调器传递到服务器82和/或数据库84。数据库84能够存储账户信息，例如用户身份验证信息、交通工具标识符、数据图表(profile)记录、行为模式以及其它有关的用户信息。数据传输也可以由无线系统来执行，例如802.1lx，GPRS等等。此外，可使用短消息服务(SMS)发送和/或接收数据(例如，PDP)；且呼叫中心20可被配置为移动终止和/或发起，或者被配置为应用终止和/或发起。虽然所阐述的实施例已经被描述为它将会与使用现场顾问86的有人控制的呼叫中心20一起使用，但是将会明白呼叫中心可代替使用VRS 88作为自动顾问，或者VRS 88和现场顾问86的组合可以被使用。
图1.1是本发明实施例提供的一种示例车辆100的一种功能框图。耦合到车辆100或包括在车辆100中的组件可包括推进系统102、传感器系统104、控制系统106、外围设备108、电源110、计算装置111以及用户接口112。计算装置111可包括处理器113和存储器114。计算装置111可以是车辆100的控制器或控制器的一部分。存储器114可包括处理器113可运行的指令115，并且还可存储地图数据116。车辆100的组件可被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如，电源110可向车辆100的所有组件提供电力。计算装置111可被配置为从推进系统102、传感器系统104、控制系统106和外围设备108接收数据并对它们进行控制。计算装置111可被配置为在用户接口112上生成图像的显示并从用户接口112接收输入。
在其它示例中，车辆100可包括更多、更少或不同的系统，并且每个系统可包括更多、更少或不同的组件。此外，示出的系统和组件可以按任意种的方式进行组合或划分。
推进系统102可用于车辆100提供动力运动。如图所示，推进系统102包括引擎/发动机118、能量源120、传动装置(transmission)122和车轮/轮胎124。
引擎/发动机118可以是或包括内燃机、电动机、蒸汽机和斯特林发动机等的任意组合。其它发动机和引擎也是可能的。在一些示例中，推进系统102可包括多种类型的引擎和/或发动机。例如，气电混合轿车可包括汽油发动机和电动机。其它示例是可能的。
能量源120可以是全部或部分向引擎/发动机118供能的能量的来源。也就是说，引擎/发动机118可用于为将能量源120转换为机械能。能量源120的示例包括汽油、柴油、其它基于石油的燃料、丙烷、其它基于压缩气体的燃料、乙醇、太阳能电池板、电池和其它电力来源。(一个或多个)能量源120可以额外地或可替换地包括燃料箱、电池、电容器和/或飞轮的任意组合。在一些示例中，能量源120也可以为车辆100的其它系统提供能量。
传动装置122可用于为把机械动力从引擎/发动机118传送到车轮/轮胎124。为此，传动装置122可包括变速箱、离合器、差速器、驱动轴和/或其它元件。在传动装置122包括驱动轴的示例中，驱动轴包括用于耦合到车轮/轮胎124的一个或多个轴。
车辆100的车轮/轮胎124可配置为各种形式，包括单轮车、自行车/摩托车、三轮车或者轿车/卡车四轮形式。其它车轮/轮胎形式也是可能的，诸如包括六个或更多个车轮的那些。车辆100的车轮/轮胎124可被配置为相对于其它车轮/轮胎124差速地旋转。在一些示例中，车轮/轮胎124可包括固定地附着到传动装置122的至少一个车轮和与驾驶表面接触的耦合到车轮的边缘的至少一个轮胎。车轮/轮胎124可包括金属和橡胶的任意组合，或者其它材料的组合。
推进系统102可以额外地或可替换地包括除了所示出的那些以外的组件。
传感器系统104可包括用于感测关于车辆100所位于的环境的信息的若干个传感器。如图所示，传感器系统的传感器包括GPS126、IMU(Inertial Measurement Unit，惯性测量单元)128、无线电检测和雷达测距(RADAR)单元130、激光测距(LIDAR)单元132、相机134以及用于为修改传感器的位置和/或朝向的致动器136。传感器系统104也可包括额外的传感器，包括例如监视车辆100的内部系统的传感器(例如，O2监视器、燃油量表、机油温度，等等)。传感器系统104也可以包括其它传感器。
GPS模块126可以为用于估计车辆100的地理位置的任何传感器。为此，GPS模块126可能包括收发器，基于卫星定位数据，估计车辆100相对于地球的位置。在示例中，计算装置111可用于结合地图数据116使用GPS模块126来估计车辆100可在其上行驶的道路上的车道边界的位置。GPS模块126也可采取其它形式。
IMU128可以是用于基于惯性加速度及其任意组合来感测车辆100的位置和朝向变化。在一些示例中，传感器的组合可包括例如加速度计和陀螺仪。传感器的其它组合也是可能的。
RADAR单元130可以被看作物体检测系统，其用于使用无线电波来检测物体的特性，诸如物体的距离、高度、方向或速度。RADAR单元130可被配置为传送无线电波或微波脉冲，其可从波的路线中的任何物体反弹。物体可将波的一部分能量返回至接收器(例如，碟形天线或天线)，该接收器也可以是RADAR单元130的一部分。RADAR单元130还可被配置为对接收到的信号(从物体反弹)执行数字信号处理，并且可被配置为识别物体。
其它类似于RADAR的系统已用在电磁波谱的其它部分上。一个示例是LIDAR(光检测和测距)，其可使用来自激光的可见光，而非无线电波。
LIDAR单元132包括传感器，该传感器使用光感测或检测车辆100所位于的环境中的物体。通常，LIDAR是可通过利用光照射目标来测量到目标的距离或目标的其它属性的光学遥感技术。作为示例，LIDAR单元132可包括被配置为发射激光脉冲的激光源和/或激光扫描仪，和用于为接收激光脉冲的反射的检测器。例如，LIDAR单元132可包括由转镜反射的激光测距仪，并且以一维或二维围绕数字化场景扫描激光，从而以指定角度间隔采集距离测量值。在示例中，LIDAR单元132可包括诸如光(例如，激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件，以及位置和导航系统。
在示例中，LIDAR单元132可被配置为使用紫外光(UV)、可见光或红外光对物体成像，并且可用于广泛的目标，包括非金属物体。在一个示例中，窄激光波束可用于以高分辨率对物体的物理特征进行地图绘制。
在示例中，从约10微米(红外)至约250纳米(UV)的范围中的波长可被使用。光通常经由后向散射被反射。不同类型的散射被用于不同的LIDAR应用，诸如瑞利散射、米氏散射和拉曼散射以及荧光。基于不同种类的后向散射，作为示例，LIDAR可因此被称为瑞利激光RADAR、米氏LIDAR、拉曼LIDAR以及钠/铁/钾荧光LIDAR。波长的适当组合可允许例如通过寻找反射信号的强度的依赖波长的变化对物体进行远程地图绘制。
使用扫描LIDAR系统和非扫描LIDAR系统两者可实现三维(3D)成像。“3D选通观测激光RADAR(3D gated viewing laser radar)”是非扫描激光测距系统的示例，其应用脉冲激光和快速选通相机。成像LIDAR也可使用通常使用CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)和CCD(Charge Coupled Device，混合互补金属氧化物半导体/电荷耦合器件)制造技术在单个芯片上构建的高速检测器阵列和调制敏感检测器阵列来执行。在这些装置中，每个像素可通过以高速解调或选通来被局部地处理，以使得阵列可被处理成表示来自相机的图像。使用此技术，可同时获取上千个像素以创建表示LIDAR单元132检测到的物体或场景的3D点云。
点云可包括3D坐标系统中的一组顶点。这些顶点例如可由X、Y、Z坐标定义，并且可表示物体的外表面。LIDAR单元132可被配置为通过测量物体的表面上的大量点来创建点云，并可将点云作为数据文件输出。作为通过LIDAR单元132的对物体的3D扫描过程的结果，点云可用于识别并可视化物体。
在一个示例中，点云可被直接渲染以可视化物体。在另一示例中，点云可通过可被称为曲面重建的过程被转换为多边形或三角形网格模型。用于将点云转换为3D曲面的示例技术可包括德洛内三角剖分、阿尔法形状和旋转球。这些技术包括在点云的现有顶点上构建三角形的网络。其它示例技术可包括将点云转换为体积距离场，以及通过移动立方体算法重建这样定义的隐式曲面。
相机134可以用于获取车辆100所位于的环境的图像的任何相机(例如，静态相机、视频相机等)。为此，相机可被配置为检测可见光，或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。相机134可以是二维检测器，或可具有三维空间范围。在一些示例中，相机134例如可以是距离检测器，其被配置为生成指示从相机134到环境中的若干点的距离的二维图像。为此，相机134可使用一种或多种距离检测技术。例如，相机134可被配置为使用结构光技术，其中车辆100利用预定光图案，诸如栅格或棋盘格图案，对环境中的物体进行照射，并且使用相机134检测从物体的预定光图案的反射。基于反射的光图案中的畸变，车辆100可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。
致动器136例如可被配置为修改传感器的位置和/或朝向。传感器系统104可额外地或可替换地包括除了所示出的那些以外的组件。
控制系统106可被配置为控制车辆100及其组件的操作。为此，控制系统106可包括转向单元138、油门140、制动单元142、传感器融合算法144、计算机视觉系统146、导航或路线控制(pathing)系统148以及避障系统150。
转向单元138可以是被配置为调整车辆100的前进方向或方向的机构的任意组合。
油门140可以是被配置为控制引擎/发动机118的操作速度和加速度并进而控制车辆100的速度和加速度的机构的任意组合。
制动单元142可以是被配置为使车辆100减速的机构的任意组合。例如，制动单元142可使用摩擦来减慢车轮/轮胎124。作为另一示例，制动单元142可被配置为再生的(regenerative)并且将车轮/轮胎124的动能转换为电流。制动单元142也可采取其它形式。
传感器融合算法144可以包括例如计算装置111可运行的算法(或者存储算法的计算机程序产品)。传感器融合算法144可被配置为接受来自传感器104的数据作为输入。所述数据可包括例如表示在传感器系统104的传感器处感测到的信息的数据。传感器融合算法144可包括例如卡尔曼滤波器、贝叶斯网络或者另外的算法。传感器融合算法144还可被配置为基于来自传感器系统104的数据来提供各种评价，包括例如对车辆100所位于的环境中的个体物体和/或特征的评估、对具体情形的评估和/或基于特定情形的可能影响的评估。其它评价也是可能的。
计算机视觉系统146可以是被配置为处理和分析由相机134捕捉的图像以便识别车辆100所位于的环境中的物体和/或特征的任何系统，所述物体和/或特征包括例如车道信息、交通信号和障碍物。为此，计算机视觉系统146可使用物体识别算法、从运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪或其它计算机视觉技术。在一些示例中，计算机视觉系统146可以额外地被配置为地图绘制环境、跟随物体、估计物体的速度，等等。
导航和路线控制系统148可以是被配置为确定车辆100的驾驶路线的任何系统。导航和路线控制系统148可以额外地被配置为在车辆100处于操作中的同时动态地更新驾驶路线。在一些示例中，导航和路线控制系统148可被配置为结合来自传感器融合算法144、GPS模块126和一个或多个预定地图的数据以便为车辆100确定驾驶路线。
避障系统150可以是被配置为识别、评估和避免或者以其它方式越过车辆100所位于的环境中的障碍物的任何系统。
控制系统106可以额外地或可替换地包括除了所示出的那些以外的组件。
外围设备108可被配置为允许车辆100与外部传感器、其它车辆和/或用户交互。为此，外围设备108可包括例如无线通信系统152、触摸屏154、麦克风156和/或扬声器158。
无线通信系统152可以是被配置为直接地或经由通信网络无线耦合至一个或多个其它车辆、传感器或其它实体的任何系统。为此，无线通信系统152可包括用于直接或通过空中接口与其它车辆、传感器或其它实体通信的天线和芯片集。芯片集或整个无线通信系统152可被布置为根据一个或多个其它类型的无线通信(例如，协议)来通信，所述无线通信诸如蓝牙、IEEE 802.11(包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(诸如GSM、CDMA、UMTS(Universal Mobile Telecommunications System，通用移动通信系统)、EV-DO、WiMAX或LTE(Long Term Evolution，长期演进))、紫蜂、DSRC(Dedicated ShortRange Communications，专用短程通信)以及RFID(Radio Frequency Identification，射频识别)通信，等等。无线通信系统152也可采取其它形式。
触摸屏154可被用户用来向车辆100输入命令。为此，触摸屏154可被配置为经由电容感测、电阻感测或者表面声波过程等等来感测用户的手指的位置和移动中的至少一者。触摸屏154可能够感测在与触摸屏表面平行或与触摸屏表面在同一平面内的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏154可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏154也可采取其它形式。
麦克风156可被配置为从车辆100的用户接收音频(例如，声音命令或其它音频输入)。类似地，扬声器158可被配置为向车辆100的用户输出音频。
外围设备108可以额外地或可替换地包括除了所示出的那些以外的组件。
电源110可被配置为向车辆100的一些或全部组件提供电力。为此，电源110可包括例如可再充电锂离子或铅酸电池。在一些示例中，一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些示例中，电源110和能量源120可一起实现，如一些全电动车中那样。
包括在计算装置111中的处理器113可包括一个或多个通用处理器和/或一个或多个专用处理器(例如，图像处理器、数字信号处理器等)。就处理器113包括多于一个处理器而言，这种处理器可单独工作或组合工作。计算装置111可实现基于通过用户接口112接收的输入控制车辆100的功能。
存储器114进而可包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件，诸如光、磁和/或有机存储装置，并且存储器114可全部或部分与处理器113集成。存储器114可包含可由处理器113运行的指令115(例如，程序逻辑)，以运行各种车辆功能，包括本文中描述的功能或方法中的任何一个。
车辆100的组件可被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此，车辆100的组件和系统可通过系统总线、网络和/或其它连接机制通信地链接在一起。
基于上述移动交通工具通信系统10和示例车辆100的架构，请参阅图1.2，图1.2是本发明实施例公开的一种AR设备的应用场景示意图，包括AR设备100、驾驶室内的驾驶员、汽车的前挡风玻璃200，以及汽车前方的目标物体300。所述AR设备100设置于汽车的前挡风玻璃200与驾驶员之间，所述AR设备100的设备视平面低于驾驶员视平面，所述AR设备设置于汽车的中控台上。
进一步地，请参阅图2，图2是本发明实施例公开的一种AR设备100的结构示意图。
如图2所示，所述AR设备100包括处理器101，所述处理器101可以耦合一个或多个存储介质。该存储介质包括存储媒介111和至少一个存储器102。所述存储媒介111可以是只读的，如只读存储器(read-only memory，ROM)，或者可读/可写的硬盘或闪存。存储器102例如可以是随机存取存储器(random access memory，RAM)。所述存储器102可以与处理器101结合，或者，集成于处理器101中，或者，由一个独立单元或多个单元构成。所述处理器101是所述AR设备100的控制中心，具体提供用于执行指令、完成中断事件、提供时间功能以及其他诸多功能的时间序列及工艺设备。可选的，该处理器101包括一个或多个中央处理单元CPU，如图2中的CPU0和CPU1。可选的，所述AR设备100还可以包括多个处理器，例如，图2中所述的处理器101和处理器112。每一个处理器可以是单核或多核。除非特别说明，本发明所描述的处理器或存储器的具体实现方式包括通用组件或专用组件，该通用组件在特定时刻被配置用于执行某一任务，该专用组件被生产用于执行专用任务。本发明实施例所描述的处理器至少包括一个电子设备、电路、和/或被配置为处理数据(如计算机程序指令)的处理器芯片。所述处理器101，和/或，所述处理器112，或，所述处理器101和/或所述处理器112中的单个CPU所执行的程序代码可以存储在所述存储器102或所述存储介质111中。
进一步地，所述AR设备100还包括前置摄像头103、前置测距仪104、后置摄像头105、后置测距仪106，输出模块107(如光学投影仪或激光投影仪等)和/或通信接口108。其中，所述前置摄像头103、所述前置测距仪104、所述后置摄像头105、所述后置测距仪106以及所述输出模块107与所述处理器101耦合。此外，所述AR设备100还可以包括接收/发送电路109和天线110。所述接收/发送电路109和天线110用于实现AR设备与外部网络的连接。所述AR设备100的组成单元可以通过通信总线相互耦合，所述通信总线至少包括以下任意一种：数据总线、地址总线、控制总线、扩展总线和局部总线。需要注意的是，所述AR设备100仅仅是本发明实施例公开的一种示例实体装置形态，本发明实施例对AR设备的具体形态不做唯一限定。
所述AR设备100的处理器101能够耦合所述至少一个存储器102，所述存储器102中预存有程序代码，所述程序代码具体包括图像获取模块、参数检测模块、系数确定模块、图像裁剪模块、影像生成模块、影像显示模块，所述存储器102还进一步存储有内核模块，所述内核模块包括操作系统(如WINDOWSTM，ANDROIDTM，IOSTM等)。
所述AR设备100的处理器101被配置用于调用所述程序代码，以执行本发明实施例公开的影像信息处理方法，具体包括以下步骤：
所述AR设备100的处理器101运行存储器102中存储的所述图像获取模块，获取包括目标物体300的影像的第一图像，其中，所述AR设备设置于汽车的中控台上，所述目标物体300位于所述汽车的前方；
所述AR设备100的处理器101运行存储器102中存储的所述参数检测模块，基于所述第一图像，检测AR设备的环境参数；
所述AR设备100的处理器101运行存储器102中存储的所述系数确定模块，基于所述环境参数，确定所述第一图像的裁剪比例系数；
所述AR设备100的处理器101运行存储器102中存储的所述图像裁剪模块，基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
所述AR设备100的处理器101运行存储器102中存储的所述影像生成模块，提取所述第二图像中所述目标物体300的剩余影像中的M个轮廓特征点，以生成所述目标物体300的AR影像，所述M为正整数；
所述AR设备100的处理器101运行存储器102中存储的所述影像显示模块，在所述汽车的前挡风玻璃200上显示所述AR影像。
可选的，所述处理器101在所述汽车的前挡风玻璃200上显示所述AR影像的具体实现方式为：根据所述M个轮廓特征点在所述第二图像中的位置，在第三图像中添加所述AR影像，所述第三图像为空白图像，所述第三图像的尺寸与所述第二图像的尺寸相匹配；基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；根据所述投影角，在所述前挡风玻璃200上投射所述第三图像。
可以看出，本发明实施例中，AR设备首先获取包括目标物体的影像的第一图像，基于第一图像，检测AR设备的环境参数，其次，AR设备基于环境参数，确定第一图像的裁剪比例系数，再次，AR设备基于裁剪比例系数，裁剪第一图像以得到第二图像，AR设备然后提取第二图像中目标物体的剩余影像中的M个轮廓特征点，以生成目标物体的AR影像，最后，AR设备在汽车的前挡风玻璃上显示AR影像。可见，本发明实施例提供的AR设备能够生成目标物体的增强现实AR影像，并在汽车的前挡风玻璃上显示生成的AR影像，有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
可选的，所述处理器101在所述汽车的前挡风玻璃200上显示所述AR影像的具体实现方式为：基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；根据所述投影角，在所述前挡风玻璃200上投射所述AR影像。
可选的，所述前挡风玻璃200包括显示屏，所述处理器101在所述汽车的前挡风玻璃200上显示所述AR影像的具体实现方式为：确定所述M个轮廓特征点对应的所述前挡风玻璃200上的M个投影点的位置；基于所述M个投影点的位置，在所述前挡风玻璃200的显示屏上显示所述AR影像，所述前挡风玻璃200为显示屏。
可选的，所述处理器101获取包括目标物体300的影像的第一图像的具体实现方式为：以目标物体300上的测距特征点为对焦参照点，拍摄所述目标物体300以得到第一图像，其中，所述第一图像中与所述对焦参照点对应的像素点为所述第一图像的焦点。
可选的，所述处理器101基于所述第一图像，检测AR设备100的环境参数的具体实现方式为：基于所述第一图像中所述焦点在第一图像中的相对位置，检测所述测距特征点与AR设备100的中心点之间的距离c0，并确定所述距离c0对应的线段与所述设备视平面的夹角q0，所述设备视平面为所述AR设备100的设备视平面；
拍摄驾驶员图像以得到参照图像，基于所述参照图像中驾驶员人眼中心像素点在所述参照图像中的相对位置，检测驾驶员人眼中心点与所述AR设备100中心点之间的第一距离c1，并确定所述第一距离c1对应的线段与所述设备视平面的夹角q1；
检测前挡风玻璃200上边缘的特征点B’与AR设备100的中心点之间的第二距离c2、所述第二距离c2对应的线段与所述设备视平面的夹角q2，以及检测前挡风玻璃200下边缘的特征点C’与所述AR设备100的中心点之间的第三距离c3、所述第三距离c3对应的线段与所述设备视平面的夹角q3。
可选的，所述处理器101基于所述环境参数，确定所述第一图像的裁剪比例系数的具体实现方式为：将所述AR设备100的中心点示意为二维坐标系XOY的原点O，将经过所述目标物体300的所述测距特征点、且垂直于所述设备视平面的直线示意为直线L，基于所述原点O和所述直线L，确定所述二维坐标系XOY的参照平面，将所述设备视平面在所述参照平面上的投影直线示意为X轴，且所述X轴的方向设置为由所述原点O远离所述直线L的方向；
将驾驶员人眼中心点在所述参照平面上的投影点示意为二维坐标系XOY中的点A，将特征点B’在所述参照平面上的投影点示意为点B，将特征点C’在所述参照平面上的投影点示意为点C，将驾驶员视平面在所述参照平面上的投影直线示意为直线N；
其中，所述点A在所述X轴上的投影为点A1，所述点B在所述直线N上的投影为点B1，所述点B在所述X轴上的投影为点B2，所述原点O在所述直线L上的投影为点O1，所述点A在所述直线L上的投影为点A2，线段OB所在的直线与所述直线L的交点为点C1，线段AB所在的直线与所述直线L的交点为点C2，线段OC所在的直线与所述直线L的交点为点C3；
将所述线段OA的长度等效为所述第一距离c1，将∠AOA1等效为所述夹角q1，将所述线段OB的长度等效为所述距离c2，将∠BOO1等效为所述夹角q2，将所述线段OC的长度等效为所述距离c3，将∠COO1等效为所述夹角q3；
根据所述距离c0和所述夹角q0，确定线段OO1的长度和所述直线L的表达式；根据所述线段OA的长度和所述∠AOA1，确定所述点A的坐标；根据所述线段OB的长度和所述∠BOO1，确定所述点B的坐标；根据所述线段OC的长度和所述∠COO1，确定所述点C的坐标；根据经过所述点A和所述点B的直线的表达式和所述直线L的表达式确定所述点C2的坐标；根据经过所述点C和所述原点O的直线的表达式和所述直线L的表达式确定所述点C3的坐标；根据经过所述点B和所述原点O的直线的表达式和所述直线L的表达式确定所述点C1的坐标；根据所述点C1、所述点C2及所述点C3的坐标确定所述第一图像的裁剪比例系数。
与上述技术方案一致的，请参阅图3，图3是本发明第一方法实施例公开了一种影像信息处理方法。需要注意的是，虽然本方法实施例公开的影像信息处理方法能够基于图2所示的AR设备100的实体装置实现，但上述示例AR设备100不构成对本发明方法实施例公开的影像信息处理方法的唯一限定。
如图3所示，所述影像信息处理方法包括以下步骤：
S301，增强现实AR设备获取包括目标物体的影像的第一图像，其中，所述AR设备设置于汽车的中控台上，所述目标物体位于所述汽车的前方；
S302，所述AR设备基于所述第一图像，检测AR设备的环境参数；
S303，所述AR设备基于所述环境参数，确定所述第一图像的裁剪比例系数；
S304，所述AR设备基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
S305，所述AR设备提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的AR影像，所述M为正整数；
S306，所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像。
可以看出，本发明实施例中，AR设备首先获取包括目标物体的影像的第一图像，基于第一图像，检测AR设备的环境参数，其次，AR设备基于环境参数，确定第一图像的裁剪比例系数，再次，AR设备基于裁剪比例系数，裁剪第一图像以得到第二图像，AR设备然后提取第二图像中目标物体的剩余影像中的M个轮廓特征点，以生成目标物体的AR影像，最后，AR设备在汽车的前挡风玻璃上显示AR影像。可见，本发明实施例提供的AR设备能够生成目标物体的增强现实AR影像，并在汽车的前挡风玻璃上显示生成的AR影像，有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
下面结合图1.2所示的示例应用场景，对本发明实施例公开的影像信息处理方法做详细介绍。
请参阅图4，图4是本发明第二方法实施例公开的一种影像信息处理方法的流程示意图，所述影像信息处理方法具体包括以下步骤：
S401，所述AR设备以目标物体上的测距特征点为对焦参照点，拍摄所述目标物体以得到第一图像，其中，所述第一图像中与所述对焦参照点对应的像素点为所述第一图像的焦点。
具体实现中，所述AR设备可以通过前置摄像头拍摄所述目标物体以得到第一图像。
S402，所述AR设备基于所述第一图像中所述焦点在第一图像中的相对位置，检测所述测距特征点与AR设备的中心点之间的距离c0，并确定所述距离c0对应的线段与所述设备视平面的夹角q0，所述设备视平面为所述AR设备的设备视平面；
具体实现中，所述AR设备检测所述测距特征点与AR设备的中心点之间的距离c0的具体实现方式为：
所述AR设备基于所述焦点在第一图像中的相对位置，以及AR设备的前置摄像头的拍摄角度范围，确定第一测距参考角q；
所述AR设备根据所述第一测距参考角q控制AR设备的前置测距仪，以检测所述测距特征点与AR设备的中心点之间的距离c0；
其中，所述前置摄像头的拍摄角度范围包括纵向拍摄角度范围和横向拍摄角度范围，所述AR设备能够根据焦点在第一图像中的纵向相对位置，以及前置摄像头的纵向拍摄角度范围，确定第一测距参考角q的纵向角度，根据焦点在第一图像中的横向相对位置，以及前置摄像头的横向拍摄角度范围，确定第一测距参考角q的横向角度；所述纵向角度即为夹角q0。
所述AR设备控制前置测距仪的方式具体可以包括以下几种：
所述AR设备控制测距仪本体或活动部旋转；或者，
所述AR设备通过光学手段，改变测距仪的激光的发射方向，例如，采用反光镜控制激光方向，改变反光镜的方向，即可改变激光方向。
S403，所述AR设备拍摄驾驶员图像以得到参照图像，基于所述参照图像中驾驶员人眼中心像素点在所述参照图像中的相对位置，检测驾驶员人眼中心点与所述AR设备中心点之间的第一距离c1，并确定所述第一距离c1对应的线段与所述设备视平面的夹角q1；
其中，所述AR设备可以通过AR设备的后置摄像头拍摄驾驶员图像以得到参照图像，通过AR设备的后置测距仪检测第一距离c1和夹角q1。
具体实现中，第一距离c1和夹角q1的检测过程与步骤S402过程类似，此处不再赘述。
S404，所述AR设备检测前挡风玻璃上边缘的特征点B’与所述AR设备的中心点之间的第二距离c2、所述第二距离c2对应的线段与所述设备视平面的夹角q2，以及检测前挡风玻璃下边缘的特征点C’与所述AR设备的中心点之间的第三距离c3、所述第三距离c3对应的线段与所述设备视平面的夹角q3；
其中，所述AR设备的前置测距仪的初始测距方向处于设备视平面，且与AR设备的前置摄像头的镜头拍摄方向可以等效为同一方向；所述AR设备通过前置测距仪检测第二距离c2、夹角q2、第三距离c3以及夹角q3的具体实现方式包括以下步骤：
AR设备控制前置测距仪由下至上顺序测距，获取m个距离参数和角度参数，所述m为大于或等于4的正整数；
AR设备确定所述m个距离参数中的第k个距离参数为第二距离c2，所述第k个距离参数对应的角度参数为夹角q2，所述第k个距离参数与第k+1个距离参数之间的差值大于预设距离阈值，所述第k个距离参数大于第k+1个距离参数；
AR设备确定所述m个距离参数中的第n个距离参数为第三距离c3，所述第n个距离参数对应的角度参数为夹角q3，所述第n个距离参数与第n-1个距离参数之间的差值大于预设距离阈值，所述第n个距离参数大于第n-1个距离参数。
S405，所述AR设备将所述AR设备的中心点示意为二维坐标系XOY的原点O，将经过所述目标物体的所述测距特征点、且垂直于所述设备视平面的直线示意为直线L，基于所述原点O和所述直线L，确定所述二维坐标系XOY的参照平面，将所述设备视平面在所述参照平面上的投影直线示意为X轴，且所述X轴的方向设置为由所述原点O远离所述直线L的方向；
S406，所述AR设备将驾驶员人眼中心点在所述参照平面上的投影点示意为二维坐标系XOY中的点A，将特征点B’在所述参照平面上的投影点示意为点B，将特征点C’在所述参照平面上的投影点示意为点C，将驾驶员视平面在所述参照平面上的投影直线示意为直线N；
具体实现中，请参阅图4.1，图4.1是本发明实施例公开的一种示例应用场景的等效二维坐标系XOY的示意图；其中，所述点A在所述X轴上的投影为点A1，所述点B在所述直线N上的投影为点B1，所述点B在所述X轴上的投影为点B2，所述原点O在所述直线L上的投影为点O1，所述点A在所述直线L上的投影为点A2，线段OB所在的直线与所述直线L的交点为点C1，线段AB所在的直线与所述直线L的交点为点C2，线段OC所在的直线与所述直线L的交点为点C3；
S407，所述AR设备将所述线段OA的长度等效为所述第一距离c1，将∠AOA1等效为所述夹角q1，将所述线段OB的长度等效为所述距离c2，将∠BOO1等效为所述夹角q2，将所述线段OC的长度等效为所述距离c3，将∠COO1等效为所述夹角q3；
S408，所述AR设备根据所述距离c0和所述夹角q0，确定线段OO1的长度和所述直线L的表达式；根据所述线段OA的长度和所述∠AOA1，确定所述点A的坐标；根据所述线段OB的长度和所述∠BOO1，确定所述点B的坐标；根据所述线段OC的长度和所述∠COO1，确定所述点C的坐标；根据经过所述点A和所述点B的直线的表达式和所述直线L的表达式确定所述点C2的坐标；根据经过所述点C和所述原点O的直线的表达式和所述直线L的表达式确定所述点C3的坐标；根据经过所述点B和所述原点O的直线的表达式和所述直线L的表达式确定所述点C1的坐标；根据所述点C1、所述点C2及所述点C3的坐标确定所述第一图像的裁剪比例系数；
S409，所述AR设备基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
S410，所述AR设备提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的AR影像，所述M为正整数；
S411，所述AR设备根据所述M个轮廓特征点在所述第二图像中的位置，在第三图像中添加所述AR影像，所述第三图像为空白图像，所述第三图像的尺寸与所述第二图像的尺寸相匹配；
S412，所述AR设备基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；
具体实现中，所述AR设备基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角的具体实现方式可以包括以下步骤：
请参阅图4.2，图4.2是本发明实施例提供的一种轮廓特征点对应的目标物体上的特征点在二维坐标系XOY中示意图；
所述AR设备确定所述M个轮廓特征点的第j个轮廓特征点为当前轮廓特征点T0，所述目标物体上与当前轮廓特征点T0对应的点为特征点T’；
将所述目标物体上的特征点T’示意为直线L上的点T，线段AT与线段BC的交点为投影点T1；
根据当前轮廓特征点T0在第二图像中的位置、线段C2C3与第二图像的对应关系，确定点T的坐标；
根据点T的坐标和点A的坐标，确定线段AT的表达式；
根据线段AT的表达式和线段BC的表达式，确定投影点T1的坐标；
根据投影点T1的坐标，计算线段OT1与X轴之间的夹角q6；
确定夹角q6为AR设备的投影角；
S413，所述AR设备根据所述投影角，在所述前挡风玻璃上投射所述第三图像。
当驾驶员透过前挡风玻璃查看目标物体时，驾驶员人眼能够看到前挡风玻璃上显示的与所述目标物体的影像符合的AR影像，如目标物体为汽车前方的一跟电线杆，则前挡风玻璃上显示电线杆的轮廓影像，如此，有利于驾驶员全面清晰的获取视线内的环境动态，提升行车安全性。
具体实现中，所述AR设备可以通过AR设备中的光学投影仪在所述前挡风玻璃上投射所述第三图像。
可以看出，本发明实施例中，AR设备首先获取包括目标物体的影像的第一图像，基于第一图像，检测AR设备的环境参数，其次，AR设备基于环境参数，确定第一图像的裁剪比例系数，再次，AR设备基于裁剪比例系数，裁剪第一图像以得到第二图像，AR设备然后提取第二图像中目标物体的剩余影像中的M个轮廓特征点，以生成目标物体的AR影像，最后，AR设备在汽车的前挡风玻璃上显示AR影像。可见，本发明实施例提供的AR设备能够生成目标物体的增强现实AR影像，并在汽车的前挡风玻璃上显示生成的AR影像，有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
请参阅图5，图5是本发明第三方法实施例公开的一种影像信息处理方法的流程示意图，所述影像信息处理方法具体包括以下步骤：
S501，所述AR设备以目标物体上的测距特征点为对焦参照点，拍摄所述目标物体以得到第一图像，其中，所述第一图像中与所述对焦参照点对应的像素点为所述第一图像的焦点。
S502，所述AR设备基于所述第一图像中所述焦点在第一图像中的相对位置，检测所述测距特征点与AR设备的中心点之间的距离c0，并确定所述距离c0对应的线段与所述设备视平面的夹角q0，所述设备视平面为所述AR设备的设备视平面；
S503，所述AR设备拍摄驾驶员图像以得到参照图像，基于所述参照图像中驾驶员人眼中心像素点在所述参照图像中的相对位置，检测驾驶员人眼中心点与所述AR设备中心点之间的第一距离c1，并确定所述第一距离c1对应的线段与所述设备视平面的夹角q1；
S504，所述AR设备检测前挡风玻璃上边缘的特征点B’与所述AR设备的中心点之间的第二距离c2、所述第二距离c2对应的线段与所述设备视平面的夹角q2，以及检测前挡风玻璃下边缘的特征点C’与所述AR设备的中心点之间的第三距离c3、所述第三距离c3对应的线段与所述设备视平面的夹角q3；
S505，所述AR设备将所述AR设备的中心点示意为二维坐标系XOY的原点O，将经过所述目标物体的所述测距特征点、且垂直于所述设备视平面的直线示意为直线L，基于所述原点O和所述直线L，确定所述二维坐标系XOY的参照平面，将所述设备视平面在所述参照平面上的投影直线示意为X轴，且所述X轴的方向设置为由所述原点O远离所述直线L的方向；
S506，所述AR设备将驾驶员人眼中心点在所述参照平面上的投影点示意为二维坐标系XOY中的点A，将特征点B’在所述参照平面上的投影点示意为点B，将特征点C’在所述参照平面上的投影点示意为点C，将驾驶员视平面在所述参照平面上的投影直线示意为直线N；
具体实现中，请参阅图4.1；其中，所述点A在所述X轴上的投影为点A1，所述点B在所述直线N上的投影为点B1，所述点B在所述X轴上的投影为点B2，所述原点O在所述直线L上的投影为点O1，所述点A在所述直线L上的投影为点A2，线段OB所在的直线与所述直线L的交点为点C1，线段AB所在的直线与所述直线L的交点为点C2，线段OC所在的直线与所述直线L的交点为点C3；
S507，所述AR设备将所述线段OA的长度等效为所述第一距离c1，将∠AOA1等效为所述夹角q1，将所述线段OB的长度等效为所述距离c2，将∠BOO1等效为所述夹角q2，将所述线段OC的长度等效为所述距离c3，将∠COO1等效为所述夹角q3；
S508，所述AR设备根据所述距离c0和所述夹角q0，确定线段OO1的长度和所述直线L的表达式；根据所述线段OA的长度和所述∠AOA1，确定所述点A的坐标；根据所述线段OB的长度和所述∠BOO1，确定所述点B的坐标；根据所述线段OC的长度和所述∠COO1，确定所述点C的坐标；根据经过所述点A和所述点B的直线的表达式和所述直线L的表达式确定所述点C2的坐标；根据经过所述点C和所述原点O的直线的表达式和所述直线L的表达式确定所述点C3的坐标；根据经过所述点B和所述原点O的直线的表达式和所述直线L的表达式确定所述点C1的坐标；根据所述点C1、所述点C2及所述点C3的坐标确定所述第一图像的裁剪比例系数；
S509，所述AR设备基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
S510，所述AR设备提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的AR影像，所述M为正整数；
S511，所述AR设备基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；
具体实现中，所述AR设备基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角的具体实现方式可以包括以下步骤：
请参阅图4.2；
所述AR设备确定所述M个轮廓特征点的第j个轮廓特征点为当前轮廓特征点T0，所述目标物体上与当前轮廓特征点T0对应的点为特征点T’；
所述AR设备将所述目标物体上的特征点T’示意为直线L上的点T，线段AT与线段BC的交点为投影点T1；
所述AR设备根据当前轮廓特征点T0在第二图像中的位置、线段C2C3与第二图像的对应关系，确定点T的坐标；
所述AR设备根据点T的坐标和点A的坐标，确定线段AT的表达式；
所述AR设备根据线段AT的表达式和线段BC的表达式，确定投影点T1的坐标；
所述AR设备根据投影点T1的坐标，计算线段OT1与X轴之间的夹角q6；
所述AR设备确定夹角q6为AR设备的投影角；
S512，，所述AR设备根据所述投影角，在所述前挡风玻璃上投射所述AR影像。
当驾驶员透过前挡风玻璃查看目标物体时，驾驶员人眼能够看到前挡风玻璃上显示的与所述目标物体的影像符合的AR影像，如目标物体为汽车前方的一跟电线杆，则前挡风玻璃上显示电线杆的轮廓影像，如此，有利于驾驶员全面清晰的获取视线内的环境动态，提升行车安全性。
具体实现中，所述AR设备可以通过AR设备中的激光投影仪在所述前挡风玻璃上投射所述AR影像。
由于AR设备中的激光投影仪可以在极短的时间内高效投射多个AR影像，因此，本发明实施例中的AR设备可以将处理得到的多个AR影像一次投射到汽车的前挡风玻璃上，如此，有利于提升AR设备的影像处理效率。
可以看出，本发明实施例中，AR设备首先获取包括目标物体的影像的第一图像，基于第一图像，检测AR设备的环境参数，其次，AR设备基于环境参数，确定第一图像的裁剪比例系数，再次，AR设备基于裁剪比例系数，裁剪第一图像以得到第二图像，AR设备然后提取第二图像中目标物体的剩余影像中的M个轮廓特征点，以生成目标物体的AR影像，最后，AR设备在汽车的前挡风玻璃上显示AR影像。可见，本发明实施例提供的AR设备能够生成目标物体的增强现实AR影像，并在汽车的前挡风玻璃上显示生成的AR影像，有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
请参阅图6，图6是本发明第四方法实施例公开的一种影像信息处理方法的流程示意图，所述影像信息处理方法具体包括以下步骤：
S601，所述AR设备以目标物体上的测距特征点为对焦参照点，拍摄所述目标物体以得到第一图像，其中，所述第一图像中与所述对焦参照点对应的像素点为所述第一图像的焦点；
S602，所述AR设备基于所述第一图像中所述焦点在第一图像中的相对位置，检测所述测距特征点与AR设备的中心点之间的距离c0，并确定所述距离c0对应的线段与所述设备视平面的夹角q0，所述设备视平面为所述AR设备的设备视平面；
S603，所述AR设备拍摄驾驶员图像以得到参照图像，基于所述参照图像中驾驶员人眼中心像素点在所述参照图像中的相对位置，检测驾驶员人眼中心点与所述AR设备中心点之间的第一距离c1，并确定所述第一距离c1对应的线段与所述设备视平面的夹角q1；
S604，所述AR设备检测前挡风玻璃上边缘的特征点B’与所述AR设备的中心点之间的第二距离c2、所述第二距离c2对应的线段与所述设备视平面的夹角q2，以及检测前挡风玻璃下边缘的特征点C’与所述AR设备的中心点之间的第三距离c3、所述第三距离c3对应的线段与所述设备视平面的夹角q3；
S605，所述AR设备将所述AR设备的中心点示意为二维坐标系XOY的原点O，将经过所述目标物体的所述测距特征点、且垂直于所述设备视平面的直线示意为直线L，基于所述原点O和所述直线L，确定所述二维坐标系XOY的参照平面，将所述设备视平面在所述参照平面上的投影直线示意为X轴，且所述X轴的方向设置为由所述原点O远离所述直线L的方向；
S606，所述AR设备将驾驶员人眼中心点在所述参照平面上的投影点示意为二维坐标系XOY中的点A，将特征点B’在所述参照平面上的投影点示意为点B，将特征点C’在所述参照平面上的投影点示意为点C，将驾驶员视平面在所述参照平面上的投影直线示意为直线N；
具体实现中，请参阅图4.1；其中，所述点A在所述X轴上的投影为点A1，所述点B在所述直线N上的投影为点B1，所述点B在所述X轴上的投影为点B2，所述原点O在所述直线L上的投影为点O1，所述点A在所述直线L上的投影为点A2，线段OB所在的直线与所述直线L的交点为点C1，线段AB所在的直线与所述直线L的交点为点C2，线段OC所在的直线与所述直线L的交点为点C3；
S607，所述AR设备将所述线段OA的长度等效为所述第一距离c1，将∠AOA1等效为所述夹角q1，将所述线段OB的长度等效为所述距离c2，将∠BOO1等效为所述夹角q2，将所述线段OC的长度等效为所述距离c3，将∠COO1等效为所述夹角q3；
S608，所述AR设备根据所述距离c0和所述夹角q0，确定线段OO1的长度和所述直线L的表达式；根据所述线段OA的长度和所述∠AOA1，确定所述点A的坐标；根据所述线段OB的长度和所述∠BOO1，确定所述点B的坐标；根据所述线段OC的长度和所述∠COO1，确定所述点C的坐标；根据经过所述点A和所述点B的直线的表达式和所述直线L的表达式确定所述点C2的坐标；根据经过所述点C和所述原点O的直线的表达式和所述直线L的表达式确定所述点C3的坐标；根据经过所述点B和所述原点O的直线的表达式和所述直线L的表达式确定所述点C1的坐标；根据所述点C1、所述点C2及所述点C3的坐标确定所述第一图像的裁剪比例系数；
S609，所述AR设备基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
S610，所述AR设备提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的AR影像，所述M为正整数；
S611，所述AR设备确定所述M个轮廓特征点对应的所述前挡风玻璃上的M个投影点的位置；
具体实现中，所述AR设备确定所述M个轮廓特征点对应的所述前挡风玻璃上的M个投影点的位置的具体实现方式为：
请参阅图4.2；
所述AR设备确定所述M个轮廓特征点的第j个轮廓特征点为当前轮廓特征点T0，所述目标物体上与当前轮廓特征点T0对应的点为特征点T’；
所述AR设备将所述目标物体上的特征点T’示意为直线L上的点T，线段AT与线段BC的交点为投影点T1；
所述AR设备根据当前轮廓特征点T0在第二图像中的位置、线段C2C3与第二图像的对应关系，确定点T的坐标；
所述AR设备根据点T的坐标和点A的坐标，确定线段AT的表达式；
所述AR设备根据线段AT的表达式和线段BC的表达式，确定投影点T1的坐标；
所述AR设备在投影点位置集合中添加所述投影点T1的坐标，并保存所述第j个轮廓特征点和所述投影点T1的坐标之间的映射关系；
所述AR设备判断出所述第j个轮廓特征点为所述M个轮廓特征点中的最后一个轮廓特征点，则确定所述投影点位置集合中的投影点的坐标为所述M个轮廓特征点对应的所述前挡风玻璃上的M个投影点的位置。
S612，所述AR设备基于所述M个投影点的位置，在所述汽车的前挡风玻璃的显示屏上显示所述AR影像；
当驾驶员透过前挡风玻璃查看目标物体时，驾驶员人眼能够看到前挡风玻璃上显示的与所述目标物体的影像符合的AR影像，如目标物体为汽车前方的一跟电线杆，则前挡风玻璃上显示电线杆的轮廓影像，如此，有利于驾驶员全面清晰的获取视线内的环境动态，提升行车安全性。
具体实现中，所述AR设备可以通过AR设备的通信接口向所述前挡风玻璃中的显示屏传输所述AR影像，以及所述M个投影点的位置，从而，汽车的前挡风玻璃上显示所述AR影像。
可以看出，本发明实施例中，AR设备首先获取包括目标物体的影像的第一图像，基于第一图像，检测AR设备的环境参数，其次，AR设备基于环境参数，确定第一图像的裁剪比例系数，再次，AR设备基于裁剪比例系数，裁剪第一图像以得到第二图像，AR设备然后提取第二图像中目标物体的剩余影像中的M个轮廓特征点，以生成目标物体的AR影像，最后，AR设备在汽车的前挡风玻璃上显示AR影像。可见，本发明实施例提供的AR设备能够生成目标物体的增强现实AR影像，并在汽车的前挡风玻璃上显示生成的AR影像，有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
上述AR设备中执行的部分或全部步骤，具体可以由所述AR设备通过执行上述存储器中的软件模块(程序代码)来实现。例如，所述步骤S301、步骤S401、步骤S501和步骤S601可以由AR设备执行图2所示的图像获取模块来实现；所述步骤S302、步骤S402、步骤S403、步骤S404、步骤S502、步骤S503、步骤S504、步骤S602、步骤S603和步骤S604可以由AR设备执行图2所示的参数检测模块来实现；所述步骤S303、步骤S405至步骤S408、步骤S505至步骤S508、步骤S605至步骤S608可以由AR设备执行图2所示的系数确定模块来实现；所述步骤S304、步骤S409、步骤S509、和步骤S609可以由AR设备执行图2所示的图像裁剪模块来实现，所述步骤S305、步骤S410、步骤S510和步骤S610可以由AR设备执行图2所示的影像生成模块来实现，所述步骤S306、步骤S411至步骤S413步骤S511、步骤S512和步骤S611、步骤S612可以由AR设备执行图2所示的影像输出模块来实现。
下面为本发明装置实施例，本发明装置实施例用于执行本发明方法实施例所实现的方法。请参阅图7，图7是本发明装置实施例公开的一种AR设备的简化功能单元框图。
如图7所示，所述AR设备包括图像获取单元701、参数检测单元702、系数确定单元703、图像裁剪单元704、影像生成单元705，影像输出单元706，其中：
所述图像获取单元701，用于获取包括目标物体的影像的第一图像，其中，所述AR设备设置于汽车的中控台上，所述目标物体位于所述汽车的前方；
所述参数检测单元702，用于基于所述第一图像，检测AR设备的环境参数；
所述系数确定单元703，用于基于所述环境参数，确定所述第一图像的裁剪比例系数；
所述图像裁剪单元704，用于基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
所述影像生成单元705，用于提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的AR影像，所述M为正整数；
所述影像输出单元706，用于在所述汽车的前挡风玻璃上显示所述AR影像。
可选的，所述影像输出单元706在所述汽车的前挡风玻璃上显示所述AR影像的具体实现方式为：
根据所述M个轮廓特征点在所述第二图像中的位置，在第三图像中添加所述AR影像，所述第三图像为空白图像，所述第三图像的尺寸与所述第二图像的尺寸相匹配；
基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；
根据所述投影角，在所述前挡风玻璃上投射所述第三图像。
可选的，所述影像输出单元706在所述汽车的前挡风玻璃上显示所述AR影像的具体实现方式为：
基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；
根据所述投影角，在所述前挡风玻璃上投射所述AR影像。
可选的，所述前挡风玻璃包括显示屏，所述影像输出单元706在所述汽车的前挡风玻璃上显示所述AR影像的具体实现方式为：
确定所述M个轮廓特征点对应的所述前挡风玻璃上的M个投影点的位置；
基于所述M个投影点的位置，在所述汽车的前挡风玻璃的显示屏上显示所述AR影像。
可选的，所述图像获取单元701获取包括目标物体的影像的第一图像的具体实现方式为：以目标物体上的测距特征点为对焦参照点，拍摄所述目标物体以得到第一图像，其中，所述第一图像中与所述对焦参照点对应的像素点为所述第一图像的焦点。
可选的，所述参数检测单元702基于所述第一图像，检测AR设备的环境参数的具体实现方式为：
基于所述第一图像中所述焦点在第一图像中的相对位置，检测所述测距特征点与AR设备的中心点之间的距离c0，并确定所述距离c0对应的线段与所述设备视平面的夹角q0，所述设备视平面为所述AR设备的设备视平面；
拍摄驾驶员图像以得到参照图像，基于所述参照图像中驾驶员人眼中心像素点在所述参照图像中的相对位置，检测驾驶员人眼中心点与所述AR设备中心点之间的第一距离c1，并确定所述第一距离c1对应的线段与所述设备视平面的夹角q1；
检测前挡风玻璃上边缘的特征点B’与所述AR设备的中心点之间的第二距离c2、所述第二距离c2对应的线段与所述设备视平面的夹角q2，以及检测前挡风玻璃下边缘的特征点C’与所述AR设备的中心点之间的第三距离c3、所述第三距离c3对应的线段与所述设备视平面的夹角q3。
可选的，所述系数确定单元703基于所述环境参数，确定所述第一图像的裁剪比例系数的具体实现方式为：
将所述AR设备的中心点示意为二维坐标系XOY的原点O，将经过所述目标物体的所述测距特征点、且垂直于所述设备视平面的直线示意为直线L，基于所述原点O和所述直线L，确定所述二维坐标系XOY的参照平面，将所述设备视平面在所述参照平面上的投影直线示意为X轴，且所述X轴的方向设置为由所述原点O远离所述直线L的方向；
将驾驶员人眼中心点在所述参照平面上的投影点示意为二维坐标系XOY中的点A，将特征点B’在所述参照平面上的投影点示意为点B，将特征点C’在所述参照平面上的投影点示意为点C，将驾驶员视平面在所述参照平面上的投影直线示意为直线N；
其中，所述点A在所述X轴上的投影为点A1，所述点B在所述直线N上的投影为点B1，所述点B在所述X轴上的投影为点B2，所述原点O在所述直线L上的投影为点O1，所述点A在所述直线L上的投影为点A2，线段OB所在的直线与所述直线L的交点为点C1，线段AB所在的直线与所述直线L的交点为点C2，线段OC所在的直线与所述直线L的交点为点C3；
将所述线段OA的长度等效为第一距离c1，将∠AOA1等效为所述夹角q1，将所述线段OB的长度等效为所述距离c2，将∠BOO1等效为所述夹角q2，将所述线段OC的长度等效为所述距离c3，将∠COO1等效为所述夹角q3；
根据所述距离c0和所述夹角q0，确定线段OO1的长度和所述直线L的表达式；根据所述线段OA的长度和所述∠AOA1，确定所述点A的坐标；根据所述线段OB的长度和所述∠BOO1，确定所述点B的坐标；根据所述线段OC的长度和所述∠COO1，确定所述点C的坐标；根据经过所述点A和所述点B的直线的表达式和所述直线L的表达式确定所述点C2的坐标；根据经过所述点C和所述原点O的直线的表达式和所述直线L的表达式确定所述点C3的坐标；根据经过所述点B和所述原点O的直线的表达式和所述直线L的表达式确定所述点C1的坐标；根据所述点C1、所述点C2及所述点C3的坐标确定所述第一图像的裁剪比例系数。
需要注意的是，本发明功能单元装置实施例所描述的AR设备是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义，用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC，单个电路，用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器，组合逻辑电路，和/或提供实现上述功能的其他合适的组件。
举例来说，本领域技术员人可以知晓该AR设备的硬件载体的组成形式具体可以是图1.2和图2所示的AR设备100。
其中，所述图像获取单元701的功能可以由所述AR设备100中的处理器101和存储器102来实现，具体是通过处理器100运行存储器102中的图像获取模块，调用所述前置摄像头103获取包括目标物体的影像的第一图像；
所述参数检测单元702的功能可以由所述AR设备100中的处理器101和存储器102来实现，具体是通过处理器100运行存储器102中的参数获取模块，基于所述第一图像，检测AR设备的环境参数；
所述系数确定单元703的功能可以由所述AR设备100中的处理器101和存储器102来实现，具体是通过处理器100运行存储器102中的系数确定模块，基于所述环境参数，确定所述第一图像的裁剪比例系数；
所述图像裁剪单元704的功能可以由所述AR设备100中的处理器101和存储器102来实现，具体是通过处理器100运行存储器102中的图像裁剪模块，基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
所述影像生成单元705的功能可以由所述AR设备100中的处理器101和存储器102来实现，具体是通过处理器100运行存储器102中的影像生成模块，提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的AR影像；
所述影像输出单元706的功能可以由所述AR设备100中的处理器101和存储器102来实现，具体是通过处理器100运行存储器102中的影像输出模块，在所述汽车的前挡风玻璃上显示所述AR影像。
可以看出，本发明实施例中，本发明实施例公开的AR设备的图像获取单元首先获取包括目标物体的影像的第一图像，其次，AR设备的参数检测单元基于第一图像，检测AR设备的环境参数，再次，AR设备的系数确定单元基于环境参数，确定第一图像的裁剪比例系数，再次，AR设备的图像裁剪单元基于裁剪比例系数，裁剪第一图像以得到第二图像，再次，AR设备的影像生成单元提取第二图像中目标物体的剩余影像中的M个轮廓特征点，以生成目标物体的AR影像，最后，AR设备的影像输出单元在汽车的前挡风玻璃上显示AR影像。可见，本发明实施例提供的AR设备能够生成目标物体的增强现实AR影像，并在汽车的前挡风玻璃上显示生成的AR影像，有利于驾驶员全面清晰的获取视线内的环境动态，从而提升行车安全性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例公开的一种影像信息处理方法及增强现实AR设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种影像信息处理方法，其特征在于，包括：
增强现实AR设备获取包括目标物体的影像的多个第一图像，其中，所述AR设备设置于汽车的中控台上，所述目标物体位于所述汽车的前方；所述AR设备拍摄驾驶员图像以得到参照图像；
所述AR设备基于所述第一图像、所述参照图像以及前挡风玻璃的上下边缘特征点，检测AR设备的环境参数；
所述AR设备基于所述环境参数，确定所述第一图像的裁剪比例系数；
所述AR设备基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
所述AR设备提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的多个AR影像，所述M为正整数；
所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像，包括：所述AR设备基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角，所述AR设备根据所述投影角，在所述前挡风玻璃上投射所述多个AR影像。
2.根据权利要求1所述的方法，其特征在于，所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像，包括：
所述AR设备根据所述M个轮廓特征点在所述第二图像中的位置，在第三图像中添加所述AR影像，所述第三图像为空白图像，所述第三图像的尺寸与所述第二图像的尺寸相匹配；
所述AR设备基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；
所述AR设备根据所述投影角，在所述前挡风玻璃上投射所述第三图像。
3.根据权利要求1所述的方法，其特征在于，所述前挡风玻璃包括显示屏，所述AR设备在所述汽车的前挡风玻璃上显示所述AR影像，包括：
所述AR设备确定所述M个轮廓特征点对应的所述前挡风玻璃上的M个投影点的位置；
所述AR设备基于所述M个投影点的位置，在所述汽车的前挡风玻璃的显示屏上显示所述AR影像。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述AR设备获取包括目标物体的影像的第一图像，包括：
所述AR设备以目标物体上的测距特征点为对焦参照点，拍摄所述目标物体以得到第一图像，其中，所述第一图像中与所述对焦参照点对应的像素点为所述第一图像的焦点。
5.根据权利要求4所述的方法，其特征在于，所述AR设备基于所述第一图像、所述参照图像以及前挡风玻璃的上下边缘特征点，检测AR设备的环境参数，包括：
所述AR设备基于所述第一图像中所述焦点在第一图像中的相对位置，检测所述测距特征点与AR设备的中心点之间的距离c0，并确定所述距离c0对应的线段与所述设备视平面的夹角q0，所述设备视平面为所述AR设备的设备视平面；
所述AR设备基于所述参照图像中驾驶员人眼中心像素点在所述参照图像中的相对位置，检测驾驶员人眼中心点与所述AR设备中心点之间的第一距离c1，并确定所述第一距离c1对应的线段与所述设备视平面的夹角q1；
所述AR设备检测前挡风玻璃上边缘的特征点B’与所述AR设备的中心点之间的第二距离c2、所述第二距离c2对应的线段与所述设备视平面的夹角q2，以及检测前挡风玻璃下边缘的特征点C’与所述AR设备的中心点之间的第三距离c3、所述第三距离c3对应的线段与所述设备视平面的夹角q3。
6.根据权利要求5所述的方法，其特征在于，所述AR设备基于所述环境参数，确定所述第一图像的裁剪比例系数，包括：
所述AR设备将所述AR设备的中心点示意为二维坐标系XOY的原点O，将经过所述目标物体的所述测距特征点、且垂直于所述设备视平面的直线示意为直线L，基于所述原点O和所述直线L，确定所述二维坐标系XOY的参照平面，将所述设备视平面在所述参照平面上的投影直线示意为X轴，且所述X轴的方向设置为由所述原点O远离所述直线L的方向；
所述AR设备将驾驶员人眼中心点在所述参照平面上的投影点示意为二维坐标系XOY中的点A，将特征点B’在所述参照平面上的投影点示意为点B，将特征点C’在所述参照平面上的投影点示意为点C，将驾驶员视平面在所述参照平面上的投影直线示意为直线N；
其中，所述点A在所述X轴上的投影为点A1，所述点B在所述直线N上的投影为点B1，所述点B在所述X轴上的投影为点B2，所述原点O在所述直线L上的投影为点O1，所述点A在所述直线L上的投影为点A2，线段OB所在的直线与所述直线L的交点为点C1，线段AB所在的直线与所述直线L的交点为点C2，线段OC所在的直线与所述直线L的交点为点C3；
所述AR设备将所述线段OA的长度等效为所述第一距离c1，将∠AOA1等效为所述夹角q1，将所述线段OB的长度等效为所述距离c2，将∠BOO1等效为所述夹角q2，将所述线段OC的长度等效为所述距离c3，将∠COO1等效为所述夹角q3；
所述AR设备根据所述距离c0和所述夹角q0，确定线段OO1的长度和所述直线L的表达式；根据所述线段OA的长度和所述∠AOA1，确定所述点A的坐标；根据所述线段OB的长度和所述∠BOO1，确定所述点B的坐标；根据所述线段OC的长度和所述∠COO1，确定所述点C的坐标；根据经过所述点A和所述点B的直线的表达式和所述直线L的表达式确定所述点C2的坐标；根据经过所述点C和所述原点O的直线的表达式和所述直线L的表达式确定所述点C3的坐标；根据经过所述点B和所述原点O的直线的表达式和所述直线L的表达式确定所述点C1的坐标；根据所述点C1、所述点C2及所述点C3的坐标确定所述第一图像的裁剪比例系数。
7.一种增强现实AR设备，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如下步骤：
获取包括目标物体的影像的多个第一图像，其中，所述AR设备设置于汽车的中控台上，所述目标物体位于所述汽车的前方；拍摄驾驶员图像以得到参照图像；
基于所述第一图像、所述参照图像以及前挡风玻璃的上下边缘特征点，检测AR设备的环境参数；
基于所述环境参数，确定所述第一图像的裁剪比例系数；
基于所述裁剪比例系数，裁剪所述第一图像以得到第二图像；
提取所述第二图像中所述目标物体的剩余影像中的M个轮廓特征点，以生成所述目标物体的多个AR影像，所述M为正整数；
在所述汽车的前挡风玻璃上显示所述AR影像，包括：基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角，根据所述投影角，在所述前挡风玻璃上投射所述多个AR影像。
8.根据权利要求7所述的AR设备，其特征在于，所述处理器在所述汽车的前挡风玻璃上显示所述AR影像的具体实现方式为：
根据所述M个轮廓特征点在所述第二图像中的位置，在第三图像中添加所述AR影像，所述第三图像为空白图像，所述第三图像的尺寸与所述第二图像的尺寸相匹配；
基于所述AR影像中的轮廓特征点和所述环境参数，确定所述AR影像的投影角；
根据所述投影角，在所述前挡风玻璃上投射所述第三图像。
9.根据权利要求7所述的AR设备，其特征在于，所述前挡风玻璃包括显示屏，所述处理器在所述汽车的前挡风玻璃上显示所述AR影像的具体实现方式为：
确定所述M个轮廓特征点对应的所述前挡风玻璃上的M个投影点的位置；
基于所述M个投影点的位置，在所述汽车的前挡风玻璃的显示屏上显示所述AR影像，所述前挡风玻璃为显示屏。
10.根据权利要求7-9任一项所述的AR设备，其特征在于，所述处理器获取包括目标物体的影像的第一图像的具体实现方式为：
以目标物体上的测距特征点为对焦参照点，拍摄所述目标物体以得到第一图像，其中，所述第一图像中与所述对焦参照点对应的像素点为所述第一图像的焦点。
11.根据权利要求10所述的AR设备，其特征在于，所述处理器基于所述第一图像、所述参照图像以及前挡风玻璃的上下边缘特征点，检测AR设备的环境参数的具体实现方式为：
基于所述第一图像中所述焦点在第一图像中的相对位置，检测所述测距特征点与AR设备的中心点之间的距离c0，并确定所述距离c0对应的线段与所述设备视平面的夹角q0，所述设备视平面为所述AR设备的设备视平面；
基于所述参照图像中驾驶员人眼中心像素点在所述参照图像中的相对位置，检测驾驶员人眼中心点与所述AR设备中心点之间的第一距离c1，并确定所述第一距离c1对应的线段与所述设备视平面的夹角q1；
检测前挡风玻璃上边缘的特征点B’与所述AR设备的中心点之间的第二距离c2、所述第二距离c2对应的线段与所述设备视平面的夹角q2，以及检测前挡风玻璃下边缘的特征点C’与所述AR设备的中心点之间的第三距离c3、所述第三距离c3对应的线段与所述设备视平面的夹角q3。
12.根据权利要求11所述的AR设备，其特征在于，所述处理器基于所述环境参数，确定所述第一图像的裁剪比例系数的具体实现方式为：
将所述AR设备的中心点示意为二维坐标系XOY的原点O，将经过所述目标物体的所述测距特征点、且垂直于所述设备视平面的直线示意为直线L，基于所述原点O和所述直线L，确定所述二维坐标系XOY的参照平面，将所述设备视平面在所述参照平面上的投影直线示意为X轴，且所述X轴的方向设置为由所述原点O远离所述直线L的方向；
将驾驶员人眼中心点在所述参照平面上的投影点示意为二维坐标系XOY中的点A，将特征点B’在所述参照平面上的投影点示意为点B，将特征点C’在所述参照平面上的投影点示意为点C，将驾驶员视平面在所述参照平面上的投影直线示意为直线N；
其中，所述点A在所述X轴上的投影为点A1，所述点B在所述直线N上的投影为点B1，所述点B在所述X轴上的投影为点B2，所述原点O在所述直线L上的投影为点O1，所述点A在所述直线L上的投影为点A2，线段OB所在的直线与所述直线L的交点为点C1，线段AB所在的直线与所述直线L的交点为点C2，线段OC所在的直线与所述直线L的交点为点C3；
将所述线段OA的长度等效为第一距离c1，将∠AOA1等效为所述夹角q1，将所述线段OB的长度等效为所述距离c2，将∠BOO1等效为所述夹角q2，将所述线段OC的长度等效为所述距离c3，将∠COO1等效为所述夹角q3；
根据所述距离c0和所述夹角q0，确定线段OO1的长度和所述直线L的表达式；根据所述线段OA的长度和所述∠AOA1，确定所述点A的坐标；根据所述线段OB的长度和所述∠BOO1，确定所述点B的坐标；根据所述线段OC的长度和所述∠COO1，确定所述点C的坐标；根据经过所述点A和所述点B的直线的表达式和所述直线L的表达式确定所述点C2的坐标；根据经过所述点C和所述原点O的直线的表达式和所述直线L的表达式确定所述点C3的坐标；根据经过所述点B和所述原点O的直线的表达式和所述直线L的表达式确定所述点C1的坐标；根据所述点C1、所述点C2及所述点C3的坐标确定所述第一图像的裁剪比例系数。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2015/100331 WO2017113403A1 (zh) | 2015-12-31 | 2015-12-31 | 一种影像信息处理方法及增强现实ar设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108290521A CN108290521A (zh) | 2018-07-17 |
| CN108290521B true CN108290521B (zh) | 2020-09-08 |
Family
ID=59224408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580084719.0A Active CN108290521B (zh) | 2015-12-31 | 2015-12-31 | 一种影像信息处理方法及增强现实ar设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10712556B2 (zh) |
| CN (1) | CN108290521B (zh) |
| WO (1) | WO2017113403A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019058492A1 (ja) * | 2017-09-22 | 2019-03-28 | マクセル株式会社 | 表示システム及び表示方法 |
| EP3767432A4 (en) * | 2018-03-14 | 2021-05-05 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM |
| US10970929B2 (en) * | 2018-07-16 | 2021-04-06 | Occipital, Inc. | Boundary detection using vision-based feature mapping |
| US11727362B2 (en) * | 2018-08-02 | 2023-08-15 | Cvg Management Corporation | Road maintenance analytics |
| US20200143573A1 (en) * | 2018-11-05 | 2020-05-07 | The Boeing Company | Anti-glare system for aircraft |
| CN111182278B (zh) * | 2018-11-09 | 2022-06-14 | 上海云绅智能科技有限公司 | 一种投影展示管理方法及系统 |
| CN110673607B (zh) * | 2019-09-25 | 2023-05-16 | 优地网络有限公司 | 动态场景下的特征点提取方法、装置、及终端设备 |
| DE102020200572A1 (de) * | 2019-12-18 | 2021-06-24 | Conti Temic Microelectronic Gmbh | Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern |
| CN111323042B (zh) * | 2020-02-20 | 2023-10-10 | 华为技术有限公司 | 目标物体的预警方法、装置和电子设备 |
| CN112633303A (zh) * | 2020-12-18 | 2021-04-09 | 上海影创信息科技有限公司 | 限高画面变形检测方法和系统及车辆 |
| DE102021202527A1 (de) | 2021-03-16 | 2022-09-22 | Psa Automobiles Sa | Anzeigevorrichtung und Verfahren zum Darstellen eines Objekts auf einer Beleuchtungseinrichtung |
| US20230196898A1 (en) * | 2021-12-21 | 2023-06-22 | Anderson Connectivity, Inc. | Power Supply Unit Including an Integrated Processing Unit for Installation in a Commercial Vehicle System |
| CN114581627B (zh) * | 2022-03-04 | 2024-04-16 | 合众新能源汽车股份有限公司 | 基于arhud的成像方法和系统 |
| CN114815779B (zh) * | 2022-04-25 | 2023-01-10 | 深圳市希车智能科技有限公司 | 基于ar与vr的汽车远程交互诊断方法、系统及其存储介质 |
| CN116310186B (zh) * | 2023-05-10 | 2023-08-04 | 深圳智筱视觉科技有限公司 | 一种基于地理位置的ar虚拟空间定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004306792A (ja) * | 2003-04-07 | 2004-11-04 | Calsonic Kansei Corp | ヘッドアップディスプレイ |
| CN102308241A (zh) * | 2009-02-18 | 2012-01-04 | 松下电器产业株式会社 | 摄像装置 |
| CN105163972A (zh) * | 2013-09-13 | 2015-12-16 | 日立麦克赛尔株式会社 | 信息显示系统以及信息显示装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2141926A4 (en) * | 2007-04-27 | 2010-08-11 | Honda Motor Co Ltd | VEHICLE PERIPHERAL MONITORING DEVICE, VEHICLE PERIPHERAL MONITORING PROGRAM, AND VEHICLE PERIPHERAL MONITORING METHOD |
| WO2010029707A2 (ja) * | 2008-09-12 | 2010-03-18 | 株式会社 東芝 | 画像照射システム及び画像照射方法 |
| US8564502B2 (en) * | 2009-04-02 | 2013-10-22 | GM Global Technology Operations LLC | Distortion and perspective correction of vector projection display |
| US8384531B2 (en) * | 2009-04-02 | 2013-02-26 | GM Global Technology Operations LLC | Recommended following distance on full-windshield head-up display |
| CN102158684A (zh) | 2010-02-12 | 2011-08-17 | 王炳立 | 具有图像增强功能的自适应场景图像辅助系统 |
| US8514101B2 (en) * | 2011-12-02 | 2013-08-20 | GM Global Technology Operations LLC | Driving maneuver assist on full windshield head-up display |
| CN103182984B (zh) | 2011-12-28 | 2015-08-26 | 财团法人车辆研究测试中心 | 车用影像显示系统及其校正方法 |
| CN103366708A (zh) | 2012-03-27 | 2013-10-23 | 冠捷投资有限公司 | 具有实景导游功能的透明显示器 |
| WO2013169601A2 (en) * | 2012-05-07 | 2013-11-14 | Honda Motor Co., Ltd. | Method to generate virtual display surfaces from video imagery of road based scenery |
| CN102910130B (zh) * | 2012-10-24 | 2015-08-05 | 浙江工业大学 | 一种现实增强型的驾驶辅助预警系统 |
| KR102069736B1 (ko) | 2013-10-11 | 2020-01-23 | 현대모비스 주식회사 | 가상 이미지 출력 장치 및 그 방법 |
| JP6287237B2 (ja) * | 2014-01-17 | 2018-03-07 | 株式会社リコー | 情報処理装置、情報処理方法及びプログラム |
-
2015
- 2015-12-31 WO PCT/CN2015/100331 patent/WO2017113403A1/zh active Application Filing
- 2015-12-31 CN CN201580084719.0A patent/CN108290521B/zh active Active
- 2015-12-31 US US15/565,555 patent/US10712556B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004306792A (ja) * | 2003-04-07 | 2004-11-04 | Calsonic Kansei Corp | ヘッドアップディスプレイ |
| CN102308241A (zh) * | 2009-02-18 | 2012-01-04 | 松下电器产业株式会社 | 摄像装置 |
| CN105163972A (zh) * | 2013-09-13 | 2015-12-16 | 日立麦克赛尔株式会社 | 信息显示系统以及信息显示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017113403A1 (zh) | 2017-07-06 |
| CN108290521A (zh) | 2018-07-17 |
| US20180120561A1 (en) | 2018-05-03 |
| US10712556B2 (en) | 2020-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108290521B (zh) | 一种影像信息处理方法及增强现实ar设备 | |
| CN107816976B (zh) | 一种接近物体的位置确定方法和装置 | |
| JP5912200B2 (ja) | 複数のセンサーを用いる物体検出方法及びシステム | |
| WO2017159382A1 (ja) | 信号処理装置および信号処理方法 | |
| US11945467B2 (en) | Identification of proxy calibration targets for a fleet of vehicles | |
| KR20200091951A (ko) | 동적 범위를 확장하기 위한 다수의 동작 모드들 | |
| CN110363899B (zh) | 基于通信通道检测中继攻击的方法及设备 | |
| CN110691986B (zh) | 用于计算机视觉的设备、方法和非暂时性计算机可读记录介质 | |
| JP7568504B2 (ja) | 受光装置及び測距装置 | |
| JPWO2016132950A1 (ja) | 撮像装置および撮像方法 | |
| CN111487656A (zh) | 用于在城市峡谷中定位的系统和方法 | |
| CN114842075B (zh) | 数据标注方法、装置、存储介质及车辆 | |
| CN115205311B (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
| CN109906657B (zh) | 资源复用方法、终端和相关设备 | |
| CN113252034B (zh) | 一种路径规划方法及相关设备 | |
| CN114693536A (zh) | 一种图像处理方法，装置及储存介质 | |
| CN115205461B (zh) | 场景重建方法、装置、可读存储介质及车辆 | |
| CN111819626B (zh) | 一种语音交互的方法及装置 | |
| CN115170630B (zh) | 地图生成方法、装置、电子设备、车辆和存储介质 | |
| CN113132893A (zh) | 一种高精度定位方法、车载终端及系统 | |
| CN116106931A (zh) | 一种涉水预警的方法及相关装置 | |
| CN114862931A (zh) | 深度距离确定方法、装置、车辆、存储介质与芯片 | |
| WO2022115288A1 (en) | Methods of using background images from a light detection and ranging (lidar) device | |
| CN114842454B (zh) | 障碍物检测方法、装置、设备、存储介质、芯片及车辆 | |
| CN115221260B (zh) | 数据处理方法、装置、车辆及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |