CN109323708A - 电子装置及其控制方法 - Google Patents
电子装置及其控制方法 Download PDFInfo
- Publication number
- CN109323708A CN109323708A CN201811382624.9A CN201811382624A CN109323708A CN 109323708 A CN109323708 A CN 109323708A CN 201811382624 A CN201811382624 A CN 201811382624A CN 109323708 A CN109323708 A CN 109323708A
- Authority
- CN
- China
- Prior art keywords
- route guiding
- vehicle
- driveway
- line
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003190 augmentative effect Effects 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 18
- 108020005196 Mitochondrial DNA Proteins 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000001965 increasing effect Effects 0.000 claims description 7
- 239000007787 solid Substances 0.000 claims description 2
- 230000001427 coherent effect Effects 0.000 abstract description 15
- 238000004891 communication Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 21
- 230000015654 memory Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004040 coloring Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 208000035126 Facies Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/072—Curvature of the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
本发明公开电子装置及其控制方法,本发明的电子装置的控制方法包括:从车辆的驾驶相关影像数据中识别车道线区域部分的步骤;从所识别的车道线区域部分的影像数据中生成与车辆所处的车行道相对应的车道线信息的步骤;利用所生成的车道线信息及车辆所处的道路的车行道信息中的至少一种来生成车辆所处的车行道位置信息的步骤;以及利用所生成的车行道位置信息来执行车辆的驾驶相关引导的步骤。
Description
本申请是原案申请号为201510336818.5的发明专利申请(申请日:2015年6月17日,发明名称:电子装置及其控制方法)的分案申请。
技术领域
本发明涉及电子装置及其控制方法,更详细地,涉及可识别车行道位置及基于识别车行道来执行驾驶相关引导的电子装置及其控制方法。
背景技术
当车辆行驶时,最重要的是安全行驶及预防交通事故,为此,在车辆安装有执行控制车辆的姿势、控制车辆结构装置的功能等的多种辅助装置及安全带、安全气囊等安全装置。
不仅如此,近期,设置于车辆的黑匣子等的装置存储车辆的行驶影像及从各种传感器传输的数据,从而处于在车辆设置当车辆发生交通事故时用于查明车辆的事故原因的装置的趋势。由于也可以在智能手机、平板电脑等便携式终端设备安装黑匣子或导航仪应用等,因而被用作如上所述的车辆用装置。
但实际上,目前在这种车辆用装置中的行驶影像的利用率非常低。更具体地,即使通过目前安装于车辆的摄像头等的视觉传感器来获得车辆的行驶影像,车辆的电子装置仅停留于单纯地显示、传送这种影像或仅停留于生成是否脱离车道线等简单的周边提示信息。
并且,作为目前受关注的新的车辆电子装置,还提出平视显示器(HUD,Head-UpDisplay)或增强现实界面,但在这些装置中,对车辆的行驶影像的利用率也仅停留在单纯显示或生成简单的提示信息的层面。
发明内容
本发明为了解决上述的问题而提出,本发明的目的在于,提供可利用车辆的驾驶相关影像数据来生成车辆所处的车行道位置信息,并基于此来执行驾驶相关引导的电子装置及其控制方法。
并且,本发明的另一目的在于,提供可基于增强现实来有效执行驾驶相关引导的电子装置及其控制方法。
用于实现上述目的的本发明一实施例的电子装置的控制方法包括:从车辆的驾驶相关影像数据中识别车道线区域部分的步骤;从所识别的上述车道线区域部分的影像数据中生成与上述车辆所处的车行道相对应的车道线信息的步骤;利用所生成的上述车道线信息及上述车辆所处的道路的车行道信息中的至少一种来生成上述车辆所处的车行道位置信息的步骤;以及利用所生成的上述车行道位置信息来执行上述车辆的驾驶相关引导的步骤。
而且,上述车道线信息可包含与以上述车辆所处的车行道为基准位于上述车行道的两侧的各车道线相对应的车道线种类信息、车道线颜色信息。
并且,生成上述车行道位置信息的步骤可包括:从地图数据中获得上述车辆所处的道路的车行道信息的步骤;利用所生成的上述车道线信息来判断上述车辆是否位于上述道路的第一车行道或末尾车行道的步骤;以及在上述车辆位于上述第一车行道或末尾车行道的情况下,反映上述道路的车行道信息来生成上述车辆所处的车行道位置信息的步骤。
而且,生成上述车行道位置信息的步骤还可包括以下步骤:若上述车辆所处的车行道随着上述车辆变更车行道而变更为位于上述第一车行道和末尾车行道之间的车行道,则将所生成的上述车行道位置信息更新成变更后的上述车行道位置信息的步骤。
并且,本发明还可包括若上述车辆所处的车行道随着上述车辆变更车行道来从位于上述第一车行道和末尾车行道之间的车行道变更为上述第一车行道或末尾车行道,则反映上述车辆所处的道路的车行道信息来重新生成上述车辆所处的车行道位置信息的步骤。
而且,执行上述车辆的驾驶相关引导的步骤可包括利用上述车辆的导航路径和上述车行道位置信息来输出车行道变更引导的步骤。
并且,执行上述车辆的驾驶相关引导的步骤可包括利用上述车行道位置信息来输出上述车辆所处的车行道引导的步骤。
而且,本发明还包括根据基于上述车道线信息来识别的车辆所处的车行道的两侧的车道线的种类,来选择并输出适当的车道线脱离引导的步骤。
并且,上述输出步骤可包括:生成用于执行上述驾驶相关引导的指示符的步骤;以及通过增强现实来输出所生成的上述指示符的步骤。
另一方面,用于实现上述目的的本发明一实施例的电子装置包括:车道线信息生成部,从车辆的驾驶相关影像数据中识别车道线区域部分,并从所识别的上述车道线区域部分的影像数据中生成与上述车辆所处的车行道相对应的车道线信息;车行道位置信息生成部,利用所生成的上述车道线信息及上述车辆所处的道路的车行道信息中的至少一种来生成上述车辆所处的车行道位置信息;以及控制部,利用所生成的上述车行道位置信息来执行上述车辆的驾驶相关引导。
而且,上述车道线信息可包含与以上述车辆所处的车行道为基准位于上述车行道的两侧的各车道线相对应的车道线种类信息、车道线颜色信息。
并且,上述车行道位置信息生成部可从地图数据中获得上述车辆所处的道路的车行道信息,利用所生成的上述车道线信息来判断上述车辆是否位于上述道路的第一车行道或末尾车行道,在上述车辆位于上述第一车行道或末尾车行道的情况下,并反映上述道路的车行道信息来生成上述车辆所处的车行道位置信息。
而且,若上述车辆所处的车行道随着上述车辆变更车行道而变更为位于上述第一车行道和末尾车行道之间的车行道,则上述车行道位置信息生成部可将所生成的上述车行道位置信息更新成变更后的上述车行道位置信息。
并且,若上述车辆所处的车行道随着上述车辆变更车行道来从位于上述第一车行道和末尾车行道之间的车行道变更为上述第一车行道或末尾车行道,则上述车行道位置信息生成部可反映上述车辆所处的道路的车行道信息来重新生成上述车辆所处的车行道位置信息。
而且,上述控制部可控制输出部可利用上述车辆的导航路径和上述车行道位置信息来输出车行道变更引导。
并且,上述控制部可控制输出部利用上述车行道位置信息来输出上述车辆所处的车行道引导。
而且,上述控制部可控制输出部根据基于上述车道线信息来识别的车辆所处的车行道的两侧的车道线的种类,来选择并输出适当的车道线脱离引导。
并且,上述控制部可控制输出部生成用于执行上述驾驶相关引导的指示符,并通过增强现实来输出所生成的上述指示符。
另一方面,用于实现上述目的的本发明一实施例的电子装置的控制方法包括:接收用于请求进行路径引导的用户的输入的步骤;基于与上述请求相对应的目的地信息来生成路径引导线的步骤;反映实际行驶车辆的行驶轨迹的半径来校正所生成的上述路径引导线的步骤;基于与本车之间的距离来使校正后的上述路径引导线的高度不同,来执行可变立体化的步骤;对基于可变立体化来生成的上述立体数据映射纹理,从而生成路径引导指示符的步骤;以及通过增强现实来在画面输出上述路径引导指示符的步骤。
而且,校正上述路径引导线的步骤可包括:添加用于使本车的前方路径引导线维持直线的顶点的步骤;向路径引导线的曲线区间添加用于实现曲线区间的曲线化的顶点的步骤;以及利用所添加的顶点来生成反映实际行驶车辆的行驶轨迹的半径的路径引导线的步骤。
而且,执行上述可变立体化的步骤可包括:在校正后的上述路径引导线的两侧生成虚拟的路径引导线的步骤;以使校正后的上述路径引导线所包括的顶点的高度值与本车的距离成正比地增加的方式计算高度值的步骤;以及通过多边形来对计算出高度值的上述路径引导线的顶点和上述虚拟的路径引导线所分别包括的顶点执行立体化的步骤。
并且,在生成上述路径引导指示符的步骤中,可在上述立体数据映射根据车辆的速度来具有位移的纹理,从而生成路径引导指示符。
而且,本发明还可包括:执行用于从摄像头拍摄而得的拍摄影像中推定与摄像头相对应的摄像头参数的校准(Calibration)的步骤;以及基于摄像头参数来从摄像头拍摄而得的影像中生成虚拟三维空间的步骤,在上述输出步骤中,可在所生成的三维空间结合所生成的上述路径引导指示符来输出。
另一方面,用于实现上述目的的本发明一实施例的电子装置可包括:输入部,接收用于请求进行路径引导的用户的输入;路径引导线生成部,基于与上述请求相对应的目的地信息来生成路径引导线;路径引导指示符生成部,利用所生成的上述路径引导线,来在增强现实上生成用于路径引导的路径引导指示符;以及显示部,通过增强现实来在画面输出所生成的上述路径引导指示符,上述路径引导指示符生成部可包括:路径引导线处理部,反映实际行驶车辆的行驶轨迹的半径来校正所生成的上述路径引导线;路径引导线立体化部,基于与本车之间的距离来使校正后的上述路径引导线的高度不同,并执行可变立体化;以及纹理映射部,对基于可变立体化来生成的上述立体数据映射纹理,从而生成路径引导指示符。
而且,上述路径引导线处理部可添加用于使本车的前方路径引导线维持直线的顶点,向路径引导线的曲线区间添加用于实现曲线区间的曲线化的顶点,并利用所添加的顶点来生成反映实际行驶车辆的行驶轨迹的半径的路径引导线。而且,上述路径引导线立体化部在校正后的上述路径引导线的两侧生成虚拟的路径引导线,以使校正后的上述路径引导线所包括的顶点的高度值与本车的距离成正比地增加的方式计算高度值,并通过多边形来对计算出高度值的上述路径引导线的顶点和上述虚拟的路径引导线所分别包括的顶点执行立体化。
并且,上述纹理映射部可通过在上述立体数据映射根据车辆的速度来具有位移的纹理,从而生成路径引导指示符。
而且,本发明还可包括:校准部,执行用于从摄像头拍摄而得的拍摄影像中推定与摄像头相对应的摄像头参数的校准;以及三维空间生成部,基于摄像头参数来从摄像头拍摄而得的影像中生成虚拟三维空间,上述显示部可在所生成的三维空间结合所生成的上述路径引导指示符来输出。
另一方面,用于实现上述目的的本发明一实施例的记录介质可记录用于在计算机执行上述电子装置的控制方法的程序代码。
根据上述的本发明的多种实施例,可从车道线区域部分的影像数据中生成与车辆所处的车行道相对应的车道线信息,并可执行必要的处理。由此,可执行包括利用车道线信息的车道线界面输出及生成增强现实界面的多种信息处理。
并且,根据本发明的多种实施例,可在道路的中央车行道为多个的情况下(例如,车行道的数量为四个以上的情况),可准确知晓在多个中央车行道中车辆所处的车行道。
并且,根据本发明的多种实施例,可判断车辆所处的车行道来向驾驶人员进行引导,从而可执行辅助驾驶人员的作用。
并且,根据本发明的多种实施例,利用导航仪的路径信息和车辆所处的车行道来准确执行车行道变更提示,从而可谋求用户的便利。
并且,根据本发明的多种实施例,利用车道线信息来根据正处于行驶过程中的车行道的两侧的车道线的种类可选择性地执行适当的车行道变更提示,从而可提高车行道变更提示的性能,并可提供丰富的信息。
并且,根据本发明的多种实施例,通过路径引导线的立体化处理,来实时构建适合增强现实的路径引导指示符,从而可在二维的摄像头影像上真实、有效地显示三维路径引导指示符。即,可以以路径引导线位于实际道路的方式显示,而不是显示以往的增强现实导航仪的单纯形态的路径引导线。
附图说明
图1为表示本发明一实施例的电子装置的框图。
图2为用于说明与本发明一实施例的电子装置相连接的系统的网络的图。
图3为表示本发明一实施例的电子装置的车道线信息生成方法的流程图。
图4为具体表示本发明一实施例的电子装置的车道线信息生成方法的流程图。
图5为表示本发明一实施例的灰度影像转换及车道线区域检测过程的图。
图6为表示本发明一实施例的灰度影像中的车道线种类关注区域的图。
图7为表示本发明一实施例的灰度影像中的车道线种类关注区域的二进制化及一维映射的图。
图8为具体表示本发明一实施例的车行道位置信息生成方法的流程图。
图9为表示本发明一实施例的车行道判断表的图。
图10为表示本发明另一实施例的车行道判断表的图。
图11为表示本发明一实施例的电子装置的控制方法的流程图。
图12为具体表示本发明一实施例的增强现实控制部的框图。
图13为对路径引导线的处理之前和处理之后进行比较的图。
图14为表示本发明一实施例的路径引导线立体化过程的图。
图15为表示本发明一实施例的增强现实路径引导方法的流程图。
图16为表示本发明一实施例的路径引导画面的图。
图17为表示本发明一实施例的摄像头和电子装置为分离型的情况下的体现形态的图。
图18为表示本发明一实施例的摄像头和电子装置为一体型的情况下的体现形态的图。
图19为表示利用本发明一实施例的平视显示器及电子装置的体现形态的图。
具体实施方式
以下的内容仅仅例示本发明的原理。因此,本发明所属技术领域的技术人员可发明出虽然未在本说明书明确说明或图示,但可体现本发明的原理并包含于本发明的概念和范围的多种装置。并且,在本发明中列举的所有附条件的术语及实施例在原则上明确用于理解本发明的概念,并且,应理解为并不限定以如上所述的方式特别列举的实施例及状态。
并且,用于列举本发明的原理、观点及实施例,并列举特定实施例的所有详细说明应被理解为包含这种事项的结构性及功能性的等同技术方案。并且,这种等同技术方案应被理解为包括当前公开的等同技术方案,还包括今后将被研发的等同技术方案,即,以与结构无关地执行相同功能的方式发明的所有元件。
因此,例如,本说明书的框图应被理解为表示将本发明的原理具体化的例示性的回路的概念的观点。与此类似,所有流程图、状态转换图、伪代码等应被理解为无论是否实质性地显示于计算机可读介质,无论是否明确示出计算机或处理器,均表示借助计算机或处理执行的多种程序。
处理器或包括以与处理器相似的概念显示的功能块的附图中所示的多种元件的功能不仅可提供为专用硬件,而且可提供为与适当的软件相关地使用具有能够运行软件的功能的硬件。当通过处理器提供上述功能时,可借助单一专用处理器、单一共享处理器或多个个别处理器来提供上述功能,这些中的一部分可被共享。
并且,以处理、控制或与此相似的概念来提出的术语的明确使用不应以排除具有能够运行软件的能力的硬件的方式来解释,应以不受限制的方式理解为暗示性地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)及非易失性存储器。还可包括周知的其他惯用的硬件。
在本说明书的发明要求保护范围中,表现为用于执行在详细的说明中所记载的功能的机构的结构要素包括如执行上述功能的回路元件的组合或包括执行含有固件/微码等的所有形式的软件的功能的所有方法,并与用于运行上述软件的适当的回路相结合,来执行上述功能。借助这种发明要求保护范围来定义的本发明,借助以多种方式列举的方法来提供的功能相结合,并与发明要求保护范围所要求的方式相结合,因而能够提供上述功能的任何方法也应理解为等同于从本说明书掌握的方法相同。
通过与附图相关的以下详细的说明,可更加明确上述的目的、特征及优点,由此,本发明所属技术领域的普通技术人员可容易地实施本发明的技术思想。并且,在对本发明进行说明的过程中,若判断对公知技术的具体说明有可能使本发明的主旨变得模糊,则将省略其详细说明。
以下,参照附图,对本发明的多种实施例进行详细说明。
图1为表示本发明一实施例的电子装置的框图。参照图1,电子装置100包括存储部110、输入部120、输出部130、车道线信息生成部140、车行道位置信息生成部150、增强现实供给部160、控制部170、通信部180、检测部190中的全部或一部分。
在这里,电子装置100可以体现为可向车辆驾驶人员提供驾驶相关引导的智能手机、平板电脑、笔记本电脑、个人数字助理(PDA,personal digital assistant)、便携式多媒体播放器(PMP,portable multimedia player)、智能眼镜、拓展现实眼镜、导航仪(navigation)、黑匣子(Black-box)等多种装置。
在这里,车辆的驾驶状态可包括车辆的停车状态、车辆的行驶状态、车辆的泊车状态等由驾驶人员驾驶车辆的多种状态。
驾驶相关引导可包括路径引导、车道线脱离引导、前方车辆出发引导、信号变更引导、防止与前方车辆碰撞引导、车行道变更引导、车行道引导等用于辅助驾驶人员驾驶车辆的多种引导。
在这里,路径引导可包括:增强现实路径引导,在拍摄正在行驶中的车辆的前方的影像中结合用户的位置、方向等各种信息来执行路径引导;以及二维(2D,2-Dimensional)或三维(3D,3-Dimensional)导航,在二维或三维地图数据中结合用户的位置、方向等各种信息来执行导航。在这里,路径引导可解释成不仅包括在用户乘坐车辆进行驾驶的情况下的导航,还包括用户以行走或奔跑的方式移动的情况下的导航的概念。
并且,车道线脱离引导可以为对行驶中的车辆是否脱离车道线进行引导。
并且,前方车辆出发引导可以对位于停车中的车辆的前方的车辆是否出发进行引导。
并且,信号灯变更引导可以对位于停车中的车辆的前方的信号灯是否变更进行引导。作为一例,若从表示停止信号的红灯亮起的状态变更为表示出发信号的绿灯亮起的状态,则可对此进行引导。
并且,防止与前方车辆碰撞的引导可以为,若停车或行驶中的车辆与位于前方的车辆之间的距离在规定距离以内,则为了防止与前方车辆碰撞而进行的引导。
并且,车行道变更引导可以为为了引导目的地为止的路径而引导车辆从车辆所处的车行道变更到其他车行道。
并且,车行道引导可以为对车辆当前所处的车行道所进行的引导。
这种能够提供多种引导的驾驶相关影像可通过朝向车辆的前方放置的摄像头来实时拍摄。在这里,摄像头可以为以与放置于车辆的电子装置100形成为一体,并拍摄车辆的前方的摄像头。在这种情况下,摄像头可以与智能手机、导航仪或黑匣子形成为一体,电子装置100可接收形成为一体的摄像头拍摄而得的影像。
作为另一例,摄像头可以为与电子装置100分别放置于车辆,并拍摄车辆的前方的摄像头。在这种情况下,摄像头可以为朝向车辆的前方放置的单独的黑匣子,电子装置100通过有线/无线通信来接收单独放置的黑匣子所拍摄的影像,或若用于存储黑匣子所拍摄的影像的存储介质插入于电子装置100,则电子装置100可接收黑匣子所拍摄的影像。
以下,基于上述内容,对本发明一实施例的电子装置100进行更加具体的说明。
存储部110执行存储电子装置100的工作所需的多种数据及应用的功能。尤其,存储部110可存储电子装置100的工作所需的数据,如操作系统(OS)、路径探索应用、地图数据等。并且,存储部110可存储借助电子装置100的工作来生成的数据,如所探索到的路径数据、所接收的影像等。并且,存储部110可存储信号灯所包含的多个信号的位置关系信息、车行道判断表等。
在这里,存储部110不仅可以体现为随机存取存储器(RAM,Random AccessMemory)、闪存、只读存储器(ROM,Read Only Memory)、可擦除可编程式只读存储器(EPROM,Erasable Programmable ROM)、电可擦除可编程式只读存储器(EEPROM,ElectronicallyErasable and Programmable ROM)、寄存器、硬盘、可移动磁盘、内存卡、通用用户识别模块(USIM,Universal Subscriber Identity Module)等内置型存储元件,还可以体现为通用串行总线存储器等可拆装形态的存储元件。
输入部120执行将从电子装置100的外部输入的物理输入转换为特定的电信号的功能。在这里,输入部120可包括用户输入部121和传声器部123中的全部或一部分。
用户输入部121可接收触摸、推动动作等用户的输入。在这里,用户输入部121可利用多种按钮的形态、接收触摸式输入的触摸传感器、接收接近动作的接近传感器中的至少一个来体现。
传声器部123可接收用户的声音及从车辆的内外部产生的声音。
输出部130为用于输出电子装置100的数据的装置。在这里,输出部130可包括显示部131和音频输出部133中的全部或一部分。
显示部131为电子装置100输出能够以视觉性的方式识别的数据的装置。显示部131可以体现为设于电子装置100的外壳的前面的显示部。在这里,显示部131可以与电子装置100形成为一体,并输出视觉性的识别数据,还可如平视显示器,与电子装置100单独设置来输出视觉性的识别数据。
音频输出部133为电子装置100输出能够以听觉性的方式识别的数据的装置。音频输出部133能够通过表现声音的扬声器来体现电子装置100的应提示用户的数据。
通信部180可以为了使电子装置100与其他设备进行通信而设。通信部180可包括位置数据部181、无线互联网部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的全部或一部分。
位置数据部181为通过全球导航卫星系统(GNSS,Global Navigation SatelliteSystem)来获得位置数据的装置。全球导航卫星系统意味着可利用从人工卫星接收的电波信号来计算出接收终端的位置的导航系统。作为全球导航卫星系统的具体例,可根据运营主体分为全球卫星定位系统(GPS,Global Positioning System)、伽利略定位系统(Galileo)、格洛纳斯卫星导航系统(GLONASS,Global Orbiting Navigational SatelliteSystem)、北斗卫星导航系统(COMPASS)、印度区域导航卫星系统(IRNSS,Indian RegionalNavigational Satellite System)、准天顶卫星系统(QZSS,Quasi-Zenith SatelliteSystem)等。本发明一实施例的电子装置100的位置数据部181可通过接收向使用电子装置100的地区提供服务的全球导航卫星系统的信号来获得位置信息。
无线互联网部183为通过与无线互联网相连接来获得数据或发送信息的装置。可通过无线互联网部183来连接的无线互联网可以为无线局域网(WLAN,Wireless LAN)、无线宽带(Wibro,Wireless broadband)、全球微波互联接入(Wimax,World interoperabilityfor microwave acess)、高速下行分组接入(HSDPA,High Speed Downlink Packet Acess)等。
广播收发部185为通过各种广播系统来收发广播信号的装置。可通过广播收发部185收发的广播系统可以为地面数字多媒体广播(DMBT,Digital MultimediaBroadcasting Terrestrial)、数字多媒体卫星广播(DMBS,Digital MultimediaBroadcasting Satellite)、高通提出的移动电视标准(MediaFLO,Media Forward LinkOnly)、手持数字视频广播(DVBH,Digital Video Broadcast Handheld)、日本数字音频广播方案(ISDBT,Integrated Services Digital Broadcast Terrestrial)等。通过广播收发部185收发的广播信号可包含交通数据、生活数据等。
移动通信部186可根据第三代移动通信技术(3G,3rd Generation)、第三代合作伙伴计划(3GPP,3rd Generation Partnership Project)、长期演进计划(LTE,Long TermEvolution)等多种移动通信规格与移动通信网相连接并进行通信。
近距离通信部187为用于进行近距离通信的装置。如上所述,近距离通信部187可通过蓝牙(Bluetooth)、射频识别(RFID,Radio Frequency Identification)、红外数据组织(IrDA、Infrared Data Association)、超宽带(UWB,Ultra WidBand)、紫蜂(ZigBee)、近场通信(NFC,Near Field Communication)、无线保真(Wi-Fi,Wireless-Fidelity)等来进行通信。
有线通信部189为能够以有线方式使电子装置100与其他设备相连接的接口装置。有线通信部189可以为能够通过通用串行总线端口(USB Port)来进行通信的通用串行总线模块。
这种通信部180可利用位置数据部181、无线互联网部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个来与其他设备通信。
作为一例,在电子装置100不包括摄像功能的情况下,可利用近距离通信部187、有线通信部189中的至少一个来接收黑匣子等车辆用摄像头拍摄的影像。
作为另一例,在与多个设备通信的情况下,也可由一个设备通过近距离通信部187来通信,另一个设备通过有线通信部189通信。
检测部190为可检测电子装置100的当前状态的装置。检测部190可包括动作检测部191、光检测部193中的全部或一部分。
动作检测部191可检测电子装置100的三维空间上的运动。动作检测部191可包括三轴地磁传感器及三轴加速度传感器。可将通过动作检测部191获得的运动数据和通过位置数据部191获得的位置数据相结合,来计算出附着有电子装置100的车辆的更加准确的轨迹。
光检测部193为测定电子装置100的周边照度(illuminance)的装置。利用通过光检测部193获得的照度数据,可使显示部195的亮度与周边亮度相对应地发生变化。
电源部195为用于供给电子装置100的工作或与电子装置100相连接的其他设备的工作所需的电源的装置。电源部195可以为从内置于电子装置100的电池或车辆等外部电源处接收电源的装置。并且,根据接收电源的形态,电源部195可体现为有线通信模块119或体现为以无线的方式接收电源的装置。
另一方面,控制部170控制电子装置100的整体工作。具体地,控制部170可控制存储部110、输入部120、输出部130、车道线信息生成部140、车行道位置生成部150、增强现实供给部160、通信部180、检测部190中的全部或一部分。
尤其,控制部170可控制车道线信息生成部140、车行道位置信息生成部150来从车辆驾驶相关影像数据中识别车道线区域部分,并从所识别的车道线区域部分的影像数据中生成与上述车辆所处的车行道相对应的车道线信息,利用所生成的车道线信息及车辆所处的道路的车行道信息中的至少一种来生成车辆所处的车行道位置信息。
在这里,车道线可意味着形成车辆所处的车行道(lane)的车行道两侧的线(line)。并且,车行道可由第一车行道、第二车行道、…第N车行道之类的车道线形成,并且可意味着车辆行驶的道路。
车道线信息生成部140可从车辆行驶、停车等驾驶状态下拍摄的影像数据中识别车道线区域部分,并可从车道线区域部分的影像数据中生成与以车辆所处的车行道为基准位于上述车行道的两侧的各车道线相对应的车道线信息。车道线信息可包含与以车辆所处的车行道为基准位于上述车行道的两侧的各车道线相对应的车道线种类信息、车道线颜色信息。
在这里,为了生成与车辆所处的车行道相对应的车道线信息,车道线信息生成部140可对车道线区域部分的影像数据执行二进制化,并可从二进制化的部分影像数据中获得车道线种类信息。具体地,车道线信息生成部140可利用车道线的时间连续性信息及车道线速度信息中的至少一种来分析二进制化的部分影像数据,从而可识别车辆所处的车行道的两个车道线的种类是否为实线或虚线。
而且,车道线信息生成部140可从影像数据中抽取与种类得到识别的各车道线相对应的颜色信息,来生成车道线信息。
根据控制部170的控制,车行道位置信息生成部150可利用在车道线信息生成部140生成的车道线信息及车辆所处的道路的车行道信息中的至少一种来生成车辆所处的车行道位置信息。
具体地,车行道位置信息生成部150从地图数据中获得车辆所处的道路的车行道信息,并利用所生成的车道线信息来判断车辆是否位于道路的第一车行道或末尾车行道,在车辆位于第一车行道或末尾车行道的情况下,可反映道路的车行道信息来生成车辆所处的车行道位置信息。之后,若根据车辆变更车行道来使车辆所处的车行道变更为位于第一车行道或末尾车行道之间的车行道,则上述车行道位置信息生成部150将所生成的车行道位置信息更新为所变更的车行道位置信息。之后,若根据车辆变更车行道来使车辆所处的车行道而从位于第一车行道和末尾车行道之间的车行道变更为第一车行道或末尾车行道,则上述车行道位置信息生成部150反映车辆所处的道路的车行道信息来重新生成车辆所处的车行道位置信息。
在这里,车辆所处的道路的车行道信息可包含车辆所处的道路的车行道的数量信息、道路种类信息(例如,高速公路、城市高速化道路、地方道路、普通道路)等,而道路的车行道信息可从存储于电子装置100内的存储部110的地图数据中获得,或者可从电子装置100以外的其他外部地图数据库(DB)中获得,或者可从其他电子装置100获得。作为一例,在电子装置100体现为黑匣子的情况下,黑匣子可从与黑匣子通信连接的外部导航装置获得道路的车行道信息。
另一方面,各个国家所使用的车道线信息互不相同,车行道位置信息生成部150可利用基于各个国家交通法规等的车行道判断表来生成车行道位置信息。由此,车行道位置信息生成部150可基于与已设定的国家信息相映射的车行道判断表来生成车行道位置信息。
另一方面,控制部170可利用在车道线信息生成部140、车行道位置信息生成部150生成的车道线信息来执行车辆的驾驶相关引导。
作为一例,控制部170可根据基于车道线信息来识别的车辆所处的车行道的两侧的车道线的种类,来选择适当的车道线脱离引导,并向用户输出。具体地,在电子装置100提供车道线脱离引导功能的情况下,控制部170可根据所脱离的车道线的种类及颜色来提供互不相同的引导。例如,控制部170可根据车辆越过中央线的情况、车辆越过白色实线的情况、车辆越过白色虚线的情况或车辆越过蓝色线的情况来分别选择互不相同的图像或提示语音并进行输出。
作为再一例,控制部170可利用在车行道位置信息生成部150生成的车行道位置信息,并通过输出部140输出所生成的车行道引导。具体地,控制部170可以以图像或语音的方式输出当前车辆所处的车行道为第几车行道,例如,第一车行道、第二车行道、…第N车行道。
作为另一例,控制部170可利用在车行道位置信息生成部150生成的车行道位置信息,并通过输出部140输出所生成的车行道变更引导。具体地,在电子装置100提供车辆的导航功能的情况下,控制部170可根据到目的地为止的路径和所判断的上述车行道位置,来以图像或提示语音的方式输出车行道变更引导。即,在到左转弯或右转弯引导地点为止的距离在规定距离以下的情况下,可判断在当前车行道是否可以进行左转弯或右转弯,从而向用户输出车行道变更引导。
另一方面,控制部170可控制增强现实供给部160,使得电子装置100基于增强现实来执行驾驶相关引导。在这里,增强现实可以为在呈现用户实际看到的现实世界的画面中以在视觉上重叠的方式供给附加信息(例如,表示关注的地点(Point Of Interest:POI)的图形要素、表示到目的地为止的路径的图形要素等)的方法。在此情况下,控制部170与增强现实供给部160相联动来生成用于执行驾驶相关引导的指示符,并通过输出部130输出所生成的指示符。作为一例,增强现实可通过利用车辆前挡风玻璃的平视显示器或利用其他影像输出装置的影像叠加来供给,像这样,增强现实供给部160可生成现实影像或叠加于玻璃的界面影像等。由此,可体现增强现实导航仪或车辆信息系统等。
尤其,根据本发明的一实施例,可通过路径引导线的立体化处理来实时构建适合增强现实的路径引导指示符,从而在二维的摄像头影像上真实、有效地显示三维路径引导指示符。对此,将参照附图进行后述。
图2为用于说明与本发明一实施例的电子装置相连接的系统的网络的图。参照图2,本发明一实施例的电子装置100可体现为导航仪、黑匣子、智能手机或其他车辆用增强现实界面供给装置等设置于车辆的各种装置,并且可与多种通信网及其他电子设备61、62、63、64相连接。
并且,电子装置100可根据从人工卫星20接收的电波信号来与全球定位系统相联动,从而计算出当前的位置及当前的时间。
各个人工卫星20可发送频率波段不同的L波段频率。电子装置100可基于从各人工卫星20发送的L波段频率到达电子装置100所需的时间来计算出当前的位置。
另一方面,电子装置100可通过通信部180,并借助控制站40(ACR)、基站50(RAS)等来以无线方式与网络30相连接。若电子装置100与网络30相连接,则还能与以间接的方式与网络30相连接的其他电子设备61、62相连接,并交换数据。
另一方面,电子装置100还可以通过具有通信功能的其他设备63来以间接的方式与网络30相连接。例如,在电子装置未具有可以与网络30相连接的模块的情况下,可通过近距离通信等来与具有通信功能的其他设备63进行通信。
图3为表示本发明一实施例的电子装置的车道线信息生成方法的流程图。参照图3,首先,电子装置100可从车辆的驾驶相关影像数据中识别车道线区域部分(步骤S101)。具体地,车道线信息生成部140将驾驶相关影像转换成灰度影像,并执行车道线检测算法来将位于车辆的两侧的各车道线中的可识别的区域决定为车道线区域。在这里,车辆的驾驶相关影像可包含与车辆的停车、行驶相关的影像。而且,车辆的驾驶相关影像可以为电子装置100所接收的由电子装置100所包括的摄像头模块拍摄的影像或由其他装置拍摄的影像。而且,车辆的驾驶相关影像可以为红绿蓝(RGB,Red Green Blue)彩色影像。
而且,电子装置100可从所识别的车道线区域部分的影像数据中生成与车辆所处的车行道相对应的车道线信息(步骤S102)。具体地,车道线信息生成部140通过对所检测的车道线区域分析车道线的模式信息及车道线的颜色信息,从而可生成车道线信息。车道线信息可包含与位于车辆所处的车行道两侧的各车道线相对应的线种类信息及线颜色信息中的至少一种。
以下,参照图4至图7来对车道线信息生成方法进行更加详细的说明。
图4为具体表示本发明一实施例的电子装置的车道线信息生成方法的流程图。参照图4,首先,电子装置100将彩色影像数据转换成灰度影像(步骤S201),并可从所转换的灰度影像中检测车道线区域(步骤S202)。
具体地,车道线信息生成部140可从所拍摄的驾驶相关影像中抽取用于检测车道线的区域。并且,若道路的一部分受影子的影响,则难以使车道线信息生成部140检测车道线,因此,为了将影子的影响最小化,可事先对原影像校正光源。
而且,车道线信息生成部140可根据事先设定的摄像头的位置或摄像头的设置角度来将有可能存在车道线的区域检测为车道线区域。例如,车道线信息生成部140可将车道线可以开始的位置作为起点来决定车道线区域。并且,车道线信息生成部140可通过驾驶相关影像内的车行道的宽度(左侧车道线区域与右侧车道线区域之间的最大宽度)和摄像头的视角来推定车道线区域开始的位置和车道线区域的长度。
并且,车道线信息生成部140将与车道线检测区域相对应的灰度影像转换为边缘影像,并可以基于从所转换的边缘影像中抽取的直线位置来检测车道线区域。更为具体地,可通过公知的多种算法将驾驶相关影像转换为边缘影像,边缘影像可包括显示多个直线的边缘。此时,车道线信息生成部140可将所检测到的直线的位置识别为车道线。并且,车道线信息生成部140可基于具有规定的车道线的宽度的直线的位置,在多个候选直线中决定车道线区域。
图5示出这种灰度影像转换及车道线区域检测过程。参照图5,可将最初所输入的驾驶相关影像转换成灰度影像200,并通过边缘检测等车道线检测算法来检测呈直线的车道线区域201、202。车道线区域可以以车辆的位置为基准被划分为左侧车道线区域201及右侧车道线区域202。
重新对图4进行说明。
之后,若检测出车道线区域,则车道线信息生成部140可基于车道线区域,来设定车道线种类关注区域(步骤S203)。具体地,若检测出车道线区域,则车道线信息生成部140可设定以所检测到的车道线区域为基准的车道线种类关注区域(ROI,Region Ofinterest)。车道线种类关注区域可意味着包括用于判断车道线的线的种类及颜色的车道线及上述车道线的周边规定区域的驾驶相关影像的部分。
更为具体地,图6表示灰度影像中的车道线种类关注区域。
如图6所示,车道线种类关注区域210、220可包括之前所检测的车道线区域及其周边区域的一部分。并且,车道线种类关注区域可以以车辆的前进方向为基准划分为左侧车道线种类关注区域210及右侧车道线种类关注区域220。
例如,之前所检测的车道线区域通常可呈直线,在以y=a×x+b等的数学式表示的情况下,车道线种类关注区域可表示为一同包括y=a×x+b+m及y=a×x+b-m的区域。这与以往的单纯车道线检测方式不同,是用于生成具体、多样的行驶车道线信息的方式,因此,车道线信息生成部140可扩展所检测的直线的车道线区域来将直线的车道线区域的周边领域也设定成关注区域。
重新对图4进行说明。
之后,电子装置100可以对车道线种类关注区域执行二进制化(步骤S204),将二进制化的部分的灰度影像映射为一维区域(步骤S205),并利用视觉连续性及速度中的至少一种来识别线的种类(步骤S206)。
车道线信息生成部140可从所转换的灰度影像中抽取车道线种类关注区域的部分灰度影像,并可对部分灰度影像执行二进制化。用于进行二进制化的基准值可根据关注区域的部分灰度影像的平均灰度值来决定。由此,行驶车道线信息生成模块180可从部分灰度影像中明确地区别仅判断为车道线的部分。
而且,车道线信息生成部140可将从二进制化的部分灰度影像中识别的各线(左侧及右侧)映射为一维区域。而且,通过分析被映射为一维区域的各线的图案,可以识别线的种类。
更为具体地,图7表示灰度影像中的车道线种类关注区域的二进制化及一维映射。
如图7所示,若对车道线种类关注区域执行二进制化,则可获得被二进制化的影像300。在被二进制化的影像300中,可将以白色显示的部分识别为车道线,而除此之外的部分可被识别为黑色。
而且,在被二进制化的影像300中识别到的各线可被映射为一维区域。车道线信息生成部140可利用被映射为一维区域的影像310来容易地判别线的种类。
例如,车道线信息生成部140可基于映射为一维的各线的始点及长度特征,来判断是否为虚线或实线。并且,车道线信息生成部140可利用被映射为一维的各线对时间的连续性及速度来判断是否为虚线或实线。而且,车道线信息生成部140首先可根据上述始点及长度特征来决定是否为虚线或实线后,其次可利用对时间的连续性及速度来最终决定是否为虚线或实线。
更为具体地,车道线信息生成部140首先可通过对各线的始点位置的线的长度进行比较判别,来决定是否为虚线或实线。在这种情况下,车道线信息生成部140可仅借助一个影像帧也能判断是否为虚线或实线。
并且,车道线信息生成部140可根据各线是否随着时间连续地形成来更加明确地判断是虚线还是实线。例如,车道线信息生成部140可事先设定线在影像内的移动速度的连续性程度,并在各线的连续性小于事先设定的连续性程度的值的情况下,判断为虚线。
因此,根据本发明的实施例,可通过一个帧来事先区别是否是虚线还是实线,并通过连续的帧来对此进行验证,从而最终判断线的种类。
重新参照图4,电子装置100可从彩色的原影像数据中检测种类得到识别的上述线部分的颜色(步骤S207)。
车道线信息生成部140可通过分析彩色影像来检测与之前种类被识别的线相对应的部分的颜色,并对此进行分类。例如,车道线信息生成部140可将所检测到的颜色分为白色、黄色或蓝色。
之后,电子装置100可基于所识别的线的种类及所分类的颜色,来生成与车辆所处的车行道相对应的车道线信息(步骤S208)。
图8为具体表示本发明一实施例的车行道位置信息生成方法的流程图。参照图8,电子装置100可从地图数据中获得车辆所处的道路的车行道信息(步骤S301)。在这里,道路的车行道信息可以为正在驾驶中的车辆当前所处的道路的车行道信息,可包含车辆所处的道路的车行道的数量信息。而且,道路的车行道信息可从存储于电子装置100内的存储部110的地图数据中获得,或者可从电子装置100以外的其他外部地图数据库(DB)中获得,或者可从其他电子装置100获得。
而且,电子装置100可利用所生成的车道线信息来判断车辆位于道路的第一车行道(第一车行道)或位于末尾车行道(末尾车行道)(步骤S302)。具体地,车行道位置信息生成部150可在如图9所示的车行道判断表中适用与车辆所处的车行道相对应的车道线信息,来判断车辆位于道路的第一车行道或末尾车行道。
即,车行道判断表可包括根据国家、左侧线的种类及颜色、右侧线的种类及颜色来决定的第一车行道、末尾车行道。在这里,如图10所示的车行道判断表可以为例示性的,可根据不同的设定和不同的国家或情况来设定不同的值。
另一方面,当车辆位于第一车行道或末尾车行道的情况下,电子装置100可反映车行道信息来生成车辆所处的车行道位置信息(步骤S303)。例如,若判断车辆位于末尾车行道,则车行道位置信息生成部150可将车行道位置信息生成为第N车行道。而且,若与道路车行道信息相对应的车行道的数量为5个的情况下,可以对此进行反映,并将第N车行道生成为第五车行道。
而且,若根据车辆变更车行道来使车辆所处的车行道变更为位于第一车行道和末尾车行道之间的车行道,则电子装置100可将所生成的车行道位置信息更新成变更的车行道的位置信息(步骤S304)。在这种情况下,车行道位置信息生成部150可利用车道线信息来判断是否脱离车道线,并基于此来判断车行道是否被变更。例如,若判断为车辆从第五车行道向左侧变更一个车行道,则车行道位置信息生成部150对此进行反映,从而将车行道位置信息从第五车行道更新为第四车行道。
而且,若根据车辆变更车行道来使车辆所处的位置而从位于第一车行道和末尾车行道之间的车行道变更为第一车行道或末尾车行道,则电子装置100可重新获得车辆所处的道路的车行道信息(步骤S305)。而且,反映重新获得的车行道信息,可重新生成车辆所处的车行道位置信息(步骤S306)。例如,若判断为车辆从第四车行道向右侧车行道变更一个车行道,则向作为之前所设定的末尾车行道的第五车行道移动,从而可获得当前车辆所处的道路的车行道信息。并且,若所获得的车行道信息为第四车行道,则可将车辆所处的车行道位置信息重新生成为第四车行道。
另一方面,本发明一实施例的车行道位置信息生成方法并不局限于上述的图9。因此,根据另一实施例上述的顺序可以进行部分变更。作为一例,可在步骤S304中执行获得车辆所处的道路的车行道信息的步骤。在这种情况下,若车辆位于第一车行道或末尾车行道,则电子装置100可生成车辆所处的车行道位置信息(步骤S303)。例如,若判断为车辆位于末尾车行道,则车行道位置信息生成部150可将车行道位置信息生成为第N车行道。
而且,若根据车辆变更车行道来使车辆所处的车行道变更为位于第一车行道与末尾车行道之间的车行道,则电子装置100可利用所生成的车行道位置信息及所获得的道路的车行道信息来更新车行道位置信息(步骤S304)。例如,若判断为车辆从与末尾车行道相对应的第N车行道向左侧车行道变更一个车行道,则车行道位置信息生成部150对第N-1车行道反映作为车行道数量信息的N=5,从而可以将车行道位置信息更新为第四车行道。
并且,根据本发明的另一实施例,车行道位置信息生成部150可在如图10所示的车行道判断表适用与车辆所处的车行道相对应的车道线信息,来判断车辆是否位于道路的第一车行道、中央车行道、末尾车行道。但在这种情况下,在道路的中央车行道为多个的情况(例如,车行道的数量为4个以上的情况)下,无法准确知晓在多个中央车行道中的车辆所处的车行道,因此,优选地,本发明一实施例可使用如图9所示的方法。
图11为表示本发明一实施例的电子装置的控制方法的流程图。参照图11,首先,电子装置100可从车辆的驾驶相关影像数据中识别车道线区域部分(步骤S401)。
而且,可从所识别的车道线区域部分的影像数据中生成与上述车辆所处的车行道相对应的车道线信息(步骤S402)。
而且,可利用所生成的车道线信息及上述车辆所处的道路的车行道信息中的至少一个来生成上述车辆所处的车行道位置信息(步骤S403)。
而且,利用所获得的车行道信息来执行车辆的驾驶相关引导(步骤S404)。
在这里,执行车辆的驾驶相关引导的步骤(步骤S404)可包括利用车辆的导航路径和车行道位置信息来输出车行道变更引导的步骤。
并且,执行车辆的驾驶相关引导的步骤(步骤S404)可包括利用车行道位置信息来输出上述车辆所处的车行道引导的步骤。
另一方面,本发明一实施例的电子装置的控制方法还可包括根据基于车道线信息来识别的车辆的车行道的两侧的车道线的种类,来选择并输出适当的车道线脱离引导的步骤。
在这里,可通过生成用于执行驾驶相关引导的指示符,并借助增强现实输出来执行上述输出。
另一方面,在以往的增强现实导航仪中,在路径引导方面使用多种技术,但由于难以对路径引导线与实际的道路环境进行合成,因而在路径引导线的表示上存在局限性。
但是,根据本发明一实施例,可通过路径引导线的立体化处理来实时构建适合增强现实的路径引导指示符,从而可在二维的摄像头影像上真实、有效地显示三维的路径引导指示符。以下,对用于实现上述目的的本发明一实施例的增强现实供给部进行具体说明。
图12为具体表示本发明一实施例的增强现实控制部160的框图。参照图12,增强现实供给部160可包括校准部161、三维空间生成部162、指示符生成部163、映射部164中的全部或一部分。
校准部161可执行用于从摄像头拍摄而得拍摄影像中推定与摄像头相对应的摄像头参数的校准。在这里,摄像头参数可以为构成摄像头矩阵的参数,上述摄像头矩阵为表示真实空间与照片相对应的关系的信息。
三维空间生成部162可基于从摄像头拍摄而得的拍摄影像来生成虚拟的三维空间。具体地,三维空间生成部162可基于校准部161推定的摄像头参数来从摄像头拍摄而得的影像中获得深度信息(Depths information),并可以基于所获得的深度信息和拍摄影像来生成虚拟的三维空间。
指示符生成部163可生成用于在增强现实上进行引导的指示符,例如,路径引导指示符、车行道变更引导指示符及车道线脱离引导指示符等。
尤其,若指示符生成部163通过输入部120接收用户所输入的对目的地为止的路径引导请求,则可在增强现实上生成用于进行路径引导的路径引导指示符。在这里,路径引导指示符生成部可包括路径引导线处理部163-1、路径引导线立体化部163-2及动态纹理映射部163-3。
若根据用户的路径引导请求来生成到目的地为止的路径引导线,则路径引导线处理部163-1可反映实际行驶车辆的行驶轨迹的半径来执行对路径引导线的处理。
具体地,电子装置100可利用从存储部110获得的地图数据、从电子装置100以外的其他外部地图数据库中获得的地图数据来生成基于用户的路径引导请求的目的地为止的路径引导线。在这里,所生成的路径引导线可包括结点和连接线,可以为如图13的(a)部分所示的形态。即,参照图13的(a)部分,所生成的路径引导线1301在曲线区间1302可以为与车辆行驶轨迹并不相似的直线形态。因此,若基于如图13的(a)部分所示的路径引导线来与摄像头影像进行合成,并提供增强现实,则显示与实际车辆的行驶轨迹互不相同的结果。
因此,本发明一实施例的路径引导线处理部163-1可以以反映实际行驶车辆的行驶轨迹的半径的方式执行对路径引导线的处理。具体地,路径引导线处理部163-1可在所生成的路径引导线中去除与不显示于当前画面的区域相对应的顶点(vertex)、重复点等的不必要的顶点。而且,路径引导线处理部163-1可添加用于维持本车的前方路径引导线呈直线的顶点。而且,路径引导线处理部163-1可向路径引导线的曲线区间添加用于实现曲线区间的曲线化的顶点。而且,路径引导线处理部163-1可利用所添加的顶点来生成反映实际行驶的车辆行驶轨迹的半径的路径引导线。
像这样,根据本发明一实施例,可生成如图13的(b)部分所示的路径引导线。即,参照图13的(b)部分,所处理的路径引导线1303可以为在曲线区间1304与车辆行驶轨迹相类似的柔和的形态。
路径引导线立体化部163-2可根据距离来使处理部163-1所生成的路径引导线的高度不同,来执行可变立体化。对此,将参照图14来进行具体的说明。
参照图14,路径引导线立体化部163-2可在由路径引导线处理部163-1生成的路径引导线1401的两侧生成虚拟的路径引导线1402、1403。具体地,路径引导线立体化部163-2可计算出在路径引导线处理部163-1生成的路径引导线1401的顶点的单位向量,并借助所计算出的单位向量的内部运算来计算出与单位向量相垂直的法线向量,从而可生成虚拟的路径引导线1402、1403。
而且,路径引导线立体化部163-2可计算出路径引导线1401所包括的顶点的高度值。在此情况下,路径引导线立体化部163-2可以以路径引导线1401所包括的顶点的高度值与距离成正比地增加的方式计算出高度值。
而且,路径引导线立体化部163-2可通过多边形来在计算出高度值的路径引导线1401的顶点和虚拟的路径引导线1402、1403所分别包括的顶点生成面,从而可执行立体化。
由此,可以以驾驶人员可识别的方式在画面显示在显示于画面的路径引导指示符中的位于本车行道的远处的路径引导指示符。
动态纹理映射部163-3可在路径引导立体化部163-2生成的立体数据映射根据车辆的速度来具有位移的纹理。
在这里,纹理可以为根据车辆的速度来具有位移的纹理。即,车辆在路径上移动的情况下,动态纹理映射部163-3在立体数据中变更纹理的映射位置,从而可生成根据车辆的速度来具有位移的纹理。在此情况下,显示于画面的路径引导指示符可将犹如紧贴于道路面的效果极大化。
根据这种工作,指示符生成部163可在增强现实上生成用于路径引导的路径引导指示符。
另一方面,具有转弯处,且经由上述转弯处之后的显示技术可以为了更加有效地显示画面而使路径引导线立体化部163-2对根据上述的工作来生成的立体实现垂直化。
即,在左转弯的情况下,路径引导线立体化部163-2可以向高度方向树立与路径引导线1401的右侧相对应的虚拟的路径引导线1403,来决定立体数据,相反,在右转弯的情况下,路径引导线立体化部163-2可以向高度方向树立与路径引导线1401的左侧相对应的虚拟的路径引导线1402,来决定立体数据。
另一方面,映射部164可在三维空间生成部162生成的虚拟三维空间上结合在指示符生成部163生成的指示符。
图15为表示本发明一实施例的增强现实路径引导方法的流程图。参照图15,首先,电子装置100可接收用于请求进行路径引导的用户所进行的输入(步骤S501)。
而且,电子装置100可以基于路径引导的目的地信息来生成路径引导线(步骤S502)。
而且,电子装置100可反映实际行驶的车辆行驶轨迹的半径来校正所生成的路径引导线(步骤S503)。具体地,步骤S503可包括:在所生成的路径引导线中去除与不显示于当前画面的区域相对应的顶点(vertex)、重复点等的不必要的顶点的步骤;添加用于维持本车的前方路径引导线呈直线的顶点的步骤;向路径引导线的曲线区间添加用于实现曲线区间的曲线化的顶点的步骤;利用所添加的顶点来生成反映实际行驶车辆的行驶轨迹的半径的路径引导线的步骤。
而且,电子装置100可以基于与本车之间的距离来使校正后的路径引导线的高度不同,来执行可变立体化(步骤S504)。具体地,步骤S504可包括:在经过处理的路径引导线的两侧生成虚拟的路径引导线的步骤;以使经过处理的路径引导线所包括的顶点的高度值与距离成正比地增加的方式计算高度值的步骤;以及通过多边形来在计算出高度值的上述路径引导线的顶点和上述虚拟的路径引导线所分别包括的顶点生成面,从而执行立体化的步骤。
而且,电子装置100可在立体数据映射根据车辆的速度来具有位移的纹理来生成路径引导指示符(步骤S505)。
而且,电子装置100可通过增强现实来在画面输出路径引导指示符(步骤S506)。在这里,将参照图16对输出画面进行具体的说明。
图16为表示本发明一实施例的路径引导画面的图。参照图16,本发明一实施例的电子装置100可一同显示增强现实上的路径引导画面(左侧画面)及地图上的路径引导画面(右侧画面)。
在此情况下,为了在增强现实上进行引导,增强现实供给部160可生成叠加于增强现实的指示符。
作为一例,如图16所示,增强现实供给部160可生成路径引导指示符1601、车行道变更引导指示符1602及车道线脱离引导指示符1603。而且,增强现实供给部160可在增强现实上输出所生成的指示符。
图17为表示本发明一实施例的摄像头和电子装置为分离型的情况下的体现形态的图。参照图17,分别设置的车辆用导航仪100和车辆用黑匣子200可利用有线/无线通信方式来构成本发明一实施例的系统。
车辆用导航仪100可包括:显示部145,设于导航仪的外壳191的前表面;导航仪操作键193;以及导航仪传声器195。
车辆用黑匣子200可在行驶过程及停车过程中获得车辆的数据。即,不仅可以拍摄车辆在行驶过程中的影像,而且在车辆停车的情况下,也可以拍摄影像。通过车辆用黑匣子200来获得的影像的清晰度可恒定或发生变化。例如,在发生事故前后,可使影像的清晰度高,而在通常的情况下,降低清晰度,从而可将所需的存储空间最小化,并存储关键影像。
车辆用黑匣子200可包括黑匣子摄像头222、黑匣子传声器224及附着部281。
另一方面,虽然图17示出车辆用导航仪100和单独设置的车辆用黑匣子200通过有线/无线通信方式互相连接,但车辆用导航仪100和车辆用黑匣子200也可以无需通过有线/无线通信方式相连接。在这种情况下,若用于存储黑匣子200的拍摄影像的存储介质插入于电子装置100,则电子装置100可接收所拍摄的影像。另一方面,还可以使车辆用黑匣子200具有车辆用导航仪100的功能,或者可以使车辆用导航仪100具有摄像头并实现一体化。对此,将参照图18来进行详细说明。
图18为表示本发明一实施例的摄像头和电子装置为一体型的情况下的体现形态的图。参照图18,在电子装置包含摄像头功能的情况下,用户能够以电子装置的摄像头部分拍摄车辆的前方,用户可以识别电子装置的显示部分的方式放置电子装置。由此,可体现本发明一实施例的系统。
图19为表示利用本发明一实施例的平视显示器及电子装置的体现形态的图。参照图19电子装置可通过有线/无线通信方式与平视显示器相连接,并在平视显示器上显示增强现实引导画面。
另一方面,能够以程序代码体现上述本发明的多种实施例的电子装置的控制方法,从而以存储于多种非临时性的可读介质(non-transitory computer readablemedium)状态向各服务器或设备提供。
非临时性的可读介质并不意味着寄存器、高速缓冲存储器、存储器等短时间存储数据的介质,而是意味着半永久性存储数据,并能借助设备来读取(reading)的介质。具体地,上述的多种应用或程序可存储于光盘(CD)、数字多功能光盘(DVD)、硬盘、蓝光光盘、通用串行总线、记忆卡、只读存储器等非临时性的可读介质来提供。
并且,以上对本发明的优选实施例进行了图示和说明,但本发明并不局限于上述的特定实施例,在不脱离发明要求保护范围中申请的本发明的主旨的情况下,可由本发明所属技术领域的普通技术人员对本发明实施多种变形,并且,这些变形实施方式不应脱离本发明的技术思想或本发明的前景来单独理解。
Claims (8)
1.一种电子装置的控制方法,所述控制方法包括:
接收用于请求进行路径引导的用户输入的步骤;
基于与所述用户输入相对应的目的地信息来生成路径引导线的步骤;
通过反映车辆的行驶轨迹的半径来校正所生成的路径引导线的步骤;
通过基于与所述车辆之间的距离改变校正后的路径引导线的高度,来执行可变立体3D化的步骤;
对基于可变3D化来生成的3D数据进行映射纹理并生成路径引导指示符的步骤;以及
通过增强现实来在画面输出所述路径引导指示符的步骤,
其中,执行所述可变3D化的步骤包括:
在所述校正后的路径引导线的两侧生成虚拟的路径引导线的步骤;
以使所述校正后的路径引导线所包括的顶点的高度值与到所述车辆的距离成正比地增加的方式计算高度值的步骤;以及
通过多边形来对计算出高度值的所述路径引导线的顶点和包括在所述校正后的路径引导线的两侧的每条虚拟的路径引导线中的顶点执行3D化的步骤。
2.根据权利要求1所述的控制方法,其中,校正所述路径引导线的步骤包括:
向所述路径引导线添加顶点来引导所述车辆的前方区域从而将所述路径引导线形成为直线的步骤;
向所述路径引导线添加顶点来引导曲线区间并将所述路径引导线形成为曲线的步骤;以及
通过使用所添加的顶点来生成反映所述车辆的行驶轨迹的半径的路径引导线的步骤。
3.根据权利要求1所述的控制方法,其中,生成所述路径引导指示符的步骤通过将根据车辆速度来具有位移的纹理映射到所述3D数据来生成所述路径引导指示符。
4.根据权利要求1所述的控制方法,所述控制方法还包括:
执行用于从摄像头拍摄而得的拍摄影像中推定与摄像头相对应的摄像头参数的校准的步骤;以及
基于所述摄像头参数来从所述拍摄影像中生成虚拟三维空间的步骤,
其中,该输出步骤包括:通过组合所生成的路径引导指示符与所生成的虚拟三维空间来进行输出。
5.一种电子装置,该电子装置包括:
输入部,所述输入部接收用于请求进行路径引导的用户输入;
路径引导线生成部,所述路径引导线生成部基于与所述用户输入相对应的目的地信息来生成路径引导线;
路径引导指示符生成部,所述路径引导指示符生成部利用所生成的路径引导线来在增强现实中生成用于路径引导的路径引导指示符;以及
显示部,所述显示部通过增强现实来在画面输出所生成的路径引导指示符,
其中,所述路径引导指示符生成部包括:
路径引导线处理部,所述路径引导线处理部通过反映实际行驶车辆的行驶轨迹的半径来校正所生成的路径引导线;
路径引导线立体3D化部,该路径引导线3D化部通过基于与所述车辆之间的距离改变校正后的路径引导线的高度,来执行可变3D化;以及
纹理映射部,所述纹理映射部对基于可变3D化来生成的3D数据进行映射纹理并生成路径引导指示符,
其中,所述路径引导线3D化部在所述校正后的路径引导线的两侧生成虚拟的路径引导线,以使所述校正后的路径引导线所包括的顶点的高度值与到所述车辆的距离成正比地增加的方式计算高度值,并通过多边形来对计算出高度值的所述路径引导线的顶点和包括在所述校正后的路径引导线的两侧的每条虚拟的路径引导线中的顶点执行3D化。
6.根据权利要求5所述的电子装置,其中,所述路径引导线处理部向所述路径引导线添加顶点来引导所述车辆的前方区域从而将所述路径引导线形成为直线,向所述路径引导线添加顶点来引导曲线区间并将所述路径引导线形成为曲线,并通过使用所添加的顶点来生成反映所述车辆的行驶轨迹的半径的路径引导线。
7.根据权利要求5所述的电子装置,其中,所述纹理映射部通过将根据车辆速度来具有位移的纹理映射到所述3D数据来生成所述路径引导指示符。
8.根据权利要求5所述的电子装置,该电子装置还包括:
校准部,所述校准部执行用于从摄像头拍摄而得的拍摄影像中推定与摄像头相对应的摄像头参数的校准;以及
三维空间生成部,所述三维空间生成部基于所述摄像头参数来从所述拍摄影像中生成虚拟三维空间,
其中,所述显示部将所生成的路径引导指示符与所生成的虚拟三维空间进行组合并输出。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0073727 | 2014-06-17 | ||
KR20140073727 | 2014-06-17 | ||
KR10-2014-0154597 | 2014-11-07 | ||
KR1020140154597A KR102255432B1 (ko) | 2014-06-17 | 2014-11-07 | 전자 장치 및 그의 제어 방법 |
CN201510336818.5A CN105300401B (zh) | 2014-06-17 | 2015-06-17 | 电子装置及其控制方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510336818.5A Division CN105300401B (zh) | 2014-06-17 | 2015-06-17 | 电子装置及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109323708A true CN109323708A (zh) | 2019-02-12 |
CN109323708B CN109323708B (zh) | 2022-04-05 |
Family
ID=55084952
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811382624.9A Active CN109323708B (zh) | 2014-06-17 | 2015-06-17 | 电子装置及其控制方法 |
CN201510336818.5A Active CN105300401B (zh) | 2014-06-17 | 2015-06-17 | 电子装置及其控制方法 |
CN201910530448.7A Pending CN110296715A (zh) | 2014-06-17 | 2015-06-17 | 电子装置及其控制方法、计算机可读记录介质 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510336818.5A Active CN105300401B (zh) | 2014-06-17 | 2015-06-17 | 电子装置及其控制方法 |
CN201910530448.7A Pending CN110296715A (zh) | 2014-06-17 | 2015-06-17 | 电子装置及其控制方法、计算机可读记录介质 |
Country Status (2)
Country | Link |
---|---|
KR (2) | KR102255432B1 (zh) |
CN (3) | CN109323708B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI609807B (zh) * | 2016-05-17 | 2018-01-01 | 緯創資通股份有限公司 | 影像評估方法以及其電子裝置 |
CN107784864A (zh) * | 2016-08-26 | 2018-03-09 | 奥迪股份公司 | 车辆辅助驾驶方法及系统 |
US11321572B2 (en) * | 2016-09-27 | 2022-05-03 | Nissan Motor Co., Ltd. | Self-position estimation method and self-position estimation device |
WO2018081807A2 (en) | 2016-10-31 | 2018-05-03 | Mobileye Vision Technologies Ltd. | Systems and methods for navigating lane merges and lane splits |
KR20180050823A (ko) | 2016-11-07 | 2018-05-16 | 삼성전자주식회사 | 3차원의 도로 모델을 생성하는 방법 및 장치 |
US10551840B2 (en) * | 2018-07-02 | 2020-02-04 | Baidu Usa Llc | Planning driven perception system for autonomous driving vehicles |
CN110361021B (zh) | 2018-09-30 | 2021-06-22 | 毫末智行科技有限公司 | 车道线拟合方法及系统 |
CN111460865B (zh) * | 2019-01-22 | 2024-03-05 | 斑马智行网络(香港)有限公司 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
US11790613B2 (en) | 2019-01-31 | 2023-10-17 | Lg Electronics Inc. | Image output device |
CN110006440B (zh) * | 2019-04-12 | 2021-02-05 | 北京百度网讯科技有限公司 | 一种地图关系的表达方法、装置、电子设备及存储介质 |
CN110070623B (zh) * | 2019-04-16 | 2023-02-24 | 阿波罗智联(北京)科技有限公司 | 引导线绘制提示方法、装置、计算机设备和存储介质 |
KR102249100B1 (ko) * | 2019-12-10 | 2021-05-06 | 한국교통대학교산학협력단 | 차량 측위 장치 |
KR102599269B1 (ko) * | 2019-12-31 | 2023-11-06 | 현대오토에버 주식회사 | 증강현실 내비게이션 장치 및 그 제어 방법 |
KR20210087271A (ko) * | 2020-01-02 | 2021-07-12 | 삼성전자주식회사 | 3d 증강 현실 내비게이션 정보 표시 방법 및 장치 |
CN111353466B (zh) * | 2020-03-12 | 2023-09-22 | 北京百度网讯科技有限公司 | 车道线识别处理方法、设备、存储介质 |
KR20210126365A (ko) * | 2020-04-10 | 2021-10-20 | 팅크웨어(주) | 차량 주행 영상 기반의 차선 검출 방법, 차선 검출 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
KR102443401B1 (ko) * | 2020-06-29 | 2022-09-15 | 주식회사 라이드플럭스 | 자율주행 차량을 위한 로드 네트워크 데이터 생성 방법, 장치 및 컴퓨터프로그램 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110052042A1 (en) * | 2009-08-26 | 2011-03-03 | Ben Tzvi Jacob | Projecting location based elements over a heads up display |
CN102016930A (zh) * | 2008-04-30 | 2011-04-13 | 星克跃尔株式会社 | 用于创建3d方向显像的方法与设备 |
CN102027510A (zh) * | 2008-05-15 | 2011-04-20 | 星克跃尔株式会社 | 显示导引符号的系统和方法 |
CN102027509A (zh) * | 2008-05-14 | 2011-04-20 | 星克跃尔株式会社 | 用于3d路径的方法和装置 |
CN102057402A (zh) * | 2008-01-28 | 2011-05-11 | 株式会社吉奥技术研究所 | 路线导向数据库的数据结构 |
CN102057253A (zh) * | 2008-06-11 | 2011-05-11 | 三菱电机株式会社 | 导航装置 |
WO2013018962A1 (en) * | 2011-08-04 | 2013-02-07 | Lg Electronics Inc. | Traffic lane recognizing apparatus and method thereof |
KR20130027367A (ko) * | 2011-09-07 | 2013-03-15 | 동국대학교 산학협력단 | 내비게이션 장치 및 경로 표시 방법 |
CN103234547A (zh) * | 2013-04-18 | 2013-08-07 | 易图通科技(北京)有限公司 | 真三维导航中道路场景的显示方法和装置 |
KR20130134404A (ko) * | 2012-05-31 | 2013-12-10 | 현대자동차주식회사 | 내비게이션용 콘텐츠 그래픽 이미지의 3차원 표시장치 및 방법 |
WO2013184448A4 (en) * | 2012-06-05 | 2014-03-27 | Apple Inc. | Mapping application with novel search field |
WO2013184472A4 (en) * | 2012-06-05 | 2014-06-05 | Apple Inc. | Providing navigation instructions while device is in locked mode |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000282423A (ja) * | 1999-03-31 | 2000-10-10 | Toshiba Corp | 可変道路マーカ |
JP4211620B2 (ja) * | 2004-01-30 | 2009-01-21 | 株式会社デンソー | カーナビゲーション装置 |
CN1710550A (zh) * | 2004-06-16 | 2005-12-21 | 上海宝信软件股份有限公司 | 一种动态生成路口渠化图的方法 |
JP4923647B2 (ja) | 2006-03-17 | 2012-04-25 | 株式会社デンソー | 運転支援画像表示装置及びプログラム |
JP4861850B2 (ja) * | 2007-02-13 | 2012-01-25 | アイシン・エィ・ダブリュ株式会社 | レーン判定装置及びレーン判定方法 |
JP4886597B2 (ja) * | 2007-05-25 | 2012-02-29 | アイシン・エィ・ダブリュ株式会社 | レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置 |
JP5036407B2 (ja) * | 2007-05-30 | 2012-09-26 | アルパイン株式会社 | ナビゲーション装置 |
CN101540100A (zh) * | 2008-03-17 | 2009-09-23 | 上海宝康电子控制工程有限公司 | 车辆变道记录装置 |
KR100888155B1 (ko) * | 2008-05-14 | 2009-03-10 | 팅크웨어(주) | 텍스처 맵핑을 이용하여 3차원 지도를 표시하는 시스템 및방법 |
JP4656456B2 (ja) * | 2008-10-22 | 2011-03-23 | 日本電気株式会社 | 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム |
KR20100130483A (ko) * | 2009-06-03 | 2010-12-13 | 엘지전자 주식회사 | 차량 내비게이션 방법 및 그 장치 |
DE102010033729B4 (de) * | 2010-08-07 | 2014-05-08 | Audi Ag | Verfahren und Vorrichtung zum Bestimmen der Position eines Fahrzeugs auf einer Fahrbahn sowie Kraftwagen mit einer solchen Vorrichtung |
KR101688155B1 (ko) * | 2010-10-25 | 2016-12-20 | 엘지전자 주식회사 | 이동 단말기의 정보 처리 장치 및 그 방법 |
CN102519475A (zh) * | 2011-12-12 | 2012-06-27 | 杨志远 | 一种基于增强现实技术的智能导航方法和设备 |
KR20130135656A (ko) * | 2012-06-01 | 2013-12-11 | 현대엠엔소프트 주식회사 | 네비게이션 장치, 이를 이용한 차량 제어 시스템 및 방법 |
JP6328366B2 (ja) * | 2012-08-13 | 2018-05-23 | アルパイン株式会社 | ヘッドアップディスプレイの表示制御装置および表示制御方法 |
DE102012215322A1 (de) * | 2012-08-29 | 2014-03-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur |
-
2014
- 2014-11-07 KR KR1020140154597A patent/KR102255432B1/ko active IP Right Grant
-
2015
- 2015-06-17 CN CN201811382624.9A patent/CN109323708B/zh active Active
- 2015-06-17 CN CN201510336818.5A patent/CN105300401B/zh active Active
- 2015-06-17 CN CN201910530448.7A patent/CN110296715A/zh active Pending
-
2021
- 2021-05-17 KR KR1020210063573A patent/KR102348127B1/ko active IP Right Grant
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102057402A (zh) * | 2008-01-28 | 2011-05-11 | 株式会社吉奥技术研究所 | 路线导向数据库的数据结构 |
CN102016930A (zh) * | 2008-04-30 | 2011-04-13 | 星克跃尔株式会社 | 用于创建3d方向显像的方法与设备 |
CN102027509A (zh) * | 2008-05-14 | 2011-04-20 | 星克跃尔株式会社 | 用于3d路径的方法和装置 |
CN102027510A (zh) * | 2008-05-15 | 2011-04-20 | 星克跃尔株式会社 | 显示导引符号的系统和方法 |
CN102057253A (zh) * | 2008-06-11 | 2011-05-11 | 三菱电机株式会社 | 导航装置 |
US20110052042A1 (en) * | 2009-08-26 | 2011-03-03 | Ben Tzvi Jacob | Projecting location based elements over a heads up display |
WO2013018962A1 (en) * | 2011-08-04 | 2013-02-07 | Lg Electronics Inc. | Traffic lane recognizing apparatus and method thereof |
KR20130027367A (ko) * | 2011-09-07 | 2013-03-15 | 동국대학교 산학협력단 | 내비게이션 장치 및 경로 표시 방법 |
KR20130134404A (ko) * | 2012-05-31 | 2013-12-10 | 현대자동차주식회사 | 내비게이션용 콘텐츠 그래픽 이미지의 3차원 표시장치 및 방법 |
WO2013184448A4 (en) * | 2012-06-05 | 2014-03-27 | Apple Inc. | Mapping application with novel search field |
WO2013184472A4 (en) * | 2012-06-05 | 2014-06-05 | Apple Inc. | Providing navigation instructions while device is in locked mode |
CN103234547A (zh) * | 2013-04-18 | 2013-08-07 | 易图通科技(北京)有限公司 | 真三维导航中道路场景的显示方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
KR102255432B1 (ko) | 2021-05-24 |
KR20210061319A (ko) | 2021-05-27 |
CN110296715A (zh) | 2019-10-01 |
CN105300401A (zh) | 2016-02-03 |
CN109323708B (zh) | 2022-04-05 |
KR102348127B1 (ko) | 2022-01-11 |
CN105300401B (zh) | 2019-07-12 |
KR20150144681A (ko) | 2015-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105300401B (zh) | 电子装置及其控制方法 | |
CN105185134B (zh) | 电子装置、电子装置的控制方法及计算机可读记录介质 | |
US11543256B2 (en) | Electronic apparatus and control method thereof | |
CN105654030B (zh) | 电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质 | |
CN110091798A (zh) | 电子装置、电子装置的控制方法以及计算机可读存储介质 | |
CN105185137B (zh) | 电子装置、电子装置的控制方法及计算机可读记录介质 | |
US20070009137A1 (en) | Image generation apparatus, image generation method and image generation program | |
CN107341454A (zh) | 一种场景中障碍物的检测方法及装置、电子设备 | |
CN106494406A (zh) | 弯道导向方法、弯道导向装置、电子装置及程序 | |
CN114056236B (zh) | 增强现实处理装置、基于增强现实的路线引导方法以及电子装置 | |
CN108335507A (zh) | 利用摄像头的拍摄影像的驾驶引导提供方法及装置 | |
CN105651299B (zh) | 电子装置、电子装置的控制方法 | |
US20240345261A1 (en) | Method and apparatus for determining location by correcting global navigation satellite system based location and electronic device thereof | |
CN113516014A (zh) | 车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质 | |
CN105651298B (zh) | 电子装置、电子装置的控制方法 | |
KR20210094475A (ko) | 차량 영상 기반의 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210817 Address after: Seoul, South Kerean Applicant after: Hyundai Motor Co.,Ltd. Applicant after: Kia Co.,Ltd. Address before: Gyeonggi Do, South Korea Applicant before: THINKWARE SYSTEMS Corp. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |