CN111710189A - 电子装置的控制方法、电子装置以及记录介质 - Google Patents

电子装置的控制方法、电子装置以及记录介质 Download PDF

Info

Publication number
CN111710189A
CN111710189A CN202010541932.2A CN202010541932A CN111710189A CN 111710189 A CN111710189 A CN 111710189A CN 202010541932 A CN202010541932 A CN 202010541932A CN 111710189 A CN111710189 A CN 111710189A
Authority
CN
China
Prior art keywords
vehicle
crosswalk
image data
camera
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010541932.2A
Other languages
English (en)
Other versions
CN111710189B (zh
Inventor
趙浩亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Priority to CN202010541932.2A priority Critical patent/CN111710189B/zh
Publication of CN111710189A publication Critical patent/CN111710189A/zh
Application granted granted Critical
Publication of CN111710189B publication Critical patent/CN111710189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

电子装置的控制方法、电子装置以及记录介质。本发明公开电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质。本发明的电子装置的控制方法包括：从在车辆运行过程中由摄像头拍摄而得的影像数据中检测人行横道的步骤；生成用于表示所检测出的人行横道的对象的步骤；以及通过增强现实来输出所生成的对象的步骤。

Description

电子装置的控制方法、电子装置以及记录介质
本申请是原案申请号为201510867498.6的发明专利申请(申请日为2015年12月1日、发明名称为“电子装置、电子装置的控制方法”)的分案申请。
技术领域
本发明涉及电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质，更详细地，涉及在增强现实上向使用人员执行车辆驾驶相关引导的电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质。
背景技术
当车辆行驶时，最重要的是安全行驶及预防交通事故，为此，在车辆安装有执行控制车辆的姿势、控制车辆结构装置的功能等的多种辅助装置及安全带、安全气囊等安全装置。
不仅如此，近期，设置于车辆的黑匣子等的装置存储车辆的行驶影像及从各种传感器传输的数据，从而处于在车辆设置当车辆发生交通事故时用于查明车辆的事故原因的装置的趋势。由于也可以在智能手机、平板电脑等便携式终端设备安装黑匣子或导航仪应用等，因而被用作如上所述的车辆用装置。
但实际上，目前在这种车辆用装置中的行驶影像的利用率非常低。更具体地，即使通过目前安装于车辆的摄像头等的视觉传感器来获得车辆的行驶影像，车辆的电子装置仅停留于单纯地显示、传送这种影像或仅停留于生成是否脱离车道等简单的周边通知信息。
并且，作为目前受关注的新的车辆电子装置，还提出平视显示器(HUD，Head-UpDisplay)或增强现实界面，但在这些装置中，对车辆的行驶影像的利用率也仅停留在单纯显示或生成简单的通知信息的层面。
发明内容
本发明根据上述必要性而提出，本发明的目的在于，提供若在道路上行驶中的车辆停在交叉路口等情况下，生成用于表示人行横道的对象，并通过增强现实进行输出的电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质。
用于实现上述目的的本发明一实施例的电子装置的控制方法包括：从在车辆运行过程中由摄像头拍摄而得的影像数据中检测人行横道的步骤；生成用于表示所检测出的上述人行横道的对象的步骤；以及通过增强现实来输出所生成的上述对象的步骤。
而且，本发明的电子装置的控制方法还可包括判断上述车辆是否处于停车状态的步骤，在上述生成用于表示所检测出的上述人行横道的对象的步骤中，若判断为上述车辆处于停车状态，则可生成用于识别成上述人行横道位于上述车辆的前方的第一对象。
并且，本发明的电子装置的控制方法还可包括在上述影像数据中利用信号灯的信号区域部分的影像数据来判断信号种类信息的步骤，在上述生成用于表示所检测出的上述人行横道的对象的步骤中，若在上述信号种类信息为停止信号的状态下上述车辆维持停车状态，则生成用于识别成上述人行横道位于上述车辆的前方的第一对象，若在上述信号种类信息为停止信号的状态下上述车辆出发，则生成用于警告上述人行横道位于上述车辆的前方的第二对象。
而且，可以以互不相同的颜色区分上述第一对象、第二对象。
并且，上述第一对象、第二对象可以以包含与颜色透明度相关的阿尔法通道的形态体现，上述第一对象、第二对象可根据上述阿尔法通道来包含透明区域。
而且，本发明的电子装置的控制方法还可包括利用拍摄而得的上述影像数据来判断上述人行横道上是否存在行人的步骤；以及生成用于表示是否存在上述行人的对象的步骤。
并且，本发明的电子装置的控制方法还可包括如下的步骤：若在上述人行横道上存在行人的状态下上述车辆的前方车辆出发，则控制成不执行前方车辆出发引导。
而且，本发明的电子装置的控制方法还可包括如下的步骤：若在上述人行横道上存在行人的状态下上述车辆出发，则控制成执行用于警告在上述人行横道上存在行人的引导。
并且，上述第一对象、第二对象的显现位置可以为在上述增强现实中人行横道所处的区域。
而且，上述输出步骤可包括：对摄像头执行校准(Calibration)来计算出摄像头参数的步骤；以上述摄像头参数为基础，生成上述摄像头的拍摄影像的虚拟三维空间(3-Dimensional)的步骤；以及使所生成的上述对象位于上述虚拟三维空间的步骤。
另一方面，用于实现上述目的的本发明一实施例的电子装置包括：显示部，用于显示画面；对象生成部，若从在车辆运行过程中由摄像头拍摄而得的影像数据中检测出人行横道，则生成用于表示所检测出的上述人行横道的对象；以及控制部，将上述显示部控制成通过增强现实来输出所生成的上述对象。
而且，上述控制部可判断上述车辆是否处于停车状态，若判断为上述车辆处于停车状态，则上述控制部可控制上述对象生成部生成用于识别成上述人行横道位于上述车辆的前方的第一对象。
并且，上述控制部可在上述影像数据中利用信号灯的信号区域部分的影像数据来判断信号种类信息，上述控制部可对上述对象生成部进行如下的控制：若在上述信号种类信息为停止信号的状态下上述车辆维持停车状态，则生成用于识别成上述人行横道位于上述车辆的前方的第一对象，若在上述信号种类信息为停止信号的状态下上述车辆出发，则生成用于警告上述人行横道位于上述车辆的前方的第二对象。
而且，可以以互不相同的颜色区分上述第一对象、第二对象。
并且，上述第一对象、第二对象可以以包含与颜色透明度相关的阿尔法通道的形态体现，上述第一对象、第二对象可根据上述阿尔法通道来包含透明区域。
而且，上述控制部可通过利用拍摄而得的上述影像数据来判断上述人行横道上是否存在行人，并控制上述对象生成部生成用于表示是否存在上述行人的对象。
并且，上述控制部可进行如下的控制：若在上述人行横道上存在行人的状态下上述车辆的前方车辆出发，则不执行前方车辆出发引导。
而且，上述控制部可进行如下的控制：若在上述人行横道上存在行人的状态下上述车辆出发，则执行用于警告在上述人行横道上存在行人的引导。
并且，上述第一对象、第二对象的显现位置可以为在上述增强现实中人行横道所处的区域。
而且，上述控制部可进行如下的控制：通过对摄像头进行校准来计算出摄像头参数，以上述摄像头参数为基础，生成上述摄像头的拍摄影像的虚拟三维空间，使所生成的上述对象位于上述虚拟三维空间。
另一方面，用于实现上述目的的本发明一实施例的存储于记录介质的计算机程序可通过与电子装置相结合来执行以下步骤：从在车辆运行过程中由摄像头拍摄而得的影像数据中检测人行横道的步骤；生成用于表示所检测出的上述人行横道的对象的步骤；以及通过增强现实来输出所生成的上述对象的步骤。
另一方面，在用于实现上述目的的本发明一实施例的存储有用于执行电子装置的控制方法的计算机程序的计算机可读记录介质中，上述控制方法包括：从在车辆运行过程中由摄像头拍摄而得的影像数据中检测人行横道的步骤；生成用于表示所检测出的上述人行横道的对象的步骤；以及通过增强现实来输出所生成的上述对象的步骤。
根据本发明的上述多种实施例，可在存在人行横道的区间通过增强现实方法动态地显现引导信息，从而可有效地向驾驶员提供引导，并可引起驾驶员的兴趣，而且可谋求驾驶员对车辆的安全驾驶及方便性。
并且，根据本发明的上述多种实施例，根据人行横道上是否存在行人来执行相关引导，从而可谋求驾驶员的安全驾驶及方便性。
附图说明
图1为表示本发明一实施例的电子装置的框图。
图2为具体表示本发明一实施例的增强现实提供部的框图。
图3为用于说明与本发明一实施例的电子装置相连接的系统的网络的图。
图4为简要表示本发明一实施例的电子装置的控制方法的流程图。
图5为具体表示本发明一实施例的电子装置的控制方法的流程图。
图6为具体表示本发明再一实施例的电子装置的控制方法的流程图。
图7为具体表示本发明另一实施例的电子装置的控制方法的流程图。
图8为表示本发明一实施例的显现人行横道对象的增强现实画面的图。
图9为表示本发明一实施例的人行横道对象的纹理图像的图。
图10为表示本发明一实施例的显现行人告知对象的增强现实画面的图。
图11为表示本发明一实施例的在摄像头和电子装置为分离型的情况下的体现形态的图。
图12为表示本发明一实施例的在摄像头和电子装置为一体型的情况下的体现形态的图。
图13为表示利用本发明一实施例的平视显示器及电子装置的体现形态的图。
具体实施方式
以下的内容仅仅例示本发明的原理。因此，本发明所属技术领域的技术人员可发明出虽然未在本说明书明确说明或图示，但可体现本发明的原理并包含于本发明的概念和范围的多种装置。并且，在本发明中列举的所有条件的术语及实施例在原则上明确用于理解本发明的概念，并且，应理解为并不限定以如上所述的方式特别列举的实施例及状态。
并且，用于列举本发明的原理、观点及实施例，并列举特定实施例的所有详细说明应被理解为包含这种事项的结构性及功能性的等同技术方案。并且，这种等同技术方案应被理解为包括当前公开的等同技术方案，还包括今后将被研发的等同技术方案，即，以与结构无关地执行相同功能的方式发明的所有元件。
因此，例如，本说明书的框图应被理解为表示将本发明的原理具体化的例示性的回路的概念的观点。与此类似，所有流程图、状态转换图、伪代码等应被理解为无论是否实质性地显示于计算机可读介质，无论是否明确示出计算机或处理器，均表示借助计算机或处理执行的多种程序。
处理器或包括以与处理器相似的概念显示的功能块的附图中所示的多种元件的功能不仅可提供为专用硬件，而且可提供为与适当的软件相关地使用具有可运行软件的功能的硬件。当通过处理器提供上述功能时，可借助单一专用处理器、单一共享处理器或多个个别处理器来提供上述功能，这些中的一部分可被共享。
并且，以处理、控制或与此相似的概念来提出的术语的明确使用不应以排除具有可运行软件的能力的硬件的方式来解释，应以不受限制的方式理解为暗示性地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)及非易失性存储器。还可包括周知的其他惯用的硬件。
在本说明书的发明要求保护范围中，表现为用于执行在详细的说明中所记载的功能的机构的结构要素包括如执行上述功能的回路元件的组合或包括执行含有固件/微码等的所有形式的软件的功能的所有方法，并与用于运行上述软件的适当的回路相结合，来执行上述功能。借助这种发明要求保护范围来定义的本发明，借助以多种方式列举的方法来提供的功能相结合，并与发明要求保护范围所要求的方式相结合，因而可提供上述功能的任何方法也应理解为等同于从本说明书掌握的方法相同。
通过与附图相关的以下详细的说明，可更加明确上述的目的、特征及优点，由此，本发明所属技术领域的普通技术人员可容易地实施本发明的技术思想。并且，在对本发明进行说明的过程中，若判断对公知技术的具体说明有可能使本发明的主旨变得模糊，则将省略其详细说明。
以下，参照附图，对本发明的多种实施例进行详细说明。
图1为表示本发明一实施例的电子装置的框图。参照图1，电子装置100包括存储部110、输入部120、输出部130、人行横道检测部140、信号种类信息判断部150、运行状态判断部155、增强现实提供部160、控制部170、通信部180、检测部190、电源部195中的全部或一部分。
在这里，电子装置100可以体现为可向处于驾驶状态的车辆驾驶员提供驾驶相关引导的智能手机、平板电脑、笔记本电脑、个人数字助理(PDA，personal digitalassistant)、便携式多媒体播放器(PMP，portable multimedia player)、智能眼镜、拓展现实眼镜、导航仪(navigation)、黑匣子(Black-box)等多种装置，上述电子装置100可设于车辆。
在这里，车辆的运行状态可包括车辆的停车状态、车辆的行驶状态、车辆的泊车状态等由驾驶员驾驶的车辆的多种状态。
车辆驾驶相关引导可包括如导航、车道脱离引导、前方车辆出发引导、信号灯变更引导、防止与前方车辆碰撞引导、车道变更引导、车道引导等用于辅助驾驶员驾驶车辆的多种引导。
在这里，导航可包括：增强现实导航，在拍摄正在行驶中的车辆的前方的影像中结合使用人员的位置、方向等各种信息来执行导航；以及二维(2D，2-Dimensional)或三维(3D，3-Dimensional)导航，在二维或三维地图数据中结合使用人员的位置、方向等各种信息来执行导航。其中，导航可解释成不仅包括在使用人员乘坐车辆进行驾驶的情况下的导航，还包括使用人员以行走或奔跑的方式移动的情况下的导航的概念。
并且，车道脱离引导可以为对行驶中的车辆是否脱离车道进行引导。
并且，前方车辆出发引导可以为对位于停车中的车辆的前方的车辆是否出发所进行的引导。
并且，信号灯变更引导可以为对位于停车中的车辆的前方的信号灯是否变更所进行的引导。作为一例，若从表示停止信号的红灯亮起的状态变更为表示出发信号的绿灯，则可对此进行引导。
并且，防止与前方车辆碰撞的引导可以为若停车或行驶中的车辆与位于前方的车辆之间的距离在规定距离以内，则为了防止与前方车辆碰撞而进行的引导。
并且，车道变更引导可以为为了引导目的地为止的路径而引导车辆从车辆所处的车道变更到其他车道。
并且，车道引导可以为对车辆当前所处的车道所进行的引导。
这种可提供多种引导的驾驶相关影像可通过朝向车辆的前方放置的摄像头来实时拍摄。在这里，摄像头可以为以与放置于车辆的电子装置100形成为一体，并拍摄车辆的前方的摄像头。在这种情况下，摄像头可以与智能手机、导航仪或黑匣子形成为一体，电子装置100可接收形成为一体的摄像头所拍摄的影像。
作为另一例，摄像头可以为与电子装置100分别放置于车辆，并拍摄车辆的前方的摄像头。在这种情况下，摄像头可以为朝向车辆的前方放置的单独的黑匣子，电子装置100通过有线/无线通信来接收单独放置的黑匣子所拍摄的影像，或若用于存储黑匣子所拍摄的影像的存储介质插入于电子装置100，则电子装置100可接收黑匣子所拍摄的影像。
以下，基于上述内容，对本发明一实施例的电子装置100进行更加具体的说明。
存储部110执行存储电子装置100的工作所需的多种数据及应用的功能。尤其，存储部110可存储电子装置100的工作所需的数据，如操作系统(OS)、路径探索应用、地图数据等。并且，存储部110可存储借助电子装置100的工作来生成的数据，如所探索到的路径数据、所接收的影像等。
其中，存储部110不仅可以体现为随机存取存储器(RAM，Random Access Memory)、闪存、只读存储器(ROM，Read Only Memory)、可擦除可编程式只读存储器(EPROM，ErasableProgrammable ROM)、电可擦除可编程式只读存储器(EEPROM，Electronically Erasableand Programmable ROM)、寄存器、硬盘、可移动磁盘、内存卡、通用用户识别模块(USIM，Universal Subscriber Identity Module)等内置型存储元件，还可以体现为通用串行总线存储器等可拆装形态的存储元件。
输入部120执行将从电子装置100的外部输入的物理输入转换为特定的电信号的功能。其中，输入部120可包括使用人员输入部121和传声器部123中的全部或一部分。
使用人员输入部121可接收触摸、推动动作等使用人员的输入。在这里，使用人员输入部121可利用多种按钮的形态、接收触摸式输入的触摸传感器、接收接近动作的接近传感器中的至少一个来体现。
传声器部123可接收使用人员的声音及从车辆的内外部产生的声音。
输出部130为用于输出电子装置100的数据的装置。其中，输出部130可包括显示部131和音频输出部133中的全部或一部分。
显示部131为电子装置100输出可以以视觉性的方式识别的数据的装置。显示部131可以体现为设于电子装置100的外壳的前面的显示部。并且，显示部131可以与电子装置100形成为一体，并输出视觉性的识别数据，还可如平视显示器，与电子装置100单独设置来输出视觉性的识别数据。
音频输出部133为电子装置100输出可以以听觉性的方式识别的数据的装置。音频输出部133可通过表现声音的扬声器来体现电子装置100的应告知使用人员的数据。
通信部180可以为了使电子装置100与其他设备进行通信而设。通信部180可包括位置数据部181、无线互联网部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的全部或一部分。
位置数据部181为通过全球导航卫星系统(GNSS，Global Navigation SatelliteSystem)来获得位置数据的装置。全球导航卫星系统意味着可利用从人工卫星接收的电波信号来计算出接收终端的位置的导航系统。作为全球导航卫星系统的具体例，可根据运营主体分为全球卫星定位系统(GPS，Global Positioning System)、伽利略定位系统(Galileo)、格洛纳斯卫星导航系统(GLONASS，Global Orbiting Navigational SatelliteSystem)、北斗卫星导航系统(COMPASS)、印度区域导航卫星系统(IRNSS，Indian RegionalNavigational Satellite System)、准天顶卫星系统(QZSS，Quasi-Zenith SatelliteSystem)等。本发明一实施例的电子装置100的位置数据部181可通过接收向使用电子装置100的地区提供服务的全球导航卫星系统的信号来获得位置信息。
无线互联网部183为通过与无线互联网相连接来获得数据或发送信息的装置。可通过无线互联网部183来连接的无线互联网可以为无线局域网(WLAN，WirelessLAN)、无线宽带(Wibro，Wireless broadband)、全球微波互联接入(Wimax，World interoperabilityfor microwave acess)、高速下行分组接入(HSDPA，High Speed Downlink Packet Acess)等。
广播收发部185为通过各种广播系统来收发广播信号的装置。可通过广播收发部185收发的广播系统可以为地面数字多媒体广播(DMBT，Digital MultimediaBroadcasting Terrestrial)、数字多媒体卫星广播(DMBS，Digital MultimediaBroadcasting Satellite)、高通提出的移动电视标准(MediaFLO，Media Forward LinkOnly)、手持数字视频广播(DVBH，Digital Video Broadcast Handheld)、日本数字音频广播方案(ISDBT，Integrated Services Digital Broadcast Tereestrial)等。通过广播收发部185收发的广播信号可包括交通数据、生活数据等。
移动通信部186可根据第三代移动通信技术(3G，3rd Generation)、第三代合作伙伴计划(3GPP，3rd Generation Partnership Project)、长期演进计划(LTE，Long TermEvoloution)等多种移动通信规格与移动通信网相连接并进行通信。
近距离通信部187为用于进行近距离通信的装置。如上所述，近距离通信部187可通过蓝牙(Bluetooth)、射频识别(RFID，Radio Frequency Idntification)、红外数据组织(IrDA、Infraed Data Association)、超宽带(UWB，Ultra WidBand)、紫蜂协议(ZigBee)、近场通信(NFC，Near Field Communication)、无线保真(Wi-Fi)等来进行通信。
有线通信部189为可以以有线方式使电子装置100与其他设备相连接的接口装置。有线通信部189可以为可通过通用串行总线端口(USB Port)来进行通信的通用串行总线模块。
这种通信部180可利用位置数据部181、无线互联网部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个来与其他设备通信。
作为一例，在电子装置100不包括摄像功能的情况下，可利用近距离通信部187、有线通信部189中的至少一个来接收黑匣子等车辆用摄像头拍摄的影像。
作为另一例，在与多个设备通信的情况下，也可由一个设备通过近距离通信部187来通信，另一个设备通过有线通信部189通信。
检测部190为可检测电子装置100的当前状态的装置。检测部190可包括动作检测部191、光检测部193中的全部或一部分。
动作检测部191可检测电子装置100的三维空间上的运动。动作检测部191可包括三轴地磁传感器及三轴加速度传感器。可将通过动作检测部191获得的运动数据和通过位置数据部191获得的位置数据相结合，来计算出附着有电子装置100的车辆的更加准确的轨迹。
光检测部193为测定电子装置100的周边照度(illuminance)的装置。利用通过光检测部193获得的照度数据，可使显示部195的亮度与周边亮度相对应地发生变化。
电源部195为用于供给电子装置100的工作或与电子装置100相连接的其他设备的工作所需的电源的装置。电源部195可以为从内置于电子装置100的电池或车辆等外部电源处接收电源的装置。并且，根据接收电源的形态，电源部195可体现为有线通信模块119或体现为以无线的方式接收电源的装置。
人行横道检测部140可从由摄像头拍摄而得的影像数据中检测人行横道。具体地，人行横道检测部140可通过利用拍摄影像的消失点(Vanishing point)来在影像数据中确定包括人行横道的关注区域。其中，可通过从在车辆运行过程中由摄像头拍摄而得的影像数据中抽取车道，并计算出延长所抽取的车道来相交的点，从而确定消失点。并且，人行横道形成于消失点下端区域的道路，而人行横道检测部140可将消失点的下端区域确定为关注区域。
另一方面，人行横道检测部140可通过对所确定的关注区域的影像数据进行图像处理来判断人行横道是否位于上述关注区域。
但是，与上述实施例不同，根据本发明的另一实施例，人行横道检测部140可在不利用摄像头拍摄影像数据的情况下检测人行横道。作为一例，人行横道检测部140可利用通过位置数据部181确定的车辆的当前位置信息和已存储于存储部110的地图数据的人行横道位置，来判断车辆当前是否位于人行横道上。或者，为了更加准确地进行判断，人行横道检测部140可将摄像头拍摄影像数据、地图数据及位置数据全部考虑在内，来判断车辆当前是否位于人行横道上。
信号种类信息判断部150可利用由摄像头拍摄而得的影像数据中的信号灯的信号区域部分的影像数据来判断信号种类信息。具体地，信号种类信息判断部150可利用拍摄影像的消失点来在影像数据中确定包含信号灯的关注区域，并以预设的像素值为基准，来对所确定的关注区域的影像数据进行变换，从而生成关注区域影像数据。其中，信号灯位于消失点的上部区域，从而信号种类信息判断部150可将所确定的消失点的上部区域确定为关注区域。
另一方面，信号种类信息判断部150可从所确定的关注区域影像数据中检测出信号灯的信号区域部分的影像数据。而且，信号种类信息判断部150可以以信号区域部分的影像数据为基础来判断信号种类信息。
其中，信号种类信息为用于分别识别可在信号灯显示的多个信号的信息，上述信号种类信息可包含停止信号信息、直行信号信息、左转弯信号、右转弯信号等。
运行状态判断部155可判断车辆的运行状态，例如车辆是否处于停车状态、车辆是否处于行驶状态或泊车状态。具体地，运行状态判断部155可利用由摄像头拍摄而得的影像数据来判断车辆是否处于停车状态。更加具体地，运行状态判断部155可生成影像数据的灰度影像数据，并可按时间顺序依次对包含于所生成的灰度影像数据的多个帧进行比较，从而判断车辆是否处于停车状态。但是，本发明并不限定于此，运行状态判断部155可以以在检测部190检测到的信号和在位置数据部181获得的运动数据为基础，来判断车辆是否处于停车状态，或者可以以通过利用车辆的控制器局域网通信(Controller Area Network)获得的车辆的实时速度信息为基础，来判断车辆的运行状态。
另一方面，本发明一实施例的电子装置100可包括用于提供增强现实视图模式的增强现实提供部160。对此，将参照图2来进行具体说明。
图2为具体表示本发明一实施例的增强现实提供部160的框图。参照图2，增强显示提供部160可包括校准部161、三维空间生成部162、对象生成部163、映射部164中的全部或一部分。
校准部161可执行校准，来从由摄像头拍摄而得的拍摄影像中推定与摄像头相对应的摄像头参数。其中，摄像头参数为构成摄像头矩阵的参数，上述摄像头矩阵为用于表示真实空间映射在照片的关系的信息。
三维空间生成部162可基于由摄像头拍摄而得的拍摄影像生成虚拟三维空间。具体地，三维空间生成部162可以以由校准部161推定的摄像头参数为基础，来从由摄像头拍摄而得的影像获得深度信息(Depths information)，并以所获得的深度信息和拍摄影像为基础来生成虚拟三维空间。
对象生成部163可生成用于在增强现实上进行引导的对象，例如，路径导航对象、车道变更引导对象、车道脱离引导对象、人行横道对象、行人引导对象等。其中，对象可体现为三维对象、纹理图像或艺术线条等。
映射部164可在由三维空间生成部162所生成的虚拟三维空间映射由对象生成部163所生成的对象。
另一方面，控制部170控制电子装置100的整体工作。具体地，控制部170可控制存储部110、输入部120、输出部130、人行横道检测部140、信号种类信息判断部150、运行状态判断部155、增强现实提供部160、通信部180、检测部190、电源部195中的全部或一部分。
尤其，控制部170对对象生成部163进行如下的控制：若从在车辆运行过程中由摄像头拍摄而得的影像数据中检测出人行横道，则生成用于表示所检测出的人行横道的对象，并且，控制部170可控制成通过增强现实来显示所生成的对象。
作为一例，在运行状态判断部155的判断结果为车辆处于停车状态，人行横道检测部140的判断结果为在车辆的前方存在人行横道的情况下，控制部170可控制对象生成部163生成用于表示人行横道的第一对象。而且，控制部170可控制成通过增强现实来输出所生成的对象。其中，第一对象可以为使驾驶员识别车辆前方存在人行横道的对象。
作为另一例，在运行状态判断部155的判断结果为车辆处于停车状态，信号种类信息判断部150的判断结果为信号为停止信号，人行横道检测部140的判断结果为在车辆的前方存在人行横道的情况下，控制部170可将对象生成部163控制成在车辆维持停止状态期间生成用于表示人行横道的第一对象。而且，控制部170可控制成通过增强现实来输出所生成的第一对象。其中，第一对象可以为用于使驾驶员识别车辆前方存在人行横道的对象。
但是，在停止信号期间车辆从停车状态开动的情况下，控制部170可控制对象生成部163生成第二对象。而且，控制部170可控制成通过增强现实来输出所生成的第二对象。其中，第二对象可以为用于警告驾驶员在车辆的前方存在人行横道的对象。
其中，可相互区分用于使驾驶人识别在车辆的前方存在人行横道的第一对象和用于警告驾驶员在车辆的前方存在人行横道的第二对象。
具体地，可用互不相同的颜色区分第一对象、第二对象。例如，第一对象可体现为与现实世界的人行横道的颜色相似的白色来显现于增强现实画面，第二对象可体现为使驾驶人认知危险状态的颜色，例如红色来显现于增强现实画面。
并且，第一对象、第二对象可体现为包含与颜色透明度相关的阿尔法通道的形态，例如，以RGBA(Red、Green、Blue、Alpha)来体现，在此情况下，第一对象、第二对象可根据阿尔法通道来包含透明区域。即，第一对象、第二对象可体现为包含显现颜色的区域及透明区域，以与现实世界的人行横道相对应。
并且，第一对象、第二对象的显现位置可以为在增强现实中人行横道所处的区域。例如，若人行横道检测部140从由摄像头拍摄而得的影像数据中检测出人行横道，则控制部170可将映射部164控制成将第一对象、第二对象显现于与人行横道被检测出的位置相对应的增强现实画面内的位置。像这样，根据本发明的一实施例，可使用于表示人行横道的对象显现成位于增强现实画面的人行横道上，以此可以以更加直观的方法向驾驶员提供引导。
另一方面，根据本发明的一实施例，可通过判断人行横道上是否存在行人，来执行与之相对应的通知。
具体地，控制部170可对对象生成部163进行如下的控制：通过利用拍摄而得的影像数据来判断人行横道上是否存在行人，并生成用于表示是否存在形成的第三对象。而且，控制部170可控制成通过增强现实来输出所生成的第三对象。其中，第三对象可以为用于使驾驶人识别在人行横道上存在行人的对象。
并且，若在人行横道上存在行人的状态下当前车辆的前方车辆出发，则控制部170可控制成不执行前方车辆出发引导。即，若在人行横道上存在行人的状态下执行前方车辆出发引导，则有可能发生当前车辆与行人碰撞的情况，在此情况下，控制部170可控制成不执行前方车辆出发引导。
并且，若在人行横道上存在行人的状态下当前车辆从停车状态出发，则控制部170可控制成执行用于警告在人行横道上存在行人的引导。即，若在人行横道上存在行人的状态下当前车辆从停车状态出发，则有可能发生当前车辆与行人碰撞的情况，在此情况下，控制部170可控制成执行当前车辆不得出发的引导。
另一方面，根据上述多个例示，虽然以在增强现实画面上以图像形态表示人行横道、行人等的引导为例进行了说明，但本发明并不限定于此。因此，根据本发明的另一实施例，控制部170可将音频输出部133控制成以声音输出引导。
图3为用于说明与本发明一实施例的电子装置相连接的系统的网络的图。参照图3，本发明的一实施例的电子装置100可体现为导航仪、黑匣子、智能手机或其他车辆用增强现实界面提供装置等设置于车辆的各种装置，并且可与多种通信网及其他电子设备61、62、63、64相连接。
并且，电子装置100可根据从人工卫星20接收的电波信号来与全球定位系统相联动，从而计算出当前的位置及当前的时间。
各个人工卫星20可发送频率波段不同的L波段频率。电子装置100可基于从各人工卫星20发送的L波段频率到达电子装置100所需的时间来计算出当前的位置。
另一方面，电子装置100可通过通信部180，并借助控制站(ACR)40、基站(RAS)50等来以无线方式与网络30相连接。若电子装置100与网络30相连接，则还可与以间接的方式与网络30相连接的其他电子设备61、62相连接，并交换数据。
另一方面，电子装置100还可以通过具有通信功能的其他设备63来以间接的方式与网络30相连接。例如，在电子装置100未具有可以与网络30相连接的模块的情况下，可通过近距离通信等来与具有通信功能的其他设备63进行通信。
图4为简要表示本发明一实施例的电子装置的控制方法的流程图。参照图4，电子装置100可从在车辆运行过程中由摄像头拍摄而得的影像数据中检测人行横道(步骤S101)。其中，摄像头可以为与安装于车辆的电子装置100形成一体来拍摄车辆的前方的摄像头，或者摄像头可以为朝向车辆的前方安装的单独的黑匣子。
而且，电子装置100可生成用于表示所检测出的人行横道的对象(步骤S102)。其中，对象可体现为三维对象、纹理图像或艺术线等形态。
而且，电子装置100可通过增强现实来输出所生成的对象(步骤S103)。其中，输出步骤(步骤S103)可包括，对摄像头进行校准来计算出摄像头参数的步骤；以摄像头参数为基础，生成摄像头的拍摄影像的虚拟三维空间的步骤；以及使所生成的对象位于虚拟三维空间的步骤。
以下，参照图5至图7来更加具体说明电子装置100的控制方法。
图5为具体表示本发明的一实施例的电子装置的控制方法的流程图。参照图5，电子装置100可判断车辆是否处于停车状态(步骤S201)。其中，可利用上述运行状态判断部155来执行判断车辆是否处于停车状态。
在车辆处于停车状态下，电子装置100可从在车辆运行过程中由摄像头拍摄而得的影像数据中检测人行横道(步骤S202)。其中，可利用上述人行横道检测部140来执行检测人行横道。
若检测出人行横道，电子装置100可生成第一对象，第一对象用于识别成人行横道位于车辆的前方(步骤S203)。
而且，电子装置100可通过增强现实来输出所生成的第一对象(步骤S204)。在此情况下，控制部170可将映射部164控制成使所生成的第一对象在增强现实画面中以接近当前车辆的方式显现。
以此，第一对象可显现在增强现实画面的道路区域中的接近当前车辆的前方的位置，而驾驶员可容易识别在当前车辆的前方附近存在人行横道。
图6为具体表示本发明再一实施例的电子装置的控制方法的流程图。参照图6，电子装置100可判断车辆是否处于停车状态(步骤S301)。其中，可利用运行状态判断部155来执行判断车辆是否处于停车状态。
若判断为车辆处于停车状态，则电子装置100可利用影像数据中的信号灯的信号区域部分的影像数据来判断信号种类信息(步骤S302)。其中，可利用上述信号种类信息判断部150来执行判断信号种类。
若判断信号种类信息为停止信号，则电子装置100可从在车辆运行过程中由摄像头拍摄而得的影像数据中检测人行横道(步骤S303)。其中，可利用上述人行横道检测部140来执行检测人行横道。
而且，若在信号种类信息为停止信号的状态下车辆维持停车状态，则电子装置100可生成第一对象，上述第一对象用于识别成人行横道位于车辆的前方(步骤S304)。
而且，若在上述信号种类信息为停止信号的状态下车辆出发，则电子装置100可生成第二对象，上述第二对象用于警告人行横道位于车辆的前方(步骤S305)。
而且，电子装置100可通过增强现实来输出所生成的对象(步骤S306)。其中，为了向驾驶员提供互不相同的引导，可以以相互区分的形态显现所生成的第一对象、第二对象。
因此，驾驶员不仅可容易识别当前车辆的前方附近存在人行横道，而且还可以容易识别车辆是否可出发。
图7为具体表示本发明另一实施例的电子装置的控制方法的流程图。参照图7，电子装置100可判断车辆是否处于停车状态(步骤S401)。其中，可利用上述运行状态判断部155来执行判断车辆是否处于停车状态。
若判断为车辆处于停车状态，则电子装置100可从在车辆运行过程中由摄像头拍摄而得的影像数据中检测人行横道(步骤S402)。其中，可利用上述人行横道检测部140来执行检测人行横道。
若检测出人行横道，则电子装置100可利用拍摄而得的影像数据来判断在人行横道上是否存在行人(步骤S403)。
而且，电子装置100可生成用于表示是否存在行人的对象(步骤S404)。
而且，电子装置100可通过增强现实来输出所生成的对象(步骤S405)。因此，驾驶员可容易识别行人正在当前车辆的前方附近行走。
另一方面，根据本发明，若在人行横道上存在行人的状态下当前车辆的前方车辆出发，则电子装置100可控制成不执行前方车辆出发引导。
并且，根据本发明，若在人行横道上存在行人的状态下当前车辆从停车状态出发，则电子装置100可控制成执行用于警告人行横道上存在行人的引导。
图8为表示本发明一实施例的显现人行横道对象的增强现实画面的图。图8的(a)部分为表示在车辆在停止信号810期间停在人行横道后方的情况下的增强现实画面的图。参照图8的(a)部分，电子装置100生成第一对象801，上述第一对象801用于表示位于车辆的前方的人行横道，并且，电子装置100可通过增强现实来输出所生成的第一对象801。其中，第一对象801可显现于增强现实画面的道路区域中的接近当前车辆的前方的位置，以此，驾驶员可容易识别在当前车辆的前方附近存在人行横道。
另一方面，图8的(b)部分为表示在车辆在停止信号810期间从停车状态移动的情况下的增强现实画面的图。参照图8的(b)部分，电子装置100生成第二对象802，第二对象802用于警告驾驶员在车辆的前方存在人行横道，电子装置100可通过增强现实来输出第二对象802。其中，第二对象802可显现于增强现实画面的道路区域中的接近当前车辆的前方的位置，并可以以互不相同的颜色来体现，从而与第一对象801进行区分。因而，驾驶员可容易识别车辆在当前不得出发。
另一方面，上述第一对象、第二对象可体现为纹理图像，并通过增强现实来显现。对此，将参照图9来具体说明。
参照图9，用于使驾驶员识别在车辆的前方存在人行横道的第一对象801可提现为与现实世界的人行横道的颜色相似的白色来显现于增强现实画面，用于警告驾驶员在车辆的前方存在人行横道的第二对象802可体现为使驾驶员识别危险状态的颜色，例如以红色来显现于增强现实画面。
其中，第一对象801、第二对象802可体现为包含用于显现颜色的区域801-1、802-1和透明区域801-2、802-2，从而与现实世界的人行横道相对应。此时，作为一例，可通过改变作为RGBA(Red、Green、Blue、Alpha)的阿尔法通道值的A值来调节透明区域801-2、802-2的透明度。在本发明的实施例中，阿尔法通道值为0.0(完全透明)和1.0(完全不透明)之间的值。在本发明的实施例中，将RGBA值用作显示颜色的值，但也可以使用作为表示用于显示透明度的阿尔法通道值的其他颜色单位的HSLA(Hue、Saturation、Lightness、Alpha)等。
图10为表示本发明一实施例的显现行人告知对象的增强现实画面的图。参照图10，电子装置100可进行如下的控制：若在人行横道上存在行人1002，则生成对此进行引导的第三对象1001，并通过增强现实来输出所生成的第三对象1001。以此，驾驶员可识别到当前在车辆的前方有行人行走，并且可容易地识别到车辆在当前不得出发。
图11为表示本发明一实施例的导航仪装置未具备拍摄部的情况下的体现形态的图。参照图11，分别设置的车辆用导航仪装置100和车辆用黑匣子200可利用有线/无线通信方式来构成本发明一实施例的系统。
车辆用导航仪100可包括：显示部131，设于导航仪的外壳191的前部面；导航仪操作键121；以及导航仪传声器123。
车辆用黑匣子200可包括黑匣子摄像头222、黑匣子传声器224及附着部281。
图12为表示本发明一实施例的导航仪装置具备拍摄部的情况下的体现形态的图。参照图12，在导航仪装置100包括拍摄部125的情况下，使用人员可如下设置导航仪装置100，即，使导航仪装置100的拍摄部125拍摄车辆的前方，并使导航仪装置100的显示部分可识别使用人员。以此，可体现本发明一实施例的系统。
图13为表示利用本发明一实施例的平视显示器及电子装置的体现形态的图。参照图13，平视显示器可通过与其他设备之间的有线/无线通信来在平视显示器上显示增强现实引导画面。
作为一例，增强现实可通过利用车辆前挡风玻璃的平视显示器或利用其他影像输出装置的影像叠加等来提供，像这样，增强现实提供部160可生成现实影像或叠加于玻璃的界面图像等。以此，可体现增强现实导航仪或车辆信息娱乐系统等。
另一方面，可以以程序体现上述本发明多种实施例的电子装置的控制方法，从而向服务器或设备提供。以此，各装置可与存储有程序的服务器或设备相连接来下载上述程序。
并且，可以以程序体现上述本发明的多种实施例的电子装置的控制方法，从而存储于多种非临时性的可读介质(non-transitory computer readable medium)来提供。非临时性的可读介质并不意味着寄存器、高速缓冲存储器、存储器等短时间存储数据的介质，而是意味着半永久性存储数据，并可借助设备来读取(reding)的介质。具体地，上述的多种应用或程序可存储于光盘(CD)、数字多功能光盘(DVD)、硬盘、蓝光光盘、通用串行总线、记忆卡、只读存储器等非临时性的可读介质来提供。
并且，以上对本发明的优选实施例进行了图示和说明，但本发明并不局限于上述的特定实施例，在不脱离发明要求保护范围中申请的本发明的主旨的情况下，可由本发明所属技术领域的普通技术人员对本发明实施多种变形，并且，这些变形实施方式不应脱离本发明的技术思想或本发明的前景来单独理解。

Claims (20)

1.一种电子装置的控制方法，该控制方法包括以下步骤：
确定车辆是否处于停车状态；
从在所述车辆处于停车状态时段期间在摄像头中拍摄的影像数据中检测人行横道；
当检测到人行横道时，生成用于使得驾驶员能够识别所述人行横道位于所述车辆的前方的第一对象；
确定所生成的第一对象在所述摄像头的拍摄影像的虚拟三维3D空间中的映射位置；以及
通过基于所确定的映射位置将所述第一对象映射到所述虚拟3D空间，通过增强现实来显示所述第一对象。
2.根据权利要求1所述的控制方法，该控制方法还包括以下步骤：
对所述摄像头执行校准，以计算摄像头参数；
以所述摄像头参数为基础来生成所述摄像头的拍摄影像的虚拟3D空间。
3.根据权利要求2所述的控制方法，其中，生成所述虚拟3D空间的步骤包括以下步骤：
以所述摄像头参数为基础来从所述拍摄影像获得深度信息；以及
以所获得的深度信息和所述拍摄影像为基础来生成所述虚拟3D空间。
4.根据权利要求1所述的控制方法，其中，确定车辆是否处于停车状态的步骤包括以下步骤：
生成针对所述影像数据的灰度影像数据；以及
按时间顺序依次对包括在所生成的灰度影像数据的多个帧彼此进行比较，以确定所述车辆是否处于停车状态。
5.根据权利要求1所述的控制方法，其中，检测所述人行横道的步骤考虑到地图数据和位置数据中的至少一个以及所述影像数据来确定所述车辆当前是否位于人行横道上。
6.根据权利要求1所述的控制方法，其中，所述第一对象包括显现颜色的区域和透明区域。
7.根据权利要求1所述的控制方法，其中，显示所生成的第一对象和第二对象的步骤包括以下步骤：通过增强现实来显示路径导航对象、车道变更引导对象、车道脱离引导对象和行人引导对象中的至少一个。
8.根据权利要求7所述的控制方法，其中，所述路径导航对象、车道变更引导对象、车道脱离引导对象和行人引导对象中的每一个被体现为三维对象、纹理图像和艺术线条中的一个。
9.根据权利要求1所述的控制方法，该控制方法还包括以下步骤：
利用所述影像数据中的信号灯的信号区域部分的影像数据来确定信号种类信息，并且
其中，检测所述人行横道的步骤包括以下步骤：从在所述信号种类信息为停止信号时段期间在所述摄像头中拍摄的影像数据中检测人行横道。
10.根据权利要求9所述的控制方法，该控制方法还包括以下步骤：
当所述信号种类信息为停止信号的状态下所述车辆维持停车状态时，生成所述第一对象；以及
当所述信号种类信息为停止信号的状态下所述车辆出发时，生成用于警告所述驾驶员所述人行横道位于所述车辆的前方的第二对象。
11.一种电子装置，该电子装置包括：
显示部，该显示部显示画面；
对象生成部，该对象生成部生成对象；以及
控制部，该控制部控制所述显示部通过增强现实来显示所生成的对象，
其中，所述控制部确定车辆是否处于停车状态，从在所述车辆处于停车状态时段期间在摄像头中拍摄的影像数据中检测人行横道，在检测到人行横道时生成用于使得驾驶员能够识别所述人行横道位于所述车辆的前方的第一对象，确定所生成的第一对象在所述摄像头的拍摄影像的虚拟三维3D空间中的映射位置，并且控制所述显示部通过基于所确定的映射位置将所述第一对象映射到所述虚拟3D空间，通过增强现实来显示所述第一对象。
12.根据权利要求11所述的电子装置，其中，所述控制部对所述摄像头执行校准以计算摄像头参数，并且控制所述生成部以所述摄像头参数为基础来生成所述摄像头的拍摄影像的虚拟3D空间。
13.根据权利要求12所述的电子装置，其中，所述控制部以所述摄像头参数为基础来从所述拍摄影像获得深度信息，并且以所获得的深度信息和所述拍摄影像为基础来生成所述虚拟3D空间。
14.根据权利要求11所述的电子装置，该电子装置还包括运行状态判断部，
其中，所述控制部控制所述运行状态判断部生成针对所述影像数据的灰度影像数据并且按时间顺序依次对包括在所生成的灰度影像数据的多个帧彼此进行比较，以确定所述车辆是否处于停车状态。
15.根据权利要求11所述的电子装置，其中，所述控制部检测所述人行横道以考虑到地图数据和位置数据中的至少一个以及所述影像数据来确定所述车辆当前是否位于人行横道上。
16.根据权利要求11所述的电子装置，其中，所述显示部通过增强现实来显示路径导航对象、车道变更引导对象、车道脱离引导对象和行人引导对象中的至少一个。
17.根据权利要求16所述的电子装置，其中，所述路径导航对象、车道变更引导对象、车道脱离引导对象和行人引导对象中的每一个被体现为三维对象、纹理图像和艺术线条中的一个。
18.根据权利要求11所述的电子装置，其中，所述控制部利用所述影像数据中的信号灯的信号区域部分的影像数据来确定信号种类信息，并且从在所述信号种类信息为停止信号时段期间在所述摄像头中拍摄的影像数据中检测人行横道。
19.根据权利要求18所述的电子装置，其中，所述控制部控制所述对象生成部在所述信号种类信息为停止信号的状态下所述车辆维持停车状态时生成所述第一对象，并且在所述信号种类信息为停止信号的状态下所述车辆出发时生成用于警告所述驾驶员所述人行横道位于所述车辆的前方的第二对象。
20.一种记录介质，该记录介质联接到电子装置并且存储有用于执行以下步骤的计算机程序：
确定车辆是否处于停车状态；
从在所述车辆处于停车状态时段期间在摄像头中拍摄的影像数据中检测人行横道；
当检测到人行横道时，生成用于使得驾驶员能够识别所述人行横道位于所述车辆的前方的第一对象；
确定所生成的第一对象在所述摄像头的拍摄影像的虚拟三维3D空间中的映射位置；以及
通过基于所确定的映射位置将所述第一对象映射到所述虚拟3D空间，通过增强现实来显示所述第一对象。
CN202010541932.2A 2014-12-01 2015-12-01 电子装置的控制方法、电子装置以及记录介质 Active CN111710189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010541932.2A CN111710189B (zh) 2014-12-01 2015-12-01 电子装置的控制方法、电子装置以及记录介质

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20140170051 2014-12-01
KR10-2014-0170051 2014-12-01
KR10-2015-0035744 2015-03-16
KR1020150035744A KR102383425B1 (ko) 2014-12-01 2015-03-16 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN201510867498.6A CN105654778B (zh) 2014-12-01 2015-12-01 电子装置、电子装置的控制方法
CN202010541932.2A CN111710189B (zh) 2014-12-01 2015-12-01 电子装置的控制方法、电子装置以及记录介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510867498.6A Division CN105654778B (zh) 2014-12-01 2015-12-01 电子装置、电子装置的控制方法

Publications (2)

Publication Number Publication Date
CN111710189A true CN111710189A (zh) 2020-09-25
CN111710189B CN111710189B (zh) 2023-09-08

Family

ID=56138965

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202010541932.2A Active CN111710189B (zh) 2014-12-01 2015-12-01 电子装置的控制方法、电子装置以及记录介质
CN202010541922.9A Active CN111681455B (zh) 2014-12-01 2015-12-01 电子装置的控制方法、电子装置以及记录介质
CN201510867498.6A Active CN105654778B (zh) 2014-12-01 2015-12-01 电子装置、电子装置的控制方法
CN201811590078.8A Active CN110091798B (zh) 2014-12-01 2015-12-01 电子装置、电子装置的控制方法以及计算机可读存储介质

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202010541922.9A Active CN111681455B (zh) 2014-12-01 2015-12-01 电子装置的控制方法、电子装置以及记录介质
CN201510867498.6A Active CN105654778B (zh) 2014-12-01 2015-12-01 电子装置、电子装置的控制方法
CN201811590078.8A Active CN110091798B (zh) 2014-12-01 2015-12-01 电子装置、电子装置的控制方法以及计算机可读存储介质

Country Status (2)

Country Link
KR (1) KR102383425B1 (zh)
CN (4) CN111710189B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10150414B2 (en) * 2016-07-08 2018-12-11 Ford Global Technologies, Llc Pedestrian detection when a vehicle is reversing
CN107784864A (zh) * 2016-08-26 2018-03-09 奥迪股份公司 车辆辅助驾驶方法及系统
KR20180084556A (ko) * 2017-01-17 2018-07-25 팅크웨어(주) 카메라의 촬영 영상을 이용한 운전 안내 제공 방법, 운전 안내 제공 장치, 전자 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN106971626A (zh) * 2017-05-12 2017-07-21 南通海鑫信息科技有限公司 一种行人闯红灯的警示方法
KR101966384B1 (ko) * 2017-06-29 2019-08-13 라인 가부시키가이샤 영상 처리 방법 및 시스템
DE102017216100A1 (de) * 2017-09-12 2019-03-14 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Display-Vorrichtung für ein Kraftfahrzeug
MX2020002402A (es) * 2018-01-02 2020-07-22 Lumus Ltd Pantallas de realidad aumentada con alineacion activa y metodos correspondientes.
CN110634324A (zh) * 2018-06-22 2019-12-31 上海擎感智能科技有限公司 一种基于车载终端的礼让行人的提醒方法、系统及车载终端
JP7345128B2 (ja) * 2019-05-20 2023-09-15 パナソニックＩｐマネジメント株式会社 歩行者装置および交通安全支援方法
CN113978468A (zh) * 2021-12-16 2022-01-28 诺博汽车系统有限公司 基于积水环境的车速控制方法、装置、设备以及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09178505A (ja) * 1995-12-27 1997-07-11 Pioneer Electron Corp 運転支援装置
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
CN1818929A (zh) * 2005-01-28 2006-08-16 爱信艾达株式会社 图像识别装置及图像识别方法
KR20120078877A (ko) * 2011-01-03 2012-07-11 팅크웨어(주) 전자 기기 및 전자 기기의 차선 이탈 경보 방법
CN103065470A (zh) * 2012-12-18 2013-04-24 浙江工业大学 基于单目多检测面的机器视觉的车辆闯红灯行为检测装置
CN103105174A (zh) * 2013-01-29 2013-05-15 四川长虹佳华信息产品有限责任公司 一种基于ar增强现实技术的车载实景安全导航方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004257979A (ja) * 2003-02-27 2004-09-16 Sanyo Electric Co Ltd ナビゲーション装置
JP2006127055A (ja) * 2004-10-27 2006-05-18 Denso Corp 車両用情報提示装置
JP2007193652A (ja) * 2006-01-20 2007-08-02 Hitachi Ltd ナビゲーション装置
JP4267657B2 (ja) * 2006-10-31 2009-05-27 本田技研工業株式会社 車両周辺監視装置
JP2008143387A (ja) * 2006-12-11 2008-06-26 Fujitsu Ten Ltd 周辺監視装置および周辺監視方法
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
DE112009004706T5 (de) * 2009-04-27 2012-09-13 Toyota Jidosha K.K. Fahrassistenzvorrichtung
JP2011086097A (ja) * 2009-10-15 2011-04-28 Daihatsu Motor Co Ltd 障害物検出装置
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置
CN102782740B (zh) * 2010-03-01 2015-04-15 本田技研工业株式会社 车辆周围监测装置
JP5035371B2 (ja) * 2010-03-15 2012-09-26 アイシン精機株式会社 横断歩道検出装置、横断歩道検出システム，横断歩道検出方法及びプログラム
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
CN102519475A (zh) * 2011-12-12 2012-06-27 杨志远 一种基于增强现实技术的智能导航方法和设备
JP5893054B2 (ja) * 2012-01-17 2016-03-23 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP5872923B2 (ja) * 2012-02-22 2016-03-01 株式会社マイクロネット Ａｒ画像処理装置及び方法
US9135754B2 (en) * 2012-05-07 2015-09-15 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
CN202815590U (zh) * 2012-07-30 2013-03-20 中国航天科工集团第三研究院第八三五七研究所 一种自主驾驶微型无人车的控制系统
CN102951089B (zh) * 2012-08-20 2015-04-01 上海工程技术大学 基于移动设备摄像头的车载导航及主动安全系统
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
CN104102678B (zh) * 2013-04-15 2018-06-05 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN203651606U (zh) * 2013-11-19 2014-06-18 浙江吉利汽车研究院有限公司 一种防盲区车辆显示装置
KR101388872B1 (ko) * 2014-03-17 2014-04-23 안병준 횡단보도 교통 안전 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09178505A (ja) * 1995-12-27 1997-07-11 Pioneer Electron Corp 運転支援装置
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
CN1818929A (zh) * 2005-01-28 2006-08-16 爱信艾达株式会社 图像识别装置及图像识别方法
KR20120078877A (ko) * 2011-01-03 2012-07-11 팅크웨어(주) 전자 기기 및 전자 기기의 차선 이탈 경보 방법
CN103065470A (zh) * 2012-12-18 2013-04-24 浙江工业大学 基于单目多检测面的机器视觉的车辆闯红灯行为检测装置
CN103105174A (zh) * 2013-01-29 2013-05-15 四川长虹佳华信息产品有限责任公司 一种基于ar增强现实技术的车载实景安全导航方法

Also Published As

Publication number Publication date
CN110091798B (zh) 2022-12-16
CN111681455A (zh) 2020-09-18
KR102383425B1 (ko) 2022-04-07
KR20160065722A (ko) 2016-06-09
CN105654778A (zh) 2016-06-08
CN105654778B (zh) 2020-07-10
CN111710189B (zh) 2023-09-08
CN110091798A (zh) 2019-08-06
CN111681455B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN110091798B (zh) 电子装置、电子装置的控制方法以及计算机可读存储介质
US11543256B2 (en) Electronic apparatus and control method thereof
CN108680173B (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
KR102348127B1 (ko) 전자 장치 및 그의 제어 방법
US11030816B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
CN108470162B (zh) 电子装置及其控制方法
KR102406490B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20200092197A (ko) 증강 현실 영상 처리 장치, 증강 현실 영상 처리 방법, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102299500B1 (ko) 전자 장치 및 그의 제어 방법
KR102276082B1 (ko) 내비게이션 장치, 블랙 박스 및 그들의 제어 방법
KR102158167B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR102371620B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR102299501B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR102299499B1 (ko) 전자 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210819

Address after: Seoul, South Kerean

Applicant after: Hyundai Motor Co.,Ltd.

Applicant after: Kia Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Applicant before: THINKWARE SYSTEMS Corp.

GR01 Patent grant
GR01 Patent grant