CN111292555A - 支援装置、支援方法以及存储介质 - Google Patents

支援装置、支援方法以及存储介质 Download PDF

Info

Publication number
CN111292555A
CN111292555A CN201911254711.0A CN201911254711A CN111292555A CN 111292555 A CN111292555 A CN 111292555A CN 201911254711 A CN201911254711 A CN 201911254711A CN 111292555 A CN111292555 A CN 111292555A
Authority
CN
China
Prior art keywords
blind spot
wearable device
information
user
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911254711.0A
Other languages
English (en)
Inventor
伊藤和浩
久门仁
篠原俊太郎
不破本义孝
影山潮矢
井上慎太郎
中岛清文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111292555A publication Critical patent/CN111292555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供用户能够直观地掌握周边环境的支援装置、支援方法以及存储介质。可穿戴装置(2)具备：存储器；以及具有硬件的控制部(18)，控制部(18)获取与用户的视线有关的视线信息，根据该视线信息，生成并输出表示在用户的视野区域内被遮蔽物遮蔽的死角区域的状况的死角状况信息。

Description

支援装置、支援方法以及存储介质
技术领域
本发明涉及支援装置、支援方法以及程序。
背景技术
已知在便携电话中显示从车辆内的用户的视点观察到的车辆周边的图像的技术(例如参照专利文献1)。在该技术中，在用户从车内转向便携电话时，便携电话的显示器上显示所转向的方向的车辆透明的图像。
现有技术文献
专利文献
专利文献1：日本特开2013-162328号公报
发明内容
但是，伴随高速大容量通信的发展，制造出能够经由网络获取大量信息的装置。在这种状况下，期待能够根据装置通过通信获取到的信息，使用户直观地掌握潜藏在佩戴装置的用户的周边环境中的危险。
本发明是鉴于上述情形而完成的，其目的在于提供一种用户能够直观地掌握周边环境的支援装置、支援方法以及程序。
为了解决上述课题并达成目的，本发明的支援装置，能够与可穿戴装置进行通信，其中，所述支援装置具备：存储器；以及具有硬件的处理器，所述处理器获取与佩戴有所述可穿戴装置的用户的视线有关的视线信息，根据所述视线信息而生成死角状况信息，该死角状况信息表示在所述用户的视野区域内被遮蔽物遮蔽的死角区域的状况，将所述死角状况信息输出到所述可穿戴装置。
另外，所述处理器也可以向所述可穿戴装置输出所述死角状况信息，以在与所述用户的视线一致的区域中显示所述死角状况信息。
由此，处理器在死角区域和用户的视线一致的区域中输出死角状况信息，所以用户能够直观地掌握死角区域的状况。
另外，所述处理器也可以获取对所述死角区域进行摄像而得到的图像数据，根据所述图像数据，判定所述死角区域中是否存在物体，在判定为存在所述物体的情况下，将所述死角状况信息输出到所述可穿戴装置。
由此，因为处理器在死角区域中存在物体的情况下输出死角状况信息，所以用户能够掌握在死角区域中存在物体的情况。
另外，所述处理器也可以依次获取在时间上连续的多个所述图像数据，在判定为在所述死角区域中存在所述物体的情况下，根据多个所述图像数据判定所述物体是否为移动体，在判定为所述物体是移动体的情况下，将与所述移动体对应的所述死角状况信息输出到所述可穿戴装置。
由此，因为处理器输出与死角区域的移动体对应的死角状况信息，所以用户能够掌握从死角区域接近的移动体的状况。
另外，所述处理器也可以在判定为所述物体是移动体的情况下，根据多个所述图像数据而计算所述移动体的速度，将与所述移动体和该支援装置之间的相对速度对应的所述死角状况信息输出到所述可穿戴装置。
由此，因为处理器输出与死角区域的移动体和该支援装置之间的相对速度对应的死角状况信息，所以用户能够实时地掌握从死角区域接近的移动体的状况。
另外，所述处理器也可以使用所述图像数据而生成所述死角状况信息，将所述死角状况信息输出到所述可穿戴装置。
由此，因为处理器使用对死角区域进行摄像而得到的图像数据来生成并输出死角状况信息，所以用户能够掌握死角区域中的当前的状况。
另外，所述处理器也可以根据所述视线信息，检测所述用户注视所述遮蔽物时的注视区域，向所述可穿戴装置输出所述死角状况信息，以在所述注视区域中显示所述死角状况信息。
由此，因为在用户注视的注视区域中输出死角状况信息，所以用户能够掌握必要的部位的死角区域的状况。
另外，所述处理器也可以判定所述用户注视所述注视区域的注视时间是否为预定时间以上，在所述注视时间是预定时间以上的情况下，将所述死角状况信息输出到所述可穿戴装置。
由此，在用户的注视时间是预定时间以上的情况下，处理器输出死角状况信息，所以用户能够在期望时掌握死角区域的状况。
另外，所述处理器也可以获取对所述遮蔽物进行摄像而得到的图像数据，生成将对所述遮蔽物进行摄像而得到的图像数据和对所述死角区域进行摄像而得到的图像数据以预定的比例合成而得到的合成图像数据，将与所述合成图像数据对应的合成图像作为所述死角状况信息而输出到所述可穿戴装置。
由此，因为将遮蔽物半透射的合成图像作为死角状况信息而输出，所以用户能够无违和感地掌握死角区域的状况。
另外，所述处理器也可以将与所述图像数据对应的图像作为所述死角状况信息而输出到所述可穿戴装置。
由此，因为处理器将与对死角区域进行摄像而得到的图像数据对应的图像作为死角状况信息输出，所以用户能够掌握死角区域的实际的状况。
另外，所述处理器也可以根据对所述遮蔽物进行摄像而得到的图像数据和对所述死角区域进行摄像而得到的图像数据，生成具有以圆柱状、圆锥状以及球状中的任意形状将所述遮蔽物虚拟地掏空而成的开口部的图像，将所述图像作为所述死角状况信息而输出到所述可穿戴装置。
由此，因为处理器将具有开口部的图像作为死角状况信息而输出，所以用户能够无违和感地掌握死角区域的状况。
另外，所述处理器也可以获取与搭载有该支援装置的车辆的车速有关的车速信息，根据所述车速信息，判定所述车辆的车速是否为预定速度以下，在所述车辆的车速是所述预定速度以下的情况下，将所述死角状况信息输出到所述可穿戴装置。
由此，因为处理器仅在低速时或者停车时输出死角状况信息，所以能够防止胡乱地动作而产生违和感。
另外，本发明的用户可佩戴的支援装置具备：存储器；以及具有硬件的处理器，所述处理器获取与所述用户的视线有关的视线信息，根据所述视线信息生成死角状况信息，该死角状况信息表示在所述用户的视野区域内被遮蔽物遮蔽的死角区域的状况，并输出所述死角状况信息。
另外，本发明的支援方法，由能够与可穿戴装置进行通信的支援装置执行，其中，获取与佩戴有所述可穿戴装置的用户的视线有关的视线信息，根据从存储器读出的所述视线信息生成死角状况信息。该死角状况信息表示在所述用户的视野区域内被遮蔽物遮蔽的死角区域的状况，将所述死角状况信息输出到所述可穿戴装置。
另外，本发明的程序由能够与可穿戴装置进行通信的支援装置执行，其中，获取与佩戴所述可穿戴装置的用户的视线有关的视线信息，根据所述视线信息而生成死角状况信息，该死角状况信息表示在所述用户的视野区域内被遮蔽物遮蔽的死角区域的状况，将所述死角状况信息输出到所述可穿戴装置。
根据本发明，因为输出表示死角区域的状况的死角状况信息，该死角区域为从用户的视野区域观察时被遮蔽物遮蔽的死角，所以起到用户能够直观地掌握周边环境的效果。
附图说明
图1是示出实施方式1的支援系统的概略结构的示意图。
图2是示出实施方式1的可穿戴装置的概略结构的图。
图3是示出实施方式1的可穿戴装置的功能结构的框图。
图4是示出实施方式1的可穿戴装置执行的处理的概要的流程图。
图5是示意地示出遮蔽物的一个例子的图。
图6是示意地示出实施方式1的死角状况信息的一个例子的图。
图7是示出实施方式2的可穿戴装置执行的处理的概要的流程图。
图8是示意地示出实施方式2的死角状况信息的一个例子的图。
图9是示出实施方式3的可穿戴装置执行的处理的概要的流程图。
图10是示意地示出实施方式3的死角状况信息的一个例子的图。
图11是示意地示出实施方式3的变形例的控制部输出到投影部的死角状况信息的一个例子的图。
图12是示出实施方式4的支援系统的概略结构的图。
图13是示出实施方式4的支援系统的功能结构的框图。
图14是示出实施方式4的支援装置执行的处理的概要的流程图。
图15是示意地示出实施方式4的死角状况信息的一个例子的图。
图16是示意地示出实施方式4的死角状况信息的另一例子的图。
图17是示意地示出实施方式4的死角状况信息的另一例子的图。
图18是示出实施方式4的与死角状况信息对应的图像中的形状的一个例子的图。
图19是示出实施方式4的与死角状况信息对应的图像中的另一形状的一个例子的图。
图20是示出实施方式4的与死角状况信息对应的图像中的另一形状的一个例子的图。
图21是示出实施方式5的支援系统的概略结构的示意图。
图22是示出其他实施方式的可穿戴装置的概略结构的图。
图23是示出其他实施方式的可穿戴装置的概略结构的图。
图24是示出其他实施方式的可穿戴装置的概略结构的图。
图25是示出其他实施方式的可穿戴装置的概略结构的图。
图26是示出其他实施方式的可穿戴装置的概略结构的图。
(符号说明)
1、1A、1B、1C、1D：可穿戴装置；2、2A：服务器；3：基站；4：网络；5：GPS卫星；6：支援装置；11、63：摄像装置；12：9轴传感器；13：视线传感器；14：投影部；15：GPS传感器；16：佩戴传感器；17、64：通信部；18：控制部；60：IG开关；61：车速传感器；62：视线传感器；65：车辆导航系统；66：ECU；201：通信部；202、202A：控制部；600：车辆；1000、1001、1002：支援系统；A1～A4、A10、A11、A12：死角状况信息。
具体实施方式
以下，根据附图，详细说明用于实施本发明的方式。此外，本发明不限定于以下的实施方式。另外，以下，对同一部分附加同一符号而进行说明。
(实施方式1)
〔支援系统的结构〕
图1是示出实施方式1的支援系统的概略结构的示意图。图2是示出实施方式1的可穿戴装置的概略结构的图。图3是示出实施方式1的可穿戴装置的功能结构的框图。
图1～图3所示的支援系统1000具备服务器2和用户U1可佩戴的可穿戴装置1。可穿戴装置1以及服务器2构成为能够经由基站3以及网络4相互进行信息通信。另外，可穿戴装置1接收来自多个GPS卫星5的信号，根据接收到的信号而计算可穿戴装置1自身的位置。另外，服务器2经由基站3以及网络4获取图像数据，该图像数据是GPS卫星5对包括佩戴有可穿戴装置1的用户U1在内的周边的上空进行摄像而生成的。此外，在实施方式1中，可穿戴装置1作为支援装置发挥功能。
〔可穿戴装置的结构〕
首先，说明可穿戴装置1的结构。如图1～图3所示，可穿戴装置1具备摄像装置11、9轴传感器12、视线传感器13、投影部14、GPS(Global Positioning System，全球定位系统)传感器15、佩戴传感器16、通信部17以及控制部18。在本示例中使用的是9轴传感器12，但若3轴以及6轴就足够的情况下，也可以使用较少功能的传感器。
摄像装置11根据控制部18的控制，通过例如沿着用户的视线进行摄像而生成图像数据，将该图像数据输出到控制部18。摄像装置11是使用由1个或者多个透镜构成的光学系统、和通过对由该光学系统聚光的被摄体图像进行受光而生成图像数据的CCD(ChargeCoupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等构成的。如图2所示，也可以在可穿戴装置1中设置多个摄像装置11。
9轴传感器12是使用3轴陀螺传感器、3轴加速度传感器以及3轴地磁传感器(指南针)构成的。9轴传感器12检测可穿戴装置1所产生的角速度以及加速度，并将其检测结果输出到控制部18。另外，9轴传感器12通过检测地磁来检测绝对方向，并将其检测结果输出到控制部18。
视线传感器13检测作为可穿戴装置1的佩戴者的驾驶员的视线的朝向，并将其检测结果输出到控制部18。视线传感器13是使用光学系统、CCD或者CMOS、存储器以及具有CPU、GPU等硬件的处理器构成的。视线传感器13使用例如公知的模板匹配将驾驶员的眼睛的不活动的部分检测为基准点(例如眼角)，并且将眼睛的活动的部分(例如虹膜)检测为动点，根据该基准点和动点的位置关系来检测驾驶员的视线的朝向。
投影部14根据控制部18的控制，将图像、影像以及文字信息向可穿戴装置显示部(例如透镜部)或驾驶员的视网膜投影。投影部14是使用照射RGB的各个激光束的RGB激光器、使激光反射的MEMS镜、以及将从MEMS镜反射的激光投影到驾驶员的视网膜的反射镜等构成的。
GPS传感器15根据从多个GPS卫星接收到的信号，计算与可穿戴装置1的位置有关的位置信息，并将计算出的位置信息输出到控制部18。GPS传感器15是使用GPS接收传感器等构成的。
佩戴传感器16检测用户的佩戴状态，将其检测结果输出到控制部18。佩戴传感器16是使用如下传感器等构成的，例如：检测用户佩戴可穿戴装置1时的压力的压力传感器；检测用户的体温、脉搏、脑波、血压以及发汗状态等生命体征信息的生命体征传感器。
通信部17根据控制部18的控制，经由网络4，依照预定的通信规格，将各种信息发送到服务器2，并且从服务器2接收各种信息。通信部17是使用可进行无线通信的通信模块构成的。
控制部18对构成可穿戴装置1的各部的动作进行控制。控制部18是使用存储器和具有CPU等硬件的处理器构成的。控制部18从视线传感器13获取与佩戴有可穿戴装置1的用户U1的视线有关的视线信息，根据该视线信息生成死角状况信息，并将死角状况信息输出到投影部14，该死角状况信息表示在用户U1的视野区域内被遮蔽物遮蔽的死角区域的状况。此外，在实施方式1中，控制部18作为处理器发挥功能。
〔服务器的结构〕
接下来，说明服务器2的结构。服务器2具备通信部201和控制部202。
通信部201根据控制部202的控制，经由网络4以及基站3，依照预定的通信规格发送各种信息，并且接收各种信息。另外，通信部201根据控制部202的控制，依照预定的通信规格对可穿戴装置1发送各种信息，并且从GPS卫星5以及可穿戴装置1接收各种信息。通信部201是使用可进行无线通信的通信模块构成的。
控制部202是使用存储器和具有CPU等任意硬件的处理器构成的。控制部202对构成服务器2的各部进行控制。
〔可穿戴装置的处理〕
接下来，说明可穿戴装置1执行的处理。图4是示出可穿戴装置1执行的处理的概要的流程图。
如图4所示，首先，控制部18根据从佩戴传感器16输入的检测结果，判定用户U1是否佩戴有可穿戴装置1(步骤S101)。在由控制部18判定为用户U1佩戴有可穿戴装置1的情况下(步骤S101：“是”)，可穿戴装置1转移到后述步骤S102。
接下来，控制部18获取GPS传感器15检测出的可穿戴装置1的位置信息(步骤S102)，并经由通信部17将可穿戴装置1的位置信息发送到服务器2(步骤S103)。
之后，控制部18获取由摄像装置11生成的图像数据，并从视线传感器13获取与用户U1的视线有关的视线信息(步骤S104)。
接下来，控制部18根据由摄像装置11生成的图像数据和从视线传感器13获取的视线信息，判定用户U1将视线注视在视野区域内的遮蔽物的注视时间是否为注视预定时间以上(步骤S105)。具体而言，如图5所示，控制部18根据由摄像装置11生成的图像数据和从视线传感器13获取的视线信息，检测用户U1所注视的遮蔽物Q1的注视区域。然后，控制部18判定用户U1注视遮蔽物Q1的注视区域的注视时间是否为预定时间以上、例如是否为1秒～2秒以上。在此，遮蔽物Q1是指，遮蔽用户U1无法视觉辨认的死角区域的障碍物、部件等。进而，死角区域是指，由于被遮蔽物Q1遮蔽而用户U1无法视觉辨认的区域、空间。另外，预定时间能够根据用户U1的操作、用户U1步行的速度而适当地变更。在由控制部18判定为用户U1将视线注视于遮蔽物的注视时间经过预定时间的情况下(步骤S105：“是”)，可穿戴装置1转移到后述步骤S106。相对于此，在由控制部18判定为用户U1将视线注视于遮蔽物的注视时间并未经过预定时间的情况下(步骤S105：“否”)，可穿戴装置1转移到后述步骤S108。
在步骤S106中，控制部18经由通信部17从服务器2获取死角状况信息，该死角状况信息表示在用户U1的视野区域内被遮蔽物遮蔽的死角区域的状况。具体而言，控制部18从服务器2获取由9轴传感器12所检测出的检测结果决定的用户U1的视野方向的图像数据，该图像数据是从上空对由GPS传感器15检测出的当前的可穿戴装置1的位置进行摄影而得到的当前的图像数据。在此，当前的图像数据是指，例如由GPS卫星5获取的图像数据。
接下来，控制部18将死角状况信息输出到投影部14，以在与用户U1的视线一致的区域显示死角状况信息(步骤S107)。具体而言，如图6所示，控制部18将与从服务器2获取的图像数据对应的图像输出到投影部14，以在遮蔽物Q1的注视区域中显示死角状况信息A1。由此，由于死角状况信息A1是当前状况的图像，所以用户U1能够直观地掌握遮蔽物Q1后面的死角区域的状况。
接下来，控制部18根据用户U1穿脱可穿戴装置1的情况，判定是否结束基于可穿戴装置1的安全支援(步骤S108)。在由控制部18判定为结束基于可穿戴装置1的安全支援的情况下(步骤S108：“是”)，可穿戴装置1结束本处理。相对于此，在由控制部18判定为不结束基于可穿戴装置1的安全支援的情况下(步骤S108：“否”)，可穿戴装置1返回到上述步骤S101。
根据以上说明的实施方式1，控制部18以将死角状况信息A1显示于遮蔽物Q1的方式向投影部14输出从服务器2获取的图像数据，所以用户U1能够直观地掌握遮蔽物Q1后面的死角区域的状况。
另外，根据实施方式1，因为由控制部18以使死角状况信息显示于与用户U1的视线一致的区域的方式，将死角状况信息输出到投影部14，又因为死角状况信息A1是当前状况的图像，所以用户U1能够直观地掌握遮蔽物Q1后面的死角区域的状况。
另外，根据实施方式1，在用户U1注视遮蔽物Q1的注视时间是预定时间以上的情况下，控制部18输出死角状况信息，所以用户能够在期望时掌握死角区域的状况。
(实施方式2)
接下来，说明实施方式2。实施方式2的支援系统具有与上述实施方式1的支援系统1000相同的结构，可穿戴装置执行的处理不同。以下，说明可穿戴装置执行的处理。此外，对与上述实施方式1的支援系统1000相同的部分，附加同一符号而省略详细的说明。
〔可穿戴装置的处理〕
图7是示出实施方式2的可穿戴装置1执行的处理的概要的流程图。在图7中，步骤S201～步骤S206与上述图4的步骤S101～步骤S106分别对应。
在步骤S207中，控制部18通过对从服务器2获取的图像数据进行公知的模式匹配等，而判定死角区域中是否存在物体。例如，控制部18通过在与从服务器2获取的图像数据对应的图像内进行模式匹配等，来判定是否存在人、车、自行车、动物等物体。在由控制部18判定为死角区域中存在物体的情况下(步骤S207：“是”)，可穿戴装置1转移到后述步骤S208。相对于此，在由控制部18判定为死角区域中不存在物体的情况下(步骤S207：“否”)，可穿戴装置1转移到后述步骤S209。
在步骤S208中，控制部18以在遮蔽物Q1的注视区域中显示死角状况信息的方式向投影部14输出死角状况信息。具体而言，如图8所示，控制部18以在遮蔽物Q1的注视区域中显示死角状况信息A2、A21的方式，在投影部14中输出死角状况信息A2、A21。由此，用户U1能够直观地掌握死角状况信息A2、A21，所以能够掌握遮蔽物Q1后面的死角区域中存在物体的情况。此外，在图8中，作为死角状况信息A2、A21而输出了箭头、标志的图标，但除了箭头、标志以外，还可以是例如与物体对应的图形、记号、色彩以及消息等，在例如人的情况下，也可以是呈现人的形状的图标、消息等。当然，控制部18也可以在输出死角状况信息A2的同时，还通过未图示的扬声器等输出声音。
接下来，控制部18根据用户U1穿脱可穿戴装置1的情况，判定是否结束基于可穿戴装置1的安全支援(步骤S209)。在由控制部18判定为结束基于可穿戴装置1的安全支援的情况下(步骤S209：“是”)，可穿戴装置1结束本处理。相对于此，在由控制部18判定为不结束基于可穿戴装置1的安全支援的情况下(步骤S209：“否”)，可穿戴装置1返回到上述步骤S201。
根据以上说明的实施方式2，控制部18以在遮蔽物Q1的注视区域中显示死角状况信息A2的方式，向投影部14输出死角状况信息A2，所以用户U1能够直观地掌握死角状况信息A2，因此能够掌握在遮蔽物Q1后面的死角区域中存在物体的情况。
(实施方式3)
接下来，说明实施方式3。实施方式3的支援系统具有与上述实施方式1的支援系统1000相同的结构，可穿戴装置执行的处理不同。以下，说明可穿戴装置执行的处理。此外，对与上述实施方式1的支援系统1000相同的部分，附加同一符号而省略详细的说明。
〔可穿戴装置的处理〕
图9是示出实施方式3的可穿戴装置1执行的处理的概要的流程图。在图9中，步骤S301～步骤S306与上述图4的步骤S101～步骤S106分别对应。
在步骤S307中，控制部18通过对从服务器2获取的图像数据进行公知的模式匹配等，而判定死角区域中是否存在物体。在由控制部18判定为死角区域中存在物体的情况下(步骤S307：“是”)，可穿戴装置1转移到后述步骤S308。相对于此，在由控制部18判定为死角区域中不存在物体的情况下(步骤S307：“否”)，可穿戴装置1转移到后述步骤S312。
在步骤S308中，控制部18判定存在于死角区域的物体是否为移动体。具体而言，控制部18使用从服务器2获取的时间上处于前后的至少2个图像数据来计算物体的移动量、例如物体的移动矢量，并判定该计算出的移动量是否为预定值以上。在此，移动体是指儿童、动物、行人、自行车、摩托车以及车辆等，是以一定的速度移动的物体。在由控制部18判定为存在于死角区域的物体是移动体的情况下(步骤S308：“是”)，可穿戴装置1转移到后述步骤S309。相对于此，在由控制部18判定为存在于死角区域的物体并非移动体的情况下(步骤S308：“否”)，可穿戴装置1转移到后述步骤S310。
在步骤S309中，控制部18根据摄像装置11生成的图像数据和从服务器2获取的图像数据，将与移动体对应的死角状况信息输出到投影部14。具体而言，如图10所示，控制部18以使合成图像显示于遮蔽物Q1的注视区域的方式，将合成图像输出到投影部14，该合成图像与合成图像数据对应，该合成图像数据是将摄像装置11生成的图像数据和从服务器2获取的死角区域的图像数据以预定的比例(例如5：5)合成而得到的数据。由此，遮蔽物Q1后面的死角区域虚拟地以半透射的状态显示，所以用户U1能够无违和感地掌握死角区域的现状。另外，控制部18在通过对从服务器2获取的死角区域的图像数据进行公知的模式匹配等而检测到儿童等移动体H1的情况下，以显示以移动体H1为中心的标志M1、M2的方式将标志M1、M2输出到投影部14。此时，控制部18使用从服务器2获取的时间上处于前后的至少2个图像数据，分别计算移动体H1的速度以及佩戴有可穿戴装置1的用户U1的步行速度，根据该移动体H1与可穿戴装置1的相对速度、移动体H1的行进方向以及佩戴可穿戴装置1的用户U1的行进方向，计算紧急度。然后，控制部18根据紧急度，以变更标志M1、M2各自的显示样式、例如根据紧急度而利用红色、黄色来进行显示的方式，将标志M1、M2输出到投影部14。由此，用户U1能够直观地掌握死角状况信息A3，所以能够掌握被遮蔽物Q1隐藏的移动体H1的状况。进而，用户U1能够根据标志M1、M2的状态，掌握移动体H1的速度，所以能够预测直至与移动体H1相遇的时间。此外，在图10中，控制部18以5：5的合成比例进行了合成，但不限定于此，可适当地变更。另外，控制部18不需要准确地表现死角状况信息A3中的移动体H1，也可以根据进行图像生成的处理速度，通过简易的图形等来表现，例如通过图标、头像来表现。在步骤S309之后，可穿戴装置1转移到后述步骤S312。
在步骤S310中，控制部18根据从服务器2获取的图像数据，将与静物对应的死角状况信息输出到投影部14。具体而言，控制部18以在与遮蔽物Q1相当的区域中显示死角状况信息A2(参照上述图8)的方式，在投影部14中输出死角状况信息A2。由此，用户U1能够直观地掌握死角状况信息A2，所以能够掌握遮蔽物Q1后面的死角区域中存在物体的情况。在步骤S310之后，可穿戴装置1转移到后述步骤S312。
接下来，控制部18根据用户U1穿脱可穿戴装置1的情况，判定是否结束基于可穿戴装置1的安全支援(步骤S312)。在由控制部18判定为结束基于可穿戴装置1的安全支援的情况下(步骤S312：“是”)，可穿戴装置1结束本处理。相对于此，在由控制部18判定为不结束基于可穿戴装置1的安全支援的情况下(步骤S312：“否”)，可穿戴装置1返回到上述步骤S301。
根据以上说明的实施方式3，遮蔽物Q1后面的死角区域虚拟地以半透射的状态显示，所以用户U1能够直观地掌握死角状况信息A3，因此能够无违和感地掌握被遮蔽物Q1隐藏的移动体H1的状况。
另外，根据实施方式3，控制部18以根据移动体H1与可穿戴装置1的相对速度而变更标志M1、M2各自的显示样式进行显示的方式，将标志M1、M2输出到投影部14，所以用户U1能够直观地掌握死角状况信息A3，因此能够掌握被遮蔽物Q1隐藏的移动体H1的状况。
另外，根据实施方式3，控制部18使用图像数据生成死角状况信息并输出到可穿戴装置1，所以用户能够掌握死角区域中的当前状况。
(实施方式3的变形例)
接下来，说明实施方式3的变形例。图11是示意地示出实施方式3的变形例的控制部18输出到投影部14的死角状况信息的一个例子的图。
如图11所示，控制部18根据从服务器2获取的死角区域的图像数据和由视线传感器13检测出的视线信息，生成具有将遮蔽物Q1的包括注视区域的预定的区域虚拟地掏空而成的开口部的图像数据，将与该图像数据对应的图像作为死角状况信息A4输出到投影部14。由此，以遮蔽物Q1的包括用户U1注视的注视区域的区域被掏空的状态，显示遮蔽物Q1后面的死角区域，所以用户U1能够无违和感地掌握死角区域的现状。进而，控制部18也可以根据移动体H2与佩戴可穿戴装置1的用户U1的相对速度以及移动体H2和佩戴可穿戴装置1的用户U1各自的行进方向，计算紧急度，并根据紧急度而用任意的颜色、例如根据紧急度用绿色、黄色以及红色来对开口部进行镶边。
根据以上说明的实施方式3的变形例，以遮蔽物Q1的由用户U1注视的注视区域被掏空的状态，显示遮蔽物Q1后面的死角区域，所以用户U1能够无违和感地掌握死角区域的现状。
(实施方式4)
接下来，说明实施方式4。在上述实施方式1～3中，可穿戴装置1经由网络4从服务器2获取图像数据，但在实施方式4的支援系统中，设置于车辆内的ECU(ElectronicControl Unit，电子控制单元)和可穿戴装置协作，同时ECU向可穿戴装置输出死角状况信息，从而可穿戴装置投影并显示死角状况信息。此外，对与上述实施方式1的支援系统1000相同的结构，附加同一符号而省略详细的说明。
〔支援系统的结构〕
图12是示出实施方式4的支援系统的概略结构的图。图13是示出实施方式4的支援系统的功能结构的框图。
图12以及图13所示的支援系统1001具备可穿戴装置1以及依照预定的通信规格而与可穿戴装置1进行双向通信的支援装置6。
〔支援装置的结构〕
说明支援装置6的结构。图12以及图13所示的支援装置6搭载于车辆600，与搭载于该车辆600的其他ECU协作，同时对车辆600内的驾驶员支援驾驶时、停车时的安全。支援装置6具备点火开关60(以下称为“IG开关60”)、车速传感器61、视线传感器62、摄像装置63、通信部64、车辆导航系统65以及ECU66。
IG开关60受理引擎、马达等的电气系统的起动以及停止。IG开关60在接通(ON)状态的情况下，使IG电源起动，在断开(OFF)状态的情况下，使IG电源停止。
车速传感器61检测车辆600行驶时的车速，将其检测结果输出到ECU66。
视线传感器62检测驾驶员的视线，将其检测结果输出到ECU66。视线传感器62是使用光学系统、CCD或者CMOS、存储器以及具有CPU、GPU等硬件的处理器构成的。视线传感器62使用例如公知的模板匹配，将驾驶员的眼睛的不活动的部分检测为基准点(例如眼角)，并且将眼睛的活动的部分(例如虹膜)检测为动点，并根据该基准点和动点的位置关系来检测驾驶员的视线。此外，在实施方式4中，视线传感器62利用可见照相机而检测了驾驶员的视线，但不限定于此，也可以利用红外照相机来检测驾驶员的视线。在利用红外照相机构成视线传感器62的情况下，利用红外LED(Light Emitting Diode)等对驾驶员照射红外光，并根据利用红外照相机对驾驶员进行摄像而生成的图像数据来检测基准点(例如角膜反射)以及动点(例如瞳孔)，根据该基准点和动点的位置关系来检测驾驶员的视线。
如图12所示，在车辆600的外部设置有多个摄像装置63，例如至少在前侧方、后方以及两侧方的3个部位以上设置摄像装置，以使摄像视角为360°。摄像装置63根据ECU66的控制，通过对车辆600的周边进行摄像而生成图像数据，将该图像数据输出到ECU66。摄像装置63是使用由1个或者多个透镜构成的光学系统、和通过对由该光学系统聚光的被摄体图像进行受光而生成图像数据的CCD、CMOS等构成的。
通信部64根据ECU66的控制，依照预定的通信规格对可穿戴装置1、其他车辆或者用户终端装置等发送各种信息，并且从可穿戴装置1、其他车辆或者用户终端装置等接收各种信息。另外，通信部64根据ECU66的控制，经由网络，依照预定的通信规格，将各种信息发送到未图示的服务器，并且从服务器接收各种信息。通信部64是使用可进行无线通信的通信模块构成的。
车辆导航系统65具有GPS传感器651、地图数据库652以及报告装置653。
GPS传感器651接收来自多个GPS卫星、发送天线的信号，根据接收到的信号而计算车辆600的位置。GPS传感器651是使用GPS接收传感器等构成的。此外，也可以搭载多个GPS传感器651以提高车辆600的朝向精度。
地图数据库652存储各种地图数据。地图数据库652也可以使用HDD(Hard DiskDrive，硬盘驱动器)、SSD(Solid State Drive，固态硬盘)等记录介质来构成。
报告装置653也可以具有：显示图像、影像以及文字信息的显示部653a；以及发出语音、警报音等声音的声音输出部653b或基于骨传导来传导声音的传导部等。显示部653a是使用液晶、有机EL等显示器构成的。声音输出部653b是使用扬声器等构成的。
这样构成的车辆导航系统65通过将由GPS传感器651获取的当前的车辆600的位置重叠到地图数据库652所存储的地图数据，从而利用显示部653a和声音输出部653b对驾驶员报告包括车辆600当前行驶的道路以及直至目的地的路径等在内的信息。
ECU66对构成支援装置6的各部的动作进行控制。ECU66是使用存储器和具有CPU等硬件的处理器构成的。ECU66获取与佩戴有可穿戴装置1的用户U1的视线有关的视线信息，根据该视线信息，生成表示在用户U1的视野区域内被遮蔽物遮蔽的死角区域的状况的死角状况信息，并输出到投影部14。此外，在实施方式4中，ECU66作为处理器发挥功能。
〔支援装置的处理〕
接下来，说明支援装置6执行的处理。图14是示出支援装置6执行的处理的概要的流程图。
如图14所示，ECU66判定用户U1是否乘坐于车辆600(步骤S401)。例如，ECU66经由通信部64，根据可穿戴装置1的GPS传感器15检测出的位置信息和车辆导航系统65的GPS传感器651检测出的位置信息，计算车辆600与可穿戴装置1之间的距离，判定该计算出的距离是否小于预定值，在小于预定值的情况下，判定为用户U1乘坐于车辆600。在由ECU66判定为驾驶员乘坐于车辆600的情况下(步骤S401：“是”)，支援装置6转移到后述步骤S402。相对于此，在由ECU66判定为用户U1未乘坐车辆600的情况下(步骤S401：“否”)，支援装置6结束本处理。
在步骤S402中，ECU66判定用户U1是否佩戴有可穿戴装置1。具体而言，ECU66经由通信部64从可穿戴装置1的佩戴传感器16接收表示检测结果的佩戴信号，根据接收到的佩戴信号，判定用户U1是否佩戴有可穿戴装置1。在由ECU66判定为用户U1佩戴有可穿戴装置1的情况下(步骤S402：“是”)，支援装置6转移到后述步骤S403。相对于此，在由ECU66判定为用户U1未佩戴可穿戴装置1的情况下(步骤S402：“否”)，支援装置6转移到后述步骤S407。
在步骤S403中，ECU66从车速传感器61获取与车辆600的车速有关的车速信息，从视线传感器62获取与乘坐车辆600的用户U1的视线有关的视线信息，并且，从摄像装置63获取图像数据。
接下来，ECU66根据从车速传感器61获取到的车速信息，判定车辆600的车速是否为预定速度以下(步骤S404)。例如，ECU66判定车辆600的车速是否为10km/h。此外，预定速度可适当地设定。在由ECU66判定为车辆600的车速是预定速度以下的情况下(步骤S404：“是”)，支援装置6转移到后述步骤S405。相对于此，在由ECU66判定为车辆600的车速并非预定速度以下的情况下(步骤S404：“否”)，支援装置6转移到后述步骤S410。
在步骤S405中，ECU66从视线传感器62获取与用户U1的视线有关的视线信息。
接下来，ECU66对与从摄像装置63获取的图像数据对应的图像进行公知的模式匹配等，从而判定车辆600的死角区域中是否存在物体(步骤S406)。在由ECU66判定为车辆600的死角区域中存在物体的情况下(步骤S406：“是”)，支援装置6转移到后述步骤S407。相对于此，在由ECU66判定为车辆600的死角区域中不存在物体的情况下(步骤S406：“否”)，支援装置6转移到后述步骤S411。
在步骤S407中，ECU66判定存在于死角区域的物体是否为移动体。在由ECU66判定为存在于死角区域的物体是移动体的情况下(步骤S407：“是”)，支援装置6转移到后述步骤S408。相对于此，在由ECU66判定为存在于死角区域的物体并非移动体的情况下(步骤S407：“否”)，支援装置6转移到后述步骤S409。
在步骤S408中，ECU66根据从摄像装置63获取的死角区域的图像数据，生成并输出与移动体对应的死角状况信息。具体而言，如图15所示，ECU66生成具有开口部的图像数据，该开口部是将死角区域中的移动体H10所存在的区域、例如将包括仪表板、前柱等遮蔽物Q10、Q11的一部分在内的预定的区域虚拟地掏空而形成的。然后，ECU66将与图像数据对应的死角状况信息A10输出到可穿戴装置1。由此，显示遮蔽物Q10后面的死角状况信息A10，所以用户U1能够直观地无违和感地掌握死角区域的状态。在该情况下，ECU66使用从摄像装置63获取的时间上处于前后的至少2个图像数据来计算移动体的速度，并且获取从车速传感器61获取到的车辆600的速度，计算移动体与车辆600(本车)的相对速度以及移动体和车辆600各自的行进方向，根据该移动体与车辆600(本车)的相对速度以及移动体和车辆600各自的行进方向，计算紧急度。然后，ECU66也可以根据紧急度，以显示如上述图10的与紧急度对应的标志M1、M2的各个的方式，将该标志M1、M2输出到可穿戴装置1。在步骤S408之后，支援装置6转移到后述的步骤S410。
在步骤S409中，ECU66根据从摄像装置63获取的死角区域的图像数据，生成并输出与静物对应的死角状况信息。具体而言，ECU66根据从摄像装置63获取的死角区域的图像数据，生成与静物对应的死角状况信息(例如图8等的图标)。然后，ECU66以在遮蔽物Q10的物体所存在的区域中显示死角状况信息的方式，向可穿戴装置1输出死角状况信息。在步骤S409之后，支援装置6转移到后述步骤S410。
在步骤S410中，在通过ECU66使IG开关60成为断开状态而判定为结束车辆600的驾驶的情况下(步骤S410：“是”)，支援装置6结束本处理。相对于此，在未通过ECU66将IG开关60设为断开状态而判定为未结束车辆600的驾驶的情况下(步骤S410：“否”)，支援装置6返回到上述步骤S402。
在步骤S411中，ECU66根据来自视线传感器62的与用户U1的视线有关的视线信息，判定用户U1注视车辆600的预定的区域、例如注视前柱的注视时间是否经过预定时间(例如2秒)(步骤S411)。在由ECU66判定为用户U1注视车辆600的预定的区域的注视时间经过了预定时间的情况下(步骤S411：“是”)，支援装置6转移到后述步骤S412。相对于此，在由ECU66判定为用户U1注视车辆600的预定的区域的注视时间未经过预定时间的情况下(步骤S411：“否”)，支援装置6转移到后述步骤S413。
在步骤S412中，ECU66将经由通信部64从摄像装置63获取的图像数据作为死角状况信息输出到可穿戴装置1，从而使可穿戴装置1投影并显示车辆600的遮蔽物后面的死角区域中的死角状况信息。具体而言，与上述图15同样地，ECU66生成具有将遮蔽物Q10、Q11的注视区域虚拟地掏空而成的开口部的图像数据。然后，ECU66以在用户U1注视的注视区域中显示死角状况信息A10的方式，将与图像数据对应的死角状况信息A10输出到可穿戴装置1。由此，由于显示遮蔽物Q10后面的死角状况信息A10，所以用户U1能够直观地无违和感地掌握死角区域的状态。在步骤S412之后，支援装置6转移到步骤S410。
在步骤S413中，ECU66根据来自视线传感器62的与用户U1的视线有关的视线信息，判定用户的视线的前端是否移动。在由ECU66判定为用户的视线移动的情况下(步骤S413：“是”)，支援装置6转移到后述步骤S414。相对于此，在由ECU66判定为用户的视线未移动的情况下(步骤S413：“否”)，支援装置6转移到步骤S410。
在步骤S414中，ECU66判定可穿戴装置1是否为输出死角状况信息的过程中。在由ECU66判定为可穿戴装置1是输出死角状况信息的过程中的情况下(步骤S414：“是”)，支援装置6转移到后述步骤S415。相对于此，在由ECU66判定为可穿戴装置1并非输出死角状况信息的过程中的情况下(步骤S414：“否”)，支援装置6转移到步骤S410。
在步骤S415中，ECU66使可穿戴装置1将死角状况信息输出一定时间。具体而言，如图16所示，在可穿戴装置1正在输出死角状况信息A10、A11、A12的情况下，即使在用户U1的视线移动了时，ECU66仍维持图像数据的输出，以使可穿戴装置1将死角状况信息A10、A11、A12投影并显示一定时间、例如5秒钟。由此，即使在用户U1移动开视线的情况下，也能够可靠地防止看漏移动体、物体。在步骤S415之后，支援装置6转移到步骤S410。
根据以上说明的实施方式4，ECU66把与具有将遮蔽物Q10的注视区域虚拟地掏空而成的开口部的图像数据对应的死角状况信息A10输出到可穿戴装置1，从而在用户U1所注视的注视区域被掏空的状态下，显示遮蔽物Q10或者遮蔽物Q11后面的死角状况信息A10，所以用户U1能够直观地无违和感地掌握死角区域的状态。
另外，根据实施方式4，ECU66在车辆600的车速是预定速度以下的情况下，将死角状况信息A10输出到可穿戴装置1，所以能够防止胡乱地动作而产生违和感。
此外，在实施方式4中，ECU66把具有将遮蔽物虚拟地掏空而成的开口部的图像数据作为死角状况信息输出到可穿戴装置1，但也可以例如使遮蔽物透视化。具体而言，如图17所示，ECU66在从可穿戴装置1的摄像装置11以及摄像装置63获取各个图像数据之后，使用该2个图像数据使车辆600内的仪表板、前柱等遮蔽物虚拟地透视化，将由此得到的图像数据输出到可穿戴装置1。然后，可穿戴装置1使与从支援装置6接收到的将车辆600内的仪表盘、支柱等遮蔽物虚拟地透视化了的图像数据对应的图像投影显示于投影部14。由此，由于车辆600的遮蔽物被透视化，所以用户U1能够直观地掌握物体的位置。
另外，在实施方式4中，ECU66把具有将遮蔽物虚拟地掏空而成的开口部的图像数据输出到了可穿戴装置1，但掏空的形状可适当地变更。例如，如图18所示，ECU66也可以生成具有以圆柱状将位于离可穿戴装置1预定的距离L1的位置的遮蔽物Q100虚拟地掏空而成的开口部O1的图像数据，并将该图像数据输出到可穿戴装置1。另外，如图19所示，ECU66也可以生成以圆锥状O2将位于离可穿戴装置1预定的距离L1的位置的遮蔽物Q100虚拟地掏空了的图像数据，并将该图像数据输出到可穿戴装置1。进而，也可以如图20所示，ECU66生成以球状O3将位于离可穿戴装置1预定的距离L1的位置的遮蔽物Q100虚拟地掏空了的图像数据，并将该图像数据输出到可穿戴装置1。
另外，在实施方式4中，ECU66使可穿戴装置1以预定的大小投影并显示图像，但也可以例如如图21所示，根据使拇指和食指的距离从距离D1移动到距离D2的缩放操作(pinchoperation)，来变更可穿戴装置1所投影显示的图像的大小。
(实施方式5)
接下来，说明实施方式5。在上述实施方式4中，支援装置的ECU66向可穿戴装置1发送死角状况信息，但在实施方式5中，服务器向可穿戴装置发送死角状况信息。此外，对与上述实施方式4的支援系统1001相同的结构，附加同一符号而省略详细的说明。
图22是示出实施方式5的支援系统的概略结构的示意图。图22所示的支援系统1002具备用户U1佩戴的可穿戴装置1、服务器2A以及搭载于多个车辆600的各个的支援装置6。可穿戴装置1、服务器2A以及多个支援装置6构成为能够经由基站3以及网络4而相互进行信息通信。
〔服务器的结构〕
接下来，说明服务器2A的结构。服务器2A具备通信部201和控制部202A。
控制部202A是使用存储器和具有CPU、GPU、FPGA、DSP以及ASIC等中的任意硬件的处理器构成的。控制部202A经由通信部201获取与佩戴可穿戴装置1的用户的视线有关的视线信息，根据该视线信息，生成表示在用户的视野区域内被遮蔽物遮蔽的死角区域的状况的死角状况信息，并输出到可穿戴装置1。控制部202A具有与上述实施方式1～3的控制部18或者上述实施方式4的ECU66同样的功能。此外，在实施方式5中，控制部202A作为处理器发挥功能。
根据以上说明的实施方式5，控制部202A以在遮蔽物的注视区域中显示死角状况信息的方式，向可穿戴装置1输出死角状况信息，所以用户U1能够直观地掌握死角状况信息，所以能够掌握在遮蔽物后面的死角区域中存在物体的情况。
(其他实施方式)
在实施方式1～5中，说明了驾驶员使用可佩戴的眼镜型的可穿戴装置1的例子，但不限定于此，能够应用于各种可穿戴装置。即便是例如如图23所示地具有摄像功能的隐形眼镜型的可穿戴装置1A也能够应用。进而，即便是如图24的可穿戴装置1B或者图25的脑内芯片型的可穿戴装置1C那样向用户U1的大脑直接传递的装置也能够应用。另外，也可以如图26的可穿戴装置1D所示地构成为具备遮阳板的头盔形状。在该情况下，可穿戴装置1D也可以是向遮阳板投影显示图像的结构。
另外，在实施方式1～5中，通过可穿戴装置1投影到驾驶员的视网膜而使其视觉辨认图像，但也可以是例如向眼镜等的镜片投影显示图像的结构。
另外，在实施方式1～5中，能够将上述的“部”改写为“电路”等。例如，控制部能够改写为控制电路。
另外，将使实施方式1～5的支援装置执行的程序以可安装的形式或者可执行的形式的文件数据记录于CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk，数字多功能磁盘)、USB介质、闪存存储器等可由计算机读取的记录介质来提供。
另外，也可以构成为将使实施方式1～5的支援装置执行的程序储存到与因特网等网络连接的计算机上，并经由网络下载来提供。
此外，在本说明书中的流程图的说明中，使用“首先”、“之后”、“接着”等表现方式明示了步骤之间的处理的前后关系，但实施本实施方式所需的处理的顺序并非由这些表现唯一地决定。即，本说明书中记载的流程图中的处理的顺序能够在不矛盾的范围内变更。
本领域技术人员能够容易地导出其他效果、变形例。本发明的更广泛的方案不限定于以上所表示并记述的特定的详细以及代表性的实施方式。因此，不脱离通过所附的权利要求及其均等物定义的总的发明的概念的精神或者范围，而能够进行各种变更。
以上，根据附图详细说明了本申请的几个实施方式，但这些实施方式仅为例示，以本发明的发明内容一栏记载的方案为首，能够根据本领域技术人员的知识，以实施各种变形、改良的其他方式来实施本发明。

Claims (15)

1.一种支援装置，能够与可穿戴装置进行通信，其中，所述支援装置具备：
存储器；以及
具有硬件的处理器，
所述处理器
获取与佩戴有所述可穿戴装置的用户的视线有关的视线信息，
根据所述视线信息而生成死角状况信息，该死角状况信息表示在所述用户的视野区域内被遮蔽物遮蔽的死角区域的状况，
将所述死角状况信息输出到所述可穿戴装置。
2.根据权利要求1所述的支援装置，其中，
所述处理器向所述可穿戴装置输出所述死角状况信息，以在与所述用户的视线一致的区域中显示所述死角状况信息。
3.根据权利要求1或者2所述的支援装置，其中，
所述处理器
获取对所述死角区域进行摄像而得到的图像数据，
根据所述图像数据，判定所述死角区域中是否存在物体，
在判定为存在所述物体的情况下，将所述死角状况信息输出到所述可穿戴装置。
4.根据权利要求3所述的支援装置，其中，
所述处理器
依次获取在时间上连续的多个所述图像数据，
在判定为所述死角区域中存在所述物体的情况下，根据多个所述图像数据判定所述物体是否为移动体，
在判定为所述物体是移动体的情况下，将与所述移动体对应的所述死角状况信息输出到所述可穿戴装置。
5.根据权利要求4所述的支援装置，其中，
所述处理器
在判定为所述物体是移动体的情况下，根据多个所述图像数据而计算所述移动体的速度，
将与所述移动体和该支援装置之间的相对速度对应的所述死角状况信息输出到所述可穿戴装置。
6.根据权利要求3～5中的任意一项所述的支援装置，其中，
所述处理器
使用所述图像数据而生成所述死角状况信息，
将所述死角状况信息输出到所述可穿戴装置。
7.根据权利要求3～6中的任意一项所述的支援装置，其中，
所述处理器
根据所述视线信息，检测所述用户注视所述遮蔽物时的注视区域，
向所述可穿戴装置输出所述死角状况信息，以在所述注视区域中显示所述死角状况信息。
8.根据权利要求7所述的支援装置，其中，
所述处理器
判定所述用户注视所述注视区域的注视时间是否为预定时间以上，
在所述注视时间是预定时间以上的情况下，将所述死角状况信息输出到所述可穿戴装置。
9.根据权利要求3～8中的任意一项所述的支援装置，其中，
所述处理器
获取对所述遮蔽物进行摄像而得到的图像数据，
生成将对所述遮蔽物进行摄像而得到的图像数据和对所述死角区域进行摄像而得到的图像数据以预定的比例合成而得到的合成图像数据，
将与所述合成图像数据对应的合成图像作为所述死角状况信息而输出到所述可穿戴装置。
10.根据权利要求3～8中的任意一项所述的支援装置，其中，
所述处理器
将与所述图像数据对应的图像作为所述死角状况信息而输出到所述可穿戴装置。
11.根据权利要求10所述的支援装置，其中，
所述处理器
根据对所述遮蔽物进行摄像而得到的图像数据和对所述死角区域进行摄像而得到的图像数据，生成具有以圆柱状、圆锥状以及球状中的任意形状将所述遮蔽物虚拟地掏空而成的开口部的图像，
将所述图像作为所述死角状况信息而输出到所述可穿戴装置。
12.根据权利要求3～11中的任意一项所述的支援装置，其中，
所述处理器
获取与搭载有该支援装置的车辆的车速有关的车速信息，
根据所述车速信息，判定所述车辆的车速是否为预定速度以下，
在所述车辆的车速是所述预定速度以下的情况下，将所述死角状况信息输出到所述可穿戴装置。
13.一种用户可佩戴的支援装置，具备：
存储器；以及
具有硬件的处理器，
所述处理器
获取与所述用户的视线有关的视线信息，
根据所述视线信息生成死角状况信息，该死角状况信息表示在所述用户的视野区域内被遮蔽物遮蔽的死角区域的状况，
输出所述死角状况信息。
14.一种支援方法，由能够与可穿戴装置进行通信的支援装置执行，其中，
获取与佩戴有所述可穿戴装置的用户的视线有关的视线信息，
根据从存储器读出的所述视线信息生成死角状况信息，该死角状况信息表示在所述用户的视野区域内被遮蔽物遮蔽的死角区域的状况，
将所述死角状况信息输出到所述可穿戴装置。
15.一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有用于使能够与可穿戴装置进行通信的支援装置执行
获取与佩戴有所述可穿戴装置的用户的视线有关的视线信息，
根据所述视线信息而生成死角状况信息，该死角状况信息表示在所述用户的视野区域内被遮蔽物遮蔽的死角区域的状况，
将所述死角状况信息输出到所述可穿戴装置的可执行程序。
CN201911254711.0A 2018-12-10 2019-12-10 支援装置、支援方法以及存储介质 Pending CN111292555A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018231164A JP7147527B2 (ja) 2018-12-10 2018-12-10 支援装置、支援方法およびプログラム
JP2018-231164 2018-12-10

Publications (1)

Publication Number Publication Date
CN111292555A true CN111292555A (zh) 2020-06-16

Family

ID=70971066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911254711.0A Pending CN111292555A (zh) 2018-12-10 2019-12-10 支援装置、支援方法以及存储介质

Country Status (3)

Country Link
US (1) US11393196B2 (zh)
JP (1) JP7147527B2 (zh)
CN (1) CN111292555A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022084136A (ja) * 2020-11-26 2022-06-07 株式会社東海理化電機製作所 無線通信装置、システムおよびプログラム
JP7433542B1 (ja) 2023-02-24 2024-02-19 三菱電機株式会社 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313576A (zh) * 2005-11-17 2008-11-26 爱信精机株式会社 车辆周边显示装置
CN101509778A (zh) * 2008-02-11 2009-08-19 爱信艾达株式会社 驾驶支援装置、驾驶支援方法及程序
CN103818385A (zh) * 2012-11-17 2014-05-28 通用汽车环球科技运作有限责任公司 汽车中用于输出信息的方法和装置
CN105539287A (zh) * 2014-10-28 2016-05-04 爱信精机株式会社 周边监视装置
CN106448220A (zh) * 2016-09-27 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种告警的方法及虚拟现实眼镜
WO2017136014A2 (en) * 2015-11-13 2017-08-10 Flir Systems, Inc. Video sensor fusion and model based virtual and augmented reality systems and methods
CN107215275A (zh) * 2017-05-27 2017-09-29 吉利汽车研究院（宁波）有限公司 视图显示方法、视图显示装置及汽车
US20180129888A1 (en) * 2016-11-04 2018-05-10 X Development Llc Intuitive occluded object indicator

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649756B2 (ja) * 2001-03-28 2011-03-16 日産自動車株式会社 車両用死角モニタの制御装置
JP4329525B2 (ja) 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
US20060016398A1 (en) 2004-05-28 2006-01-26 Laurent Dubost Supporting and lifting device for substrates in vacuum
JP4935571B2 (ja) 2007-08-08 2012-05-23 株式会社デンソー 運転支援装置
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
WO2009119110A1 (ja) * 2008-03-27 2009-10-01 パナソニック株式会社 死角表示装置
JP2010175329A (ja) 2009-01-28 2010-08-12 Mitsubishi Electric Corp 車載情報装置
JP2011213184A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd シースルー表示装置
JP5516998B2 (ja) 2011-06-09 2014-06-11 アイシン精機株式会社 画像生成装置
JP6077214B2 (ja) 2012-02-06 2017-02-08 富士通テン株式会社 画像処理装置、画像処理方法、プログラム、及び画像処理システム
KR102028720B1 (ko) * 2012-07-10 2019-11-08 삼성전자주식회사 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법
JP6069938B2 (ja) * 2012-08-07 2017-02-01 日産自動車株式会社 飛び出し検出装置
WO2017145645A1 (ja) * 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
US10474916B2 (en) * 2017-11-20 2019-11-12 Ashok Krishnan Training of vehicles to improve autonomous capabilities

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313576A (zh) * 2005-11-17 2008-11-26 爱信精机株式会社 车辆周边显示装置
CN101509778A (zh) * 2008-02-11 2009-08-19 爱信艾达株式会社 驾驶支援装置、驾驶支援方法及程序
CN103818385A (zh) * 2012-11-17 2014-05-28 通用汽车环球科技运作有限责任公司 汽车中用于输出信息的方法和装置
CN105539287A (zh) * 2014-10-28 2016-05-04 爱信精机株式会社 周边监视装置
WO2017136014A2 (en) * 2015-11-13 2017-08-10 Flir Systems, Inc. Video sensor fusion and model based virtual and augmented reality systems and methods
CN106448220A (zh) * 2016-09-27 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种告警的方法及虚拟现实眼镜
US20180129888A1 (en) * 2016-11-04 2018-05-10 X Development Llc Intuitive occluded object indicator
CN107215275A (zh) * 2017-05-27 2017-09-29 吉利汽车研究院（宁波）有限公司 视图显示方法、视图显示装置及汽车

Also Published As

Publication number Publication date
JP7147527B2 (ja) 2022-10-05
JP2020095350A (ja) 2020-06-18
US20200184220A1 (en) 2020-06-11
US11393196B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
US11351918B2 (en) Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
JP6497158B2 (ja) 表示装置、移動体
US20190373238A1 (en) Immersive display and method of operating immersive display for real-world object alert
JP6413207B2 (ja) 車両用表示装置
JP4981566B2 (ja) 運転支援装置および運転支援方法
US20230249618A1 (en) Display system and display method
JP6836206B2 (ja) 表示制御装置、及び表示制御プログラム
CN111284498B (zh) 驾驶支援装置、系统、方法、可穿戴装置以及存储介质
JP2008018760A (ja) 運転支援装置
CN112915549B (zh) 图像处理装置、显示系统、记录介质以及图像处理方法
CN111196230A (zh) 驾驶辅助装置、可穿戴装置、驾驶辅助方法以及程序
CN111292555A (zh) 支援装置、支援方法以及存储介质
JP5131152B2 (ja) 視覚支援装置
JP2019056884A (ja) 重畳画像表示装置
US11376514B2 (en) Experience system, experience providing method, and computer readable recording medium
JP6805974B2 (ja) 走行支援装置及びコンピュータプログラム
JP2005313772A (ja) 車両用ヘッドアップ・ディスプレイ装置
JP2006330360A (ja) 車両用情報表示装置
JP2014172554A (ja) カメラ付き表示装置
US11768650B2 (en) Display control device, display system, and display control method for controlling display of information
JP6946962B2 (ja) 走行支援装置及びコンピュータプログラム
JP2023076045A (ja) 画像表示装置
JP2023076044A (ja) 画像表示装置
JP2022142553A (ja) 画像表示制御装置、画像表示制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616

RJ01 Rejection of invention patent application after publication