CN104427327B - 图像拍摄装置、图像拍摄方法及信息分发系统 - Google Patents

图像拍摄装置、图像拍摄方法及信息分发系统 Download PDF

Info

Publication number
CN104427327B
CN104427327B CN201410400924.0A CN201410400924A CN104427327B CN 104427327 B CN104427327 B CN 104427327B CN 201410400924 A CN201410400924 A CN 201410400924A CN 104427327 B CN104427327 B CN 104427327B
Authority
CN
China
Prior art keywords
information
image
user
control unit
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410400924.0A
Other languages
English (en)
Other versions
CN104427327A (zh
Inventor
平林崇之
佐古曜郎
佐古曜一郎
矢岛正
矢岛正一
小野广郎
小野广一郎
武田正资
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104427327A publication Critical patent/CN104427327A/zh
Application granted granted Critical
Publication of CN104427327B publication Critical patent/CN104427327B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像拍摄装置、图像拍摄方法及信息分发系统。一种图像拍摄装置包括:显示部,其附接到用户的头部或面部,并且配置为显示图像;通信部,其配置为与外部装置通信;图像拍摄部;位置信息获取部,其配置为拍摄用户的当前位置信息;以及控制部,其配置为根据对危险状态的判断,通过图像拍摄部拍摄危险场所的图像,并且将所拍摄的图像与由位置信息获取部拍摄的位置信息一起从通信部发送到外部装置。

Description

图像拍摄装置、图像拍摄方法及信息分发系统
相关申请的交叉引用
本申请要求2013年8月23日提交的日本在先专利申请2013-173398号的优先权,该申请的全部内容通过引用包含在本申请中。
技术领域
本公开涉及提供与包括事故或事件的发生源的危险场所有关的图像的图像拍摄装置和图像拍摄方法以及分发与基于从一个或多个图像拍摄装置提供的图像获得的危险场所有关的信息的信息分发系统。
背景技术
在车辆之间共享通过监视运转中的汽车而获得的信息的系统广为人知。这种共享的信息有时例如称为运转信息、导航信息或者车辆信息。例如,已经提出了自动收集事故发生地附近的图像的图像收集系统(例如,参见未审查的日本专利申请2012-98105号公报)。该图像收集系统包括:具有汽车导航系统、检测事故发生的碰撞检测部、车载照相机和按照对应的时间存储由车载照相机拍摄的图像的存储部的多个车辆以及信息管理中心。当与事故有关的信息从某个撞坏的车辆传送到信息管理中心时,信息管理中心向其他车辆通知该事故的发生,并且获得由其他车辆的车载照相机拍摄的图像。
在上述图像收集系统中,不是从撞坏的车辆而是从其他车辆收集每个交通事故发生时的图像,由此意图基于来自多个视点的图像提高事故原因的分析精确度。
然而,上述图像收集系统收集的图像局限于由车载照相机拍摄的图像。也就是说,收集到的图像都局限于各个车载照相机的视点。因此,那些图像不同于来自驾驶者以及碰巧在事故地点的行人的视点的图像。因此,那些图像不一定是从容易观看并且适当的视点获得的图像。
此外,上述图像收集系统基本上响应于检测到事故的发生而开始处理,并且收集实际发生事故的地点的图像。
发明内容
希望提供一种能够适当地获得并提供与包括事故或事件的发生源的危险场所有关的图像的优良的图像拍摄装置和图像拍摄方法。
还希望提供一种能够适当地基于从图像拍摄装置提供的危险场所的图像分发与危险场所有关的信息的优良的信息分发系统。
根据本公开的一实施例,提供一种图像拍摄装置,包括:显示部,其附接到用户的头部或面部,并且配置为显示图像;通信部,其配置为与外部装置通信;图像拍摄部;位置信息获取部,其配置为拍摄所述用户的当前位置信息;以及控制部,其配置为根据对危险状态的判断,通过所述图像拍摄部拍摄危险场所的图像,并且将所拍摄的图像与由所述位置信息获取部获取的所述位置信息一起从所述通信部发送到所述外部装置。
根据上述实施例的图像拍摄装置还可以至少包括配置为获取所述用户的状态信息的状态信息获取部或者配置为获取环境信息的环境信息获取部,其中所述控制部可以基于所述状态信息或者所述环境信息判断所述危险状态。
在上述实施例中,所述控制部可以至少利用与图像拍摄时间有关的信息或者所述用户的属性信息来发送所拍摄的图像。
在上述实施例中,所述状态信息获取部可以获取所述用户的生物信息,并且所述控制部可以基于所述生物信息自己判断危险状态,或者获取由记录大量数据的外部设备判断出的相对危险状态的判断结果。
在上述实施例中,所述控制部可以基于所述用户的脉搏、出汗、肌电位和眼球运动中的至少任一个生物信息判断所述危险状态。
在上述实施例中,所述控制部可以进一步根据所述用户是否正在使用所述显示部观看内容来判断所述危险状态。
在上述实施例中,所述控制部可以基于作为所述环境信息的对环境噪声、风、大气(浓雾或烟、放射线或者大气中的有毒化学物质)、周围拍摄的图像的分析结果判断所述危险状态。
根据上述实施例的图像拍摄装置可以进一步包括视线获取部,其配置为获取所述用户的视线,其中所述控制部基于所述视线落在预知危险的场所时所述用户的生物信息判断所述危险状态。
在上述实施例中,所述控制部可以基于所述环境信息识别所述预知危险的场所。
根据上述实施例的图像拍摄装置可以进一步包括视线获取部,其配置为获取所述用户的视线,其中当所述控制部可以判断所述危险状态时,所述控制部根据所述视线是否停留一定的时间段来通过所述图像拍摄部拍摄静止图像或者运动图像。
在上述实施例中,所述控制部可以在拍摄所述运动图像期间根据所述视线的变化停止拍摄所述运动图像。
根据上述实施例的图像拍摄装置可以进一步包括视线获取部,其配置为获取所述用户的视线,其中所述控制部可以根据所述视线落在危险场所来识别所述危险场所,开始拍摄运动图像,并且根据所述视线离开所述危险场所停止拍摄所述运动图像。
在上述实施例中,所述控制部可以根据所述危险场所的重要程度或者所述危险场所的类型判断是否拍摄静止图像或者运动图像。
根据本公开的另一个实施例,提供一种获取信息的方法,包括:基于用户的状态信息或者环境信息判断危险状态;获取位置信息以获取所述用户的当前位置信息;根据所述危险状态的判断通过图像拍摄部拍摄危险场所的图像;以及将所拍摄的图像与通过所述获取位置信息而获取的所述位置信息一起从通信部发送到外部装置。
根据本公开的另一个实施例,提供一种信息分发系统,包括:图像数据库,其配置为将危险场所的图像与位置信息一起管理;以及信息提供部,其配置为从所述图像数据库取回与信息显示装置的当前位置相对应的危险场所的图像以提供该图像。
然而,要注意的是,本文提到的“系统”是指多个装置(或者实现特定功能的多个功能模块)的逻辑组合,因此各个装置或者功能模块是否包含在单个箱体中是无所谓的。
在根据本实施例的信息分发系统中,从一个或多个图像拍摄装置收集的所述危险场所的图像可以在所述图像数据库中分别利用各个位置信息来管理。
在根据本实施例的信息分发系统中,所述图像拍摄装置拍摄所述危险场所的图像时的时间信息可以在所述图像数据库中被组合管理,并且所述信息提供部可以通过利用当前时间过滤从所述图像数据库取回与所述信息显示装置的当前位置相对应的所述危险场所的图像。
根据上述实施例的信息分发系统可以进一步包括用户数据库,其配置为管理每个图像拍摄装置的用户的属性信息,其中所述信息提供部通过利用提供目的地的信息显示装置的用户的属性信息过滤来从所述图像数据库取回与所述信息显示装置的当前位置相对应的危险场所的图像以提供该图像。
在根据本实施例的信息分发系统中,所述信息提供部可以提供通过将存储在所述图像数据库中的每个危险场所映射到地图而产生的危险地图。
在根据该实施例的信息分发系统中,当针对所述信息显示装置的当前位置取回多个图像时,所述信息提供部可以使用以下方法中的一个将这些图像缩减到预定数量的图像:(A)使用默认搜索条件进行图像搜索;(B)使用由信息显示装置指定的搜索条件进行图像搜索;以及(C)将必要信息发送到信息显示装置,并且该信息显示装置使用期望的搜索条件进行图像搜索。
利用本说明书中公开的技术,可以提供一种能够适当获得并提供与包括事故或事件的发生源的危险场所有关的图像的优良的图像拍摄装置和图像拍摄方法。
此外,利用本说明书中公开的技术,可以提供一种能够基于从图像拍摄装置提供的与危险场所有关的图像适当地分发该危险场所的信息的优良的信息分发系统。
就这一点而言,本说明书中描述的优点仅是例子。本公开的优点不局限于此。此外,除了上述优点以外,本公开可以进一步给出附加优点。
本说明书中公开的技术的其他目的、特征和优点将从以下参照附图对实施例的更详细的描述而变得更明显。
附图说明
图1是示意性示出根据本说明书中公开的技术的一实施例的信息分发系统的配置的图;
图2是用户佩戴配置为透明的头戴式显示器的图像拍摄装置的状态的前视图;
图3是图2中所示的佩戴该图像拍摄装置的用户的顶视图;
图4是用户佩戴配置为遮光的头戴式显示器的图像拍摄装置的状态的前视图;
图5是图4中所示的佩戴该图像拍摄装置的用户的顶视图;
图6是示出该图像拍摄装置的内部配置的例子的图;
图7是示意性示出信息管理中心的功能配置的图;
图8A是示出用于管理图像数据库中的图像的数据结构例子的图;
图8B是示出用于管理图像数据库中的图像的数据结构例子的图;
图8C是示出用于管理图像数据库中的图像的数据结构例子的图;
图9是示出用于管理用户数据库中的用户的数据结构例子的图;
图10是示意性示出信息显示装置的功能配置的图;
图11是示意性示出致动部的配置例子的图;
图12是示出在每个图像拍摄装置中执行的用于拍摄危险场所的图像的一般处理程序的流程图;
图13是示出在步骤S1201中由图像拍摄装置执行的危险状态判断处理的流程图;
图14是示出在步骤S1201中由图像拍摄装置执行的危险状态判断处理的变体的流程图;
图15是示出在步骤S1201中由图像拍摄装置执行的危险状态判断处理的另一个变体的流程图;
图16是示出在步骤S1203中由图像拍摄装置执行的用于拍摄危险场所的图像的处理程序的流程图;
图17是示出在步骤S1203中由图像拍摄装置执行的用于拍摄危险场所的图像的另一个处理程序的流程图;
图18是示出在步骤S1203中由图像拍摄装置执行的用于拍摄危险场所的图像的另一个处理程序的流程图;
图19是示出在步骤S1203中由图像拍摄装置执行的用于拍摄危险场所的图像的另一个处理程序的流程图;
图20是示出信息管理中心处理从图像拍摄装置接收到的危险场所的图像的程序的流程图;
图21是示出信息管理中心将危险场所的图像或者其信息发送到信息显示装置的处理程序的流程图;
图22是示出信息显示装置将从信息管理中心接收到的与危险场所有关的信息显示给用户的处理程序的流程图;
图23是示出使用人的行为特征和生理现象判断危险状态的处理程序的流程图;
图24是示出危险场所的图像在信息显示装置上的显示例子的图;
图25是示出危险场所的图像在信息显示装置上的显示例子的图;
图26是示出危险场所的图像在信息显示装置上的显示例子的图;
图27是示出危险场所的图像在信息显示装置上的显示例子的图。
具体实施方式
下面参照附图详细描述本说明书中公开的技术的一实施例。
图1示意性示出根据本说明书中公开的技术的一实施例的信息分发系统100的配置。图1中所示的信息分发系统100包括:图像拍摄装置110-1、110-2、110-3、…,它们拍摄并提供包括事故和事件的发生源的危险场所的图像;信息管理中心120,其收集从各个图像拍摄装置110-1、110-2、110-3、…提供的图像,并且分发与该危险场所有关的信息;以及信息显示装置130-1、130-2、130-3、…,它们接收从信息管理中心120分发的信息以显示该信息。
就这一点而言,假定信息管理中心120是在诸如因特网等广域网上设立的服务器设备。然而,可以由使用云技术提供的服务代替信息管理中心120,或者一些图像拍摄装置110或信息显示装置130可以共享信息管理中心120的功能。此外,假定通过点对点连接而不是经由信息管理中心120的通信在图像拍摄装置110和信息显示装置130之间进行信息传递。
在本实施例中,图像拍摄装置110-1、110-2、110-3、…每个都基本上以如下风格配置:用户将该图像拍摄装置以头戴式显示器的方式佩戴于他/她的头部或面部,并在用户走路或驾驶车辆等时始终使用它。稍后描述该头戴式显示器的具体配置。
另一方面,信息显示装置130-1、130-2、130-3、…向移动的用户显示信息。当然,也可以向留在室内的用户显示信息。信息显示装置130-1、130-2、130-3、…可以是多功能移动终端,例如,头戴式显示器、智能电话等,或者平视显示器(Head Up Display)等。其中,平视显示器应用于车辆的挡风玻璃等,并且例如能够在车内用户的视场内显示放大的信息。此外,各图像拍摄装置110-1、110-2、110-3、…中的一些在收集图像的情况之外的情况下起到信息显示装置130的作用。
当佩戴图像拍摄装置110-1、110-2、110-3、…的每个用户遇到危险时,对应的图像拍摄装置将该地点的图像(运动图像或静止图像)与该地点的位置信息一起发送到信息管理中心120。此时,每个图像拍摄装置可以发送附加信息,如遇到危险的时间、与遇到危险的类别有关的信息(事故、事件或者小事件)(或者用于识别危险类别的信息标签)、包括用户的个人属性(性别、年龄、性格、职业等)的用户属性信息、行为属性等。在信息管理中心120以数据库管理用户属性信息的情况下,每个图像拍摄装置可以只发送用户ID。
每个图像拍摄装置110-1、110-2、110-3、…基于用户的生物信息等自动检测佩戴该装置的用户已经遇到危险场所,并且自动拍摄该地点的图像。当然,用户可以通过手动操作将该用户已经遇到危险场所通知给图像拍摄装置。稍后详细说明自动检测遇到危险场所的方法。
信息管理中心120将已经发送来的,即,从每个图像拍摄装置110-1、110-2、110-3、…提供的危险场所的图像与位置信息相关联地管理。此外,信息管理中心120可以根据需要针对每个危险类别将从每个图像拍摄装置110-1、110-2、110-3、…提供的图像分类,并且可以不仅与位置信息相关联地而且还与诸如用户属性信息(如上所述)等其他信息相关联地管理图像。
信息管理中心120始终监视与每个信息显示装置130-1、130-2、130-3、…的当前位置有关的信息。作为选择,请求与危险场所有关的信息的信息显示装置130可以将自己的当前位置的信息发送到信息管理中心120。
然后,信息管理中心120利用每个信息显示装置130-1、130-2、130-3、…的当前位置进行搜索。然后,如果发现匹配的危险场所,则信息管理中心120将所拍摄的该地点的图像或者通过图像分析获得的与危险场所有关的信息发送到对应的信息显示装置130。
此外,信息管理中心120不仅可以使用当前位置进行匹配,而且还可以利用使用每个信息显示装置130-1、130-2、130-3、…的用户的个人属性或者行为属性进行过滤,然后可以只根据需要发送图像或者通过图像分析获得的与危险场所有关的信息。这是因为存在对女人危险但是对男人不危险的地点、对幼儿或老人特别危险的地点,并且存在奔跑时危险但是走动等时不特别危险并且不必注意的情况。如果信息被发送到不处于危险中的用户,则该信息成为无用的警告,并且因此在真正危险的情况下不被严肃接受。
当每个信息显示装置130-1、130-2、130-3、…从信息管理中心120接收到危险场所的图像或者通过图像分析获得的与危险场所有关的信息时,该信息显示装置显示该图像或该信息,以向佩戴该装置的用户发出危险警告。
例如,如果信息显示装置130是头戴式显示器或者平视显示器,则信息通过叠加在用户视觉范围内的危险场所上而被显示,从而将危险有效地通知给用户以避免该危险。
此外,信息显示装置130可以在显示所拍摄的危险场所的图像时通过另外提供如音效等声音输出、振动,进行触觉反馈,来进一步唤起用户的注意。
如上所述,每个图像拍摄装置110-1、110-2、110-3、…基本上以头戴式显示器的形式配置以通过用户将该装置佩戴在他/她的头部或面部来使用,并且佩戴该装置的用户在行走或驾驶车辆时始终使用该装置。
图2示出用户佩戴配置为透明的头戴式显示器的图像拍摄装置110的状态的前视图。图2中所示的图像拍摄装置110是透明的,即,透视类型,并且因此在图像被显示给用户时,用户可以透过图像观看真实世界的场景(即,透视)。因此,可以在真实世界的场景上观看虚拟显示图像,如AR(Augmented Reality,增强现实)图像等(例如,参见日本未审查的专利申请2011-2753号公报)。此外,所显示的图像难以从外部看见(即,被其他人看见),因此在显示信息时容易保护隐私。
图2中所示的图像拍摄装置110具有与矫正视力用的眼镜类似的结构。分别包括透明光导部等的虚拟图像光学部201L和201R设置在与图像拍摄装置110的主体的用户的左眼和右眼相对的位置处。用户观看到的图像(图2中未示出)显示在虚拟图像光学部201L和201R每个的内侧。虚拟图像光学部201L和201R每个由例如眼镜框状的保持体202支撑。
用于输入周围图像(用户的视力范围)的外部照相机612大致设置在眼镜框状的保持体202眼镜中心。外部照相机612能够拍摄例如用户视线方向上的场景。最好由多个照相机配置外部照相机612以使用双眼视差信息获得周围图像的三维信息。
此外,麦克风203L和203R分别设置在保持体202的左右两端附近。通过基本上以两边对称的方式保持麦克风203L和203R,可以只识别朝向中心的声音(用户的语音)。从而可以将用户的语音与环境噪声和其他人的讲话声音分开,从而防止例如在通过语音输入操作时的故障。
此外,使外人能够观看外部图像的外部显示部615设置在图像拍摄装置110的主体的外部。在图2的例子中,设置了一对左右外部显示部615。然而,可以设置一个或不超过3个显示部615。外部图像可以是与显示部609的图像相同或不同的图像。
图3示出佩戴图像拍摄装置110的用户的顶视图。
如图3中所示,用于输出左眼和右眼图像的显示面板204L和204R分别设置在图像拍摄装置110的左右两端。显示面板204L和204R每个包括微显示器,如液晶显示器或者有机EL元件等,或者激光扫描方法显示器,如视网膜直绘(retinal direct drawing)显示器等。从显示面板204L和204R输出的左右显示图像被分别经由虚拟图像光学部201L和201R导入到左眼和右眼附近,并且在用户的瞳孔上形成放大的虚拟图像。尽管省略了详细图解,但是虚拟图像光学部201L和201R分别包括聚集从微显示器发射的光的光学系统、设置在该光学系统的透射光进入位置处的光波导、将入射光反射到该光波导的偏振滤光器以及将在该光波导中通过全反射传播的光输出到用户眼睛的偏振滤光器。
此外,图4示出佩戴配置为遮光的头戴式显示器的图像拍摄装置110的用户状态的前视图。
当用户将图像拍摄装置110戴在他/她的头部或面部时,该装置直接覆盖用户的眼睛,并由此使观看图像用户具有沉浸感。此外,与透视类型不同,佩戴图像拍摄装置110的用户不能直接看到真实世界的场景。然而,通过提供拍摄用户视线方向上的场景的图像的外部照相机612,并且显示所拍摄的图像,用户可以间接观看真实世界的场景(即,通过视频透视显示场景)。当然,可以以重叠的方式在视频透视图像上显示虚拟显示图像,如AR图像。此外,该显示图像不能从外部看到(即,不能被他人看到),容易在信息显示时保护隐私。
图4中所示的图像拍摄装置110具有与帽子形状类似的结构,并且图像拍摄装置110直接覆盖佩戴该装置的用户的左眼和右眼。用户观看到的显示面板(图4中未示出)设置在与图像拍摄装置110的内部主体的用户的左眼和右眼相对的位置处。该显示面板包括微显示器,如有机EL元件或者液晶显示器等,或者激光扫描方法显示器,如视网膜直绘显示器等。
用于输入周围图像(用户的视力范围)的外部照相机612大致设置在图像拍摄装置110的前体的中心。此外,麦克风403L和403R分别设置在图像拍摄装置110的主体的左右两端附近。通过基本上以两边对称方式保持麦克风403L和403R,可以只识别朝向中心的声音(用户的语音)。从而可以将用户的语音与环境噪声和他人的讲话声音分开,从而防止例如通过语音输入操作时的故障。
图5示出佩戴图4中所示的图像拍摄装置110的用户的顶视图。图5中所示的图像拍摄装置110在与用户的面部相背的一侧的侧面包括分别用于左眼和右眼的显示面板404L和404R。显示面板404L和404R每个包括微显示器,如有机EL元件,或者液晶显示器等,或者激光扫描方法显示器,如视网膜直绘显示器等。显示面板404L和404R的显示图像通过分别穿过虚拟图像光学部401L和401R作为放大的虚拟图像被用户看到。此外,每个用户的眼睛高度和眼睛宽度是不同的,因此必须分别定位左右显示系统和用户的眼睛。在图5中的例子中,眼睛宽度调节机构405设置在右眼显示面板和左眼显示面板之间。
此外,使外人能够看到外部图像的外部显示部615设置在图像拍摄装置110的主体的外部。在图5中的例子中,设置有一对左右外部显示部615。然而,可以设置一个或不超过3个显示部615。该外部图像可以是与显示部609的图像相同或不同的图像。
图6示出图像拍摄装置110的内部配置的例子。图2和图3中所示的透射式与图4和图5中所示的沉浸式二者具有基本相同的配置。下面对每个部分进行描述。
控制部601包括ROM(只读存储器)601A和RAM(随机访问存储器)601B。ROM 601A存储在控制部601中执行的程序代码和各种数据。控制部601执行在RAM 601B中加载的程序以全面控制作为头戴式显示器的图像拍摄装置110的全部操作,包括图像的显示控制。储存在ROM 601A中的程序和数据包括图像显示控制程序、用于通过装置110(或者佩戴对应的装置110的用户)检测遇到危险场所并且拍摄该危险场所的图像以将该图像发送到信息管理中心120的图像提供程序、装置110的特定识别信息、使用装置110的用户的用户属性信息(如上所述)等。
输入操作部602包括用户用来进行输入操作的一个或多个操作器,如键、按钮、开关等,并且通过该操作器接收用户指令,并且将该指令输出到控制部601。此外,输入操作部602接受包括在由远程控制接收部603接收到的远程控制命令中的用户指令,并且将该指令输出到控制部601。
状态信息获取部604是用于获得图像拍摄装置110的主体或者佩戴装置110的用户的状态信息的功能模块。状态信息获取部604可以包括用于检测自己的状态信息的各种传感器,或者可以通过通信部605(稍后描述)从包括这些传感器中的一部分或全部的外部装置(例如,用户佩戴的手表或智能手机以及其他多功能终端)获得状态信息。
状态信息获取部604获得例如用户头部的位置和姿态的信息。考虑到陀螺仪传感器、加速度传感器、GPS(全球定位系统)传感器、地磁传感器、多普勒传感器、红外传感器、无线电场强度传感器等中每个传感器的优点和缺点,状态信息获取部604可以包括两个以上的传感器中的任一个或组合,以获得位置和姿态信息。此外,状态信息获取部604可以使用从各种基础设施提供的信息的组合,如移动电话基站信息、PlaceEngine(注册商标)信息(来自无线LAN接入点的无线电测量信息)等,以获得位置和姿态信息。
此外,状态信息获取部504获得例如用户的工作状态(用户是否正佩戴着图像拍摄装置110)、用户的行为状态(运动状态,如静止、行走、跑动等,眼皮的张开或闭合状态、视线方向、瞳孔尺寸)、精神状态(印象度,如用户在观看显示图像时是否专注或集中精力等,兴奋度、清醒度、感情、情绪等)以及作为佩戴图像拍摄装置110的用户的状态信息的生理状态。此外,状态信息获取部604可以包括各种状态传感器,如包括机械开关等的穿戴式传感器、用于拍摄用户面部的内部照相机、陀螺仪传感器、加速器传感器、速度传感器、压力传感器、用于检测体温或气温的温度传感器、出汗传感器、脉搏传感器、肌电位传感器、眼电位传感器、脑波传感器、呼吸传感器、气体离子浓度传感器和定时器(这些在图6中都没有被示出),以从用户获得这些状态信息。
环境信息获取部616是获得图像拍摄装置110的主体或者佩戴装置110的用户周围环境的信息的功能模块。在此与环境有关的信息包括声音、气流、气温、气压、大气(烟、浓雾、装置110或用户暴露于的电磁波(紫外线、蓝光和无线电波)、热射线(红外线)、放射线、大气中的一氧化碳和二氧化碳、大气中漂浮的氮化合物(尼古丁)、氮氧化物(NOX)和碳氢化合物(挥发性的有机化合物(VOC)或者在紫外线对它们的影响下通过光化学反应产生的光化学烟雾、粉尘,如颗粒物、花粉、室内尘埃等,有毒化学物,如石棉)以及其他环境因素。环境信息获取部616可以包括各种环境传感器,包括声音传感器、气流传感器,以检测环境信息。上述麦克风和外部照相机612可以包括在环境传感器中。作为选择,环境信息获取部616可以通过通信部605(稍后描述)从包括这些传感器中的一些或全部的外部装置(例如,智能电话、手表和用户穿戴的其他多功能终端)获得环境信息。
外部照相机612例如大致设置在图像拍摄装置110的主体的前面的中心(参见图2和图4),并且能够拍摄周围图像。此外,通过与状态信息获取部604获得的用户视线方向同步地对外部照相机612进行平转、倾斜和滚动方向上的姿态控制,可以通过外部照相机612拍摄用户眼睛方向上的图像,即,用户视线方向上的图像。更优选地,由使用双眼视差信息的多个照相机配置外部照相机612,以获得周围图像的三维信息。假定允许用户通过输入操作部602的操作、由内部照相机、肌电位传感器等识别出的眼睛瞳孔的尺寸和语音输入调节外部照相机612的变焦。可以将外部照相机612拍摄的图像输出到显示部609,并且还可以将该图像存储在存储部606中。在本实施例中,由外部照相机612拍摄用户已经遇到的危险场所的图像。稍后对其进行详细描述。
通信部605与外部装置进行通信处理,并且对通信信号进行调制/解调和编码/解码处理。作为外部装置的例子,可以给出内容回放设备(蓝光盘和DVD播放器),其将用户使用作为头戴式显示器的图像拍摄装置110时观看的内容提供给因特网上的流服务器和信息管理中心120。此外,控制部601将发送数据从通信部605输出到外部装置。
通信部605可以具有任何配置。例如,可以根据与作为通信的另一方的外部装置进行发送/接收操作用的通信方法配置通信部605。该通信方法可以是有线模式或无线模式。在此提到的通信标准包括MHL(Mobile High-definition Link,移动高清链接)、USB(Universal Serial Bus,通用串行总线)、HDMI(注册商标)(High Definition MultimediaInterface,高清多媒体接口)、Wi-Fi(注册商标)、蓝牙(注册商标)通信、BLE(Bluetooth(注册商标)Low Energy低能量)通信、超低功率无线通信,如ANT等、由IEEE802.11s标准化的网状网络等。作为选择,通信部605可以例如是蜂窝无线电发送器/接收器,其根据标准规范操作,如W-CDMA(宽带码分多址)、LTE(长期演进)等。
如稍后描述的,由外部照相机612拍摄的危险场所等的图像从通信部605发送到信息管理中心120。然而,所拍摄的图像本身有时不发送到信息管理中心120,而是上传到图像共享网站,并且表示用于访问上传图像的信息的URL(统一资源定位符)或者URI(统一资源标识符)可被发送到信息管理中心120。
存储部606是大容量存储装置,包括SSD(固态装置)等。存储部606存储由控制部601执行的应用程序和各种数据。例如,用户使用作为头戴式显示器的图像拍摄装置110看到的内容被存储在存储部606中。此外,在本实施例中,由外部照相机612拍摄的场景图像(危险场所等)与由状态信息获取部604获得的位置信息和时间信息以及由环境信息获取部616获得的环境信息相关联地存储在存储部606中。
图像处理部607还对从控制部601输出的图像信号进行信号处理,如图像质量修正等,并且进行分辨率转换以符合显示部609的屏幕。然后,显示驱动部608依次针对每条线选择显示部609的像素,进行线顺序扫描,并且基于经过信号处理的图像信号提供像素信号。
显示部609包括显示面板,包括微显示器,如有机EL(电致发光)元件、液晶显示器等,或者激光扫描方法显示器,如视网膜直绘显示器等。虚拟图像光学部610进行显示部609的显示图像的扩展投影,以允许用户观看放大的虚拟图像。
就这一点而言,作为由显示部609输出的显示图像的例子,可以给出内容回放设备(蓝光盘或DVD播放器)或者从流服务器提供的商业内容以及由外部照相机612拍摄的图像等。如果图像拍摄装置110是如图2和图3中所示的透视式,则用户可以透过该图像(包括不显示图像时的时间)观看真实世界的场景。
此外,外部显示部615的显示屏面向图像拍摄装置110的外侧(与佩戴该装置的用户的面部的方向相反的方向),因此可以向其他用户显示外部图像。外部图像可以是与显示部609的图像相同或不同的图像。对于外部显示部615的具体配置,例如参见已经转让给本申请人的日本专利申请2012-200902号和2012-200903号的说明书。注意,外部显示部615不是实现本说明书中公开的技术所必不可少的部件。
音频处理部613对从控制部601输出的音频信号进行声音质量修正和声音放大,并且还对输入音频信号等进行信号处理。然后,音频输入/输出部614输出经过音频处理后的声音,并且从麦克风进行音频输入(如上所述)。
信息管理中心120是因特网等广域网上的服务器设备等,并且可以使用通用计算机系统来建构。作为选择,信息管理中心120在物理上可以不配置在单个计算机系统中,而是可以配置为使用云技术提供的服务,并且可以配置在信息显示装置130的一些中。
图7示意性示出信息管理中心120的功能配置。图7中所示的信息管理中心120包括通信部701、收集信息分析部702、信息提供部703、图像数据库704和用户数据库705的各功能模块。每个功能模块可以由专用硬件配置,或者也可以通过在计算机系统上执行预定程序来实现。
通信部701通过诸如因特网等广域网与每个图像拍摄装置110-1、110-2、110-3、…和每个信息显示装置130-1、130-2、130-3、…进行通信。
收集信息分析部702分析从每个图像拍摄装置110-1、110-2、110-3、…发送来的信息。具体来说,当收集信息分析部702分析危险场所的图像时,收集信息分析部702将该图像与位置信息相关联地存储在图像数据库704中。如果图像拍摄时间、用户ID、用于识别危险类别的信息标签等与该图像一起被发送,则收集信息分析部702还将这些信息一起存储在图像数据库704中。
图8A、8B和8C示出用于在图像数据库704中管理从每个图像拍摄装置110-1、110-2、110-3、…收集的图像的数据结构的例子。图8A示出基本数据结构。图像数据库704中的一个记录由通过拍摄危险场所产生的运动图像或静止图像和用于识别其地点的位置信息802的组合图像数据801形成。图像数据801可以不是数据的实体,而可以是用于存储图像数据的位置(图像共享网站等)或者表示访问信息的URL或者URI。例如,上传到图像共享网站的图像内容的URL可以被输入到图像数据801的字段中。此外,位置信息802的标记法没有具体限制,只要适合于匹配处理即可。例如,可以给出纬度、经度或地址。
图8B和图8C分别示出用于在图像数据库704中管理图像的数据结构的变体。在图8B中所示的例子中,时间803和用户ID 804的字段进一步被加到图8A中所示的数据结构。此外,在图8C中所示的例子中,增加表示危险类别的字段805。
再回到图7,接下来描述信息管理中心120的配置。收集信息分析部702对从各图像拍摄装置110-1、110-2、110-3、…收集的图像进行图像分析。具体来说,通过图像分析,利用环境信息或者附着到图像的信息标签(如上所述)对危险场所是否依赖于时间进行判断(例如,是可疑人倾向于在日落后出现的危险场所,还是交通高峰期拥挤引起的危险场所)。作为选择,可以进行作为图像提供者的用户遇到的危险的类别的识别(是事故、事件或者小事件?)。这些分析结果可以与图像相关联地存储在图像数据库704中。
用户数据库705管理每个图像拍摄装置110-1、110-2、110-3、…和每个信息显示装置130-1、130-2、130-3、…的用户信息。图9示出用于在用户数据库705中管理用户的数据结构的例子。在图9中所示的例子中,用户数据库705中的一个记录包括用户个人属性(性别、年龄、性格、职业等)902和包括行为属性的用户属性信息903等的各字段,并且将这些字段与用户ID 901相关联地管理。
信息提供部703被允许通过通信部701获得每个信息显示装置130-1、130-2、130-3、…的当前位置的信息。然后,信息提供部703针对与每个信息显示装置130-1、130-2、130-3、…的当前位置相对应的记录搜索图像数据库704。如果找到对应的记录,则信息提供部703将通过图像分析获得的存储在危险场所的记录中的图像或者危险场所的信息发送到信息显示装置130。
此外,信息提供部703不仅可以使用当前位置进行匹配,而且还可以使用用户数据库705,利用使用每个信息显示装置130-1、130-2、130-3、…的用户的个人属性或行为属性进行过滤,然后可以只在必要时发送与通过图像分析获得的危险场所有关的图像或信息。这是因为存在对女人危险但是对男人不危险的地点、对幼儿或老人特别危险的地点,并且存在跑动时危险但是走动等时不特别危险并且不必在意的情况。如果信息被发送到不处于危险中的用户,则变成无用警告,因此在真正危险的情况下信息将不会被严肃接受。
信息显示装置130向移动用户显示信息(当然,也可以向留在室内的用户显示信息)。信息显示装置130是多功能移动终端,如头戴式显示器、智能电话等,或者在视力范围内输出放大的信息的平视显示器,如车辆的挡风玻璃等,其被允许通过诸如因特网等广域网与信息管理中心120通信。
图10示意性示出信息显示装置130的功能配置。图10中所示的信息显示装置130包括控制部1001、通信部1002、位置信息获取部1003、图像处理部1004、显示取得部1005、显示部1006、驱动控制部1007和致动部1008的每个功能模块。每个功能模块可以由专用硬件配置,也可以通过在计算机系统上执行预定程序来实现。
控制部1001包括ROM 1001A和RAM 1001B。ROM 1001A存储由控制部1001执行的程序代码和各种数据。控制部1001执行加载在RAM 1001B中的程序,以全面控制信息显示装置130的全部操作,包括图像的显示控制。作为存储在ROM 1001A中的程序和数据的例子,可以给出与诸如信息管理中心120等外部装置的通信控制程序、从信息管理中心120接收到的(危险场所的)图像的显示控制程序、根据信息显示装置130的用户遇到的危险场所的显示进行的反馈控制程序、信息显示装置130的特定识别信息以及使用信息显示装置130的用户的用户属性信息(如上所述)等。
位置信息获取部1003获得信息显示装置130或用户的当前位置或姿态的信息。考虑到陀螺仪传感器、加速度传感器、GPS传感器、地磁传感器、多普勒传感器、红外传感器、无线电场强度传感器等中每个传感器的优点和缺点,位置信息获取部1003可以包括两个以上的传感器中的任一个或组合,以获得位置和姿态信息。此外,位置信息获取部1003可以使用从各种基础设施提供的信息的组合,如移动电话基站信息、PlaceEngine(注册商标)信息等,以获得位置和姿态信息。
控制部1001将位置信息获取部1003获得的位置和姿态信息通过通信部1002发送到信息管理中心120。此外,当控制部1001发送该位置和姿态信息时,控制部1001可以根据需要从ROM 1001A读取用户属性信息,并且可以将用户属性信息一起发送。
如上所述,信息管理中心120基于接收到的位置信息搜索图像数据库704。如果找到匹配的危险场所,则信息管理中心120将所拍摄的危险场所的图像或者通过图像分析获得的与该危险场所有关的信息发送到信息显示装置130。此外,信息管理中心120有时使用用户数据库705,利用使用每个信息显示装置130的用户的个人属性或行为属性进行过滤,然后只在必要时发送图像或者通过图像分析获得的与危险场所有关的信息。
然后,控制部1001通过显示部1006将从信息管理中心120提供的图像呈现给用户。具体来说,图像处理部1004还对从控制部1001输出的图像信号进行信号处理,如图像质量修正等,并且进行分辨率转换以符合显示部1006的屏幕。然后,显示驱动部1005依次针对每条线选择显示部1006的像素,进行线顺序扫描,并且基于经过信号处理的图像信号提供像素信号。
如果信息显示装置130是头戴式显示器或者平视显示器,则信息通过叠加在用户视觉范围内的危险场所上而被显示,从而将危险有效地通知给用户以避免该危险。
此外,控制部1001还可以在显示部1006显示所拍摄的危险场所的图像时通过另外提供如音效等声音输出、振动,进行触觉反馈,来进一步唤起用户的注意。执行部1008包括用于向用户物理输出反馈的一个或多个输出装置组。控制部1001通过驱动控制部1007控制致动部1008的操作。注意,驱动控制部和致动部1008是可选部件。
图11示意性示出致动部1008的配置例子。致动部1008包括振动装置1101、发热装置1102、冷却装置1103、风扇等送风装置1104、扬声器等音响装置1105、发光装置1106和移动装置1107当中的至少一些输出装置。控制部1001能够通过驱动控制部1007控制输出装置1101至1107的操作。然后,除了显示危险场所的图像以外,致动部1008还能够产生振动、热、制冷、输出风、声音、发射光、输出脉冲等。在致动部1008包括各种输出装置并且多个输出装置结合操作的情况下,可以呈现各种反馈。
接下来,描述根据本实施例的信息分发系统100中用于提供与危险场所有关的信息的分发服务的处理操作。这些信息分发服务大致被分为:图像获取阶段,其中图像拍摄装置110-1、110-2、110-3、…每个获得危险场所的图像;以及信息提供阶段,其中信息管理中心120收集由图像拍摄装置110-1、110-2、110-3、…每个获得的图像,并且将这些图像分类并提供给必要的信息显示装置130-1、130-2、130-3、…。
图12是示出在图像拍摄装置110-1、110-2、110-3、…每个中执行的用于拍摄危险场所的图像的一般处理程序的流程图。注意,假定在该处理操作期间图像拍摄装置110-1、110-2、110-3、…始终连续获得当前位置和姿态信息。
在图像拍摄装置110中,进行装置110或其用户是否处于危险状态的判断(步骤S1201)。在该步骤中,例如,危险水平被输出为指数值,如危险程度等。
接下来,进行是否到了基于装置110或其用户的当前危险程度拍摄危险场所的图像的时间(步骤S1202)。在此,如果装置110或其用户的危险程度高,则判断为已到图像拍摄时间(步骤S1202中的“是”),并且图像拍摄装置110在当前位置使用外部照相机612拍摄运动图像或静止图像(步骤S1203)。
然后,图像拍摄装置110通过将当前位置和姿态信息添加到在步骤S1203中拍摄的危险场所的图像来产生发送数据(步骤S1204),并且通过通信部605将该图像和信息发送到信息管理中心120(步骤S1205)。
就这一点而言,在步骤S1204中,除了当前位置和姿态信息以外,图像拍摄装置110还可以通过添加图像拍摄时间信息、图像拍摄装置110的用户的用户ID或者用户属性信息来产生发送数据。此外,除了该发送数据以外,图像拍摄装置110可以进一步添加在步骤S1201中判断危险用的危险状态信息或者判断危险类型用的信息标签。
图13是示出在步骤S1201中由图像拍摄装置110执行的危险状态判断处理的流程图。
控制部601从状态信息获取部604获得生物信息,如脉搏、出汗、肌电位、眼球移动等(步骤S1301)。然后,控制部601自动判断所获得的生物信息是否表明用户已经遇到危险场所(步骤S1302)。
当从该生物信息检测到用户处于极度紧张状态的生理现象时,例如,当心率突然增加,已经检测到出汗,肌肉异常收缩,眼睛持续离开焦点或者持续紧盯一个场所等的时候,控制部601可以判断为用户已经遇到危险场所。就这一点而言,可以进行汗液成分分析,以识别出汗是由体温调节引起的还是由紧张引起的,以增加判断准确度。此外,在步骤S1302中,可以进行更高级且复杂的判断处理,如危险相对地到何程度等,以代替通过比较生物信息与阈值来判断是否危险的二态判断。为了进行这种高级且复杂的判断处理,必须具有大量数据,或者施加大的计算负荷,因此认为配置为头戴式显示器的图像拍摄装置110难以单独实现该判断处理。因此,云技术提供了基于大量的记录数据提供由生物信息表示的相对危险程度的信息的服务,并且控制部601可以使用从这种服务提供的信息。
此外,控制部601可以将加速度信息与生物信息一起考虑来进行步骤S1302中的判断处理。当高加速度或速度作用于图像拍摄装置110或用户,然后心率突然增加时,可以判断为小事件发生,因为用户绊到路上的障碍物或坑。
然后,如果判断为用户已经遇到危险场所(步骤S1302中的“是”),则控制部601基于此时用户的脉搏率或者出汗量或者汗液的成分等输出较高的危险程度(步骤S1303)。另一方面,如果判断为用户不处于危险场所(步骤S1302中的“否”),则控制部601基于用户的脉搏率或者出汗量或者汗液的成分等输出低危险程度(步骤S1304)。
就这一点而言,在该处理例程中,可以另外输出判断危险用的危险状态信息或者判断危险类型用的信息标签。
图14是示出在步骤S1201中由图像拍摄装置110执行的危险状态判断处理的变体的流程图。在本实施例中,图像拍摄装置110配置为头戴式显示器,并且用户可以通过该头戴式显示器观看内容,如电影等。因此,用户情绪有时已经卷入到观看内容中,结果,脉搏率、出汗等生物信息中可能出现变化。这可能导致错误的危险状态判断。因此,图14中的处理程序与图13中所示的处理程序的不同之处在于,根据用户是否正在观看内容来改变危险程度的判断。
控制部601从状态信息获取部604获得生物信息,如脉搏、出汗、肌电位、眼球的移动等(步骤S1401)。然后,控制部601自动判断所获得的生物信息是否表示用户是否遇到危险场所(步骤S1402)。
在此,如果控制部601从该生物信息判断为用户不处于危险场所(步骤S1402中的“否”),则控制部601根据该生物信息,如此时用户的脉搏率、出汗量或者汗液的成分等,输出低危险程度(步骤S1406)。
另一方面,如果控制部601基于该生物信息判断为用户已经遇到危险场所(步骤S1402中的“是”),则控制部601暂时设置较高的危险程度(步骤S1403),然后进一步判断用户此时是否正在观看内容(步骤S1404)。
如果用户没有正在观看内容(步骤S1404中的“否”),则控制部601直接输出较高的危险程度。另一方面,如果用户正在观看内容(步骤S1404中的“是”),则用户的生物信息的变化是情绪卷入观看内容的结果。因此,存在实际上没有危险的可能性,因此控制部601降低危险程度,并且输出该危险程度(步骤S1405)。
就这一点而言,在该处理例程中,控制部601可以输出判断危险用的危险状态信息或者判断危险类型用的信息标签(如上所述)。
此外,图15是示出在步骤S1201中由图像拍摄装置110执行的危险状态判断处理的另一个变体的流程图。在图14中所示的判断处理中,去掉了观看内容的用户伴有的生物信息变化的影响。然而,用户的生物信息的变化是由于真实世界中发生的危险还是由于观看内容仍然不清楚。因此,在图15中所示的处理程序中,进一步考虑图像拍摄装置110或者用户的环境信息以更高的准确度进行危险程度的判断。
控制部601获得从状态信息获取部604获得生物信息,如脉搏、出汗、肌电位、眼球的移动等(步骤S1501)。然后,控制部601自动判断所获得的生物信息是否表示用户已经遇到危险场所(步骤S1502)。
在此,如果控制部601从该生物信息判断为用户不处于危险场所(步骤S1502中的“否”),则控制部601根据此时用户的脉搏率、出汗量或者汗液的成分等输出低危险程度(步骤S1509)。
另一方面,如果控制部601基于该生物信息判断为用户已经遇到危险场所(步骤S1502中的“是”),则控制部601暂时设置较高的危险程度(步骤S1503),然后进一步判断用户此时是否正在观看内容(步骤S1504)。
如果用户没有正在观看内容(步骤S1504中的“否”),则控制部601直接输出较高的危险程度。另一方面,如果用户正在观看内容(步骤S1504中的“是”),则存在用户的生物信息的变化是情绪卷入观看内容的结果。因此,控制部601从环境信息获取部616获得图像拍摄装置110或者用户所处于的环境的信息(步骤S1505),并且自动判断环境信息是否表明用户已经遇到危险场所(步骤S1506)。
例如,如果控制部601从所获得的环境信息判断为检测到大的声音,如噪声、爆炸声等,检测到强风,如暴风、冲击波等,检测到火源位置那样的高温,如火场、撞车事故等,检测到某种气氛(例如,大气中存在浓雾或烟、放射线以及有毒化学物质)等,则可以判断为用户已经遇到危险场所。此外,当通过分析由外部照相机612拍摄的图像识别出用户处于事故、事件等的场地时,可以判断为用户已经遇到危险场所。
在此,如果控制部601已经基于环境信息判断为用户遇到危险场所(步骤S1506中的“是”),则控制部601直接输出较高的危险程度。此外,即使基于环境信息判断为用户没有遇到危险场所(步骤S1506中的“否”),当用户通过输入操作部602、远程控制等输入陈述有危险的指示时(步骤S1507中的“是”),则控制部601直接输出较高的危险程度。
另一方面,如果基于环境信息判断为用户没有遇到危险场所(步骤S1506中的“否”),并且用户没有输入陈述是危险场所的指令(步骤S1507中的“否”),则控制部601判断为图像拍摄装置110或用户没有遇到危险场所,降低危险程度,然后输出危险程度(步骤S1508)。
就这一点而言,在该处理例程中,控制部601可以输出判断危险用的危险状态信息或者判断危险类型用的信息标签(如上所述)。
如果人遇到使人预感到危险的诸如声音等现象(例如,快速接近的汽车发动机声音、制动尖叫、汽车鸣笛、车头灯光、风(空气的突然运动)、振动等),则人自动使他/她的视线朝向该方向。然后,当人见证该现象,即,危险状态时,他/她经历生物变化,如脉搏和出汗增加。因此,可以使用人的行为特征和生理现象以高准确度正确地判断出危险程度。
图23是示出用于使用人的行为特征和生理现象判断危险状态的处理程序的流程图。
首先,控制部601识别图像拍摄装置110的用户预感到危险的场所(步骤S2301)。
在步骤S2301中,控制部601基于从环境信息获取部616获得的环境信息识别使用户预感到危险的场所。具体来说,控制部601识别大声音的声音源、冲击波等的迎风面、强光的光源、振动源等。
接下来,控制部601从状态信息获取部604接收到的生物信息(例如,眼电位和由内部照相机拍摄的左眼和右眼的图像中的至少一个)当中提取用户的位置和姿态信息和视线信息,并且获得视线的方向(步骤S2302)。
然后,控制部601检查用户的视线是否落在(或者基本落在)步骤S2301中识别出的场所,以预测危险(步骤S2303)。
在此,如果用户的视线落在(或者基本落在)步骤S2301中识别出的场所,以预测危险(步骤S2303中的“是”),则控制部601进一步从状态信息获取部604获得生物信息,如脉搏、出汗、肌电位、眼球的移动等(步骤S2304)。然后,控制部601自动判断所获得的生物信息是否表明用户已经遇到危险场所(步骤S2305)。
当从生物信息检测到使得用户处于极度紧张状态的生理现象时,例如,心率突然增加,检测到出汗,肌肉异常收缩,眼睛持续离开焦点或者持续盯着一个场所等,控制部601可以判断为用户已经遇到危险场所。就这一点而言,可以对汗液进行成分分析,以识别出汗是由体温调节引起的还是由紧张引起的,从而增加判断准确度。此外,当高加速度或速度施加于图像拍摄装置110或用户,然后心率突然增加时,可以判断为小事件已经发生,因为用户绊到路上的障碍物或坑。
然后,如果判断为用户已经遇到危险场所(步骤S2305中的“是”),则控制部601基于此时用户的脉搏率或者出汗量或者汗液的成分等输出较高的危险程度(步骤S2306)。另一方面,如果判断为用户不处于危险场所(步骤S2305中的“否”),则控制部601基于用户的脉搏率或者出汗量或者汗液的成分等输出低危险程度(步骤S2307)。
就这一点而言,在该处理例程中,控制部601可以输出判断危险用的危险状态信息或者判断危险类型用的信息标签(如上所述)。
如上所述,可以结合用户的生物信息、内容的观看状态和图像拍摄装置110或用户所处的环境信息,正确地判断用户是否已经遇到危险场所。此外,图像拍摄装置110配置为头戴式显示器,并且通过戴在用户的头部来使用,因此可以使用外部照相机612自动拍摄用户视线方向上的图像。然而,已经遇到危险场所的用户不一定连续观看该危险场所。因此,存在拍摄到与危险根本无关的事情的图像并且该图像被发送到信息管理中心120的可能性。因此,图像拍摄装置110可以基于由状态信息获取部604获得的用户的生物信息或者由环境信息获取部616获得的环境信息等判断用户是否正在观看危险场所,并且可以进行图像拍摄操作。
图16是示出在步骤S1203中由图像拍摄装置110执行的用于拍摄危险场所的图像的处理程序的流程图。注意,假定在图16中所示的处理程序中拍摄危险场所的静止图像。
控制部601从状态信息获取部604接收到的生物信息中提取用户的位置和姿态信息以及视线信息(步骤S1601)。
接下来,控制部601检查用户的视线是否在同一场所停留了一定的时间段(步骤S1602)。
然后,如果检测到用户的视线在同一场所停留了一定的时间段(步骤S1602中的“是”),则估计用户盯着事故场地、事件场地或者已经发生小事件的场所。因此,控制部601使外部照相机612朝向用户视线的方向,并且拍摄静止图像(步骤S1603)。
此外,图17是示出在步骤S1203中由图像拍摄装置110执行的用于拍摄危险场所的图像的另一个处理程序的流程图。注意,假定在图17中所示的处理程序中拍摄危险场所的运动图像。
控制部601从状态信息获取部604接收到的生物信息中提取用户的位置和姿态信息和视线信息(步骤S1701)。
接下来,控制部601检查用户的视线是否在同一场所停留了一定的时间段(步骤S1702)。
然后,如果检测到用户的视线在同一场所停留了一定的时间段(步骤S1702中的“是”),则估计用户盯着事故地点、事件地点或者已经发生小事件的场所。因此,控制部601使外部照相机612朝向用户的视线方向,并且开始拍摄运动图像(步骤S1703)。
之后,控制部601在拍摄该图像时继续检测用户的视线(步骤S1704)。然后,如果用户的视线方向改变了一定量以上(步骤S1705中的“是”),则估计用户的视线脱离事故地点、事件地点或者小事件场所,并且因此控制部601停止拍摄运动图像(步骤S1706)。
图18是示出在步骤S1203中由图像拍摄装置110执行的用于拍摄危险场所的图像的另一个处理程序的流程图。在图16和图17中所示的处理程序中,只通过视线的方向判断用户是否只观看危险场所。相比之下,图18中所示的处理程序与此不同之处在于,基于由环境信息获取部616获得的环境信息等识别危险场所。此外,在图18中所示的处理程序中,假定拍摄危险场所的运动图像。
首先,控制部601识别图像拍摄装置110或用户附近的危险场所(步骤S1801)。
在步骤S1801中,控制部601基于例如从环境信息获取部616获得的环境信息识别危险场所。具体来说,控制部601识别危险场所,例如,噪声或爆炸声等大声音的声音源、暴风或冲击波等强风的迎风面、基于温度分布的着火地点或者撞车事故等的着火位置、浓雾或烟的发生场所、放射线的来源、有毒化学物质的来源等。此外,控制部601可以识别外部照相机612拍摄的图像,并且识别危险场所,如事故或事件等的地点、小事件的地点等。
作为选择,控制部601可以通过通信部605从外部接收附近发生的事故或事件的信息等,并且可以基于接收到的信息识别附近的危险场所。
接下来,控制部601从状态信息获取部604接收到的生物信息(例如,眼电位以及由内部照相机拍摄的左眼和右眼的图像中的至少一个)当中提取用户的位置和姿态信息以及视线信息,并且获得视线的方向(步骤S1802)。
然后,如果用户的视线落在(或者基本落在)步骤S1801中识别出的危险场所(步骤S1803中的“是”),则控制部601开始利用朝向用户视线方向的外部照相机612拍摄运动图像(步骤S1804)。
之后,控制部601在图像拍摄期间继续检测用户的视线(步骤S1805)。然后,当用户的视线脱离该危险场所时(步骤S1806中的“是”),则控制部601停止拍摄该运动图像(步骤S1807)。
此外,图19是示出在步骤S1203中由图像拍摄装置110执行的用于拍摄危险场所的图像的另一个处理程序的流程图。在图19中所示的处理程序中,以与图18中所示的处理程序相同的方式,基于由环境信息获取部616获得的环境信息等识别危险场所。然而,图19中所示的处理程序的不同之处在于,拍摄运动图像还是拍摄静止图像取决于危险场所的重要性等级或其类型。这带来如下优点:当重要的事故或事件发生时,或者在静止图像不能传达危险场所的状态的情况下,可以提供运动图像,并且在其他情况下,通过提供静止图像可以减少发送数据的量。
首先,控制部601识别图像拍摄装置110或用户附近的危险场所(步骤S1901)。
基于环境信息识别危险场所的方法与参照图18描述的相同。此时,一起判断识别出的场所的危险的重要性等级和类型,并且基于判断结果对拍摄图像的方法进行判断,即,拍摄运动图像还是拍摄静止图像(步骤S1902)。
接下来,控制部601从状态信息获取部604接收到的生物信息当中提取用户的位置和姿态信息以及视线信息,并且检查视线的方向(步骤S1903)。
然后,如果用户的视线落在(或者基本落在)步骤S1901中识别出的危险场所(步骤S1904中的“是”),则控制部601拍摄图像。
在此,如果在步骤S1902中判断为拍摄静止图像(步骤S1905中的“是”),则外部照相机612朝向用户的视线方向,拍摄静止图像(步骤S1906),然后该处理例程结束。
另一方面,如果判断为在步骤S1902中拍摄运动图像(步骤S905中的“否”),则控制部601使外部照相机612朝向用户视线的方向,并且开始拍摄运动图像(步骤S1907)。此外,控制部601在图像拍摄期间继续检测用户的视线(步骤S1908)。然后,如果用户的视线方向脱离事故地点、事件地点或者小事件的场所(步骤S1909中的“是”),则控制部601停止拍摄运动图像(步骤S1910),并且结束该处理例程。
例如,如果行人遇到快速接近的汽车的发电机声音、制动尖叫、汽车鸣笛、车头灯光、风(空气的突然运动)、振动等,则人自动使他/她的视线朝向该方向。如果行人正佩戴着作为图像拍摄装置110的头戴式显示器,则该行人可以根据上述处理程序立即看到该行人的视线方向上的状态(而该行人没有意识到),并且可以拍摄危险场所的图像。也就是说,利用本说明书中公开的技术,碰巧处于危险场所的人可以在危险来临的情况下拍摄图像。另一方面,尽管可以使用行人携带的具有照相机的多功能终端,如智能电话等,来使用图像拍摄装置110,但是在相同情况下,行人必须采取有意识的动作或操作,使照相机朝向观看方向以拍摄危险场所的图像。因此,行人难以立即做出反应。此外,如果行人将多功能终端放在衣服兜里或包里,那么对于出现危险的情况或者当遇到危险场所时难以立即做出反应(或者事先必须始终做好准备),因此,在重要情况下,行人容易丧失图像拍摄时机。
利用配置为头戴式显示器的图像拍摄装置110,可以在危险来临的情况下拍摄图像。另外,能够以更高的准确度判断危险程度。例如,可以判断正在接近的物体,如汽车、摩托车、自行车等。当拍摄运动图像时,可以计算物体的接近速度。此外,在碰撞之后,可以基于碰撞施加的加速度判断损坏。此外,当事故频繁发生时,或者当事故几乎发生,但是被防止时(只有心率增加,但是没有碰撞等造成的损坏),可以判断从哪一点是真正危险的,并且提供用于改进的分析信息。
此外,当图像拍摄装置110被配置为头戴式显示器时,可以从佩戴该装置的每个用户的角度识别危险程度。例如,小孩不能靠近驶来的汽车,但是对于高大的成人来说,有时这并不危险。此外,人行道上的障碍物或坑对于视力好的人来说不危险,但是对于视力差的人来说是危险的。根据属性,如年龄、性别、身体特征、性格等,同一危险场所具有不同的危险程度。作为头戴式显示器的图像拍摄装置110可以从每个用户的角度,基于生物信息的变化,考虑到年龄、性别、身体特征、性格等,来获得危险场所的图像。
目前已经有能够拍摄发生在街角的危险场景的照相机,如监控照相机、保安照相机。然而,迄今为止,这些固定点照相机设置在作为主要的有恶名的场所的危险区域。然而,这些固定点照相机很少设置在潜在的危险区域(换言之,不清楚是否会发生危险的场所)。在设备安装方面,在潜在的危险区域设置固定点照相机成本太高。与之相比,利用本说明书中公开的技术,图像拍摄装置110是由用户携带的作为头戴式显示器的成像装置,因此可以解决安装这种设备的不便。
另外,利用拍摄危险场所的图像的信息分发系统100,假设大量的用户佩戴头戴式显示器,与固定点照相机不同,可以对想犯罪的犯罪分子产生威慑力,并且可以改善公共安全和用户的安全。
每个图像拍摄装置110-1、110-2、110-3、…根据图16至图19中所示的处理程序中的任一个拍摄危险场所的图像,然后在后面的步骤1204中,通过添加地点的位置信息产生发送数据,并且将图像和该数据发送到信息管理中心120。此外,每个图像拍摄装置可以向该发送数据附加信息,如遇到危险的时间、与遇到的危险类别有关的信息(事故、事件或者小事件)(或者用于识别危险类别的信息标签)、用户属性信息,包括用户的个人属性(性别、年龄、性格、职业等)、行为属性等。
信息管理中心120将从每个图像拍摄装置110-1、110-2、110-3、…接收到的危险场所的图像与位置信息相关联地管理。此外,信息管理中心120可以根据需要针对每个危险类别,将从每个图像拍摄装置110-1、110-2、110-3、…提供的图像分类,并且将这些图像不仅与位置信息相关联而且还与用户属性信息(如上所述)等其他信息相关联地管理。
图20是示出信息管理中心120处理从每个图像拍摄装置110-1、110-2、110-3、…接收到的危险场所的图像的过程的流程图。
当收集信息分析部702通过通信部701从图像拍摄装置110-1、110-2、110-3、…中的任一个接收到数据时(步骤S2001中的“是”),收集信息分析部702分析接收到的数据,提取危险场所的图像和地点的位置信息(步骤S2002),并且产生包括彼此相关联的危险场所的图像和位置信息的记录(步骤S2003)。
接下来,收集信息分析部702检查接收到的数据是否包括危险场所的图像拍摄时间的信息(步骤S2004)。如果包括该信息(步骤S2004中的“是”),则收集信息分析部702将该时间信息添加到上述记录(步骤S2005)。
此外,收集信息分析部702检查是否可以识别成为数据发送源的图像拍摄装置110的用户(步骤S2006)。识别用户的方法包括:包括在接收到的数据中的发送源地址和用户被唯一地管理的情况;接收到的数据包括用户ID的情况等。在可以识别用户的情况下(步骤S2006中的“是”),收集信息分析部702将用户的用户ID添加到上述记录(步骤S2007)。
此外,收集信息分析部702检查接收到的信息是否包括用于识别危险类别的信息标签(步骤S2008)。如果包括信息标签(步骤S2008中的“是”),则收集信息分析部702分析该信息标签,识别危险类别,并且将该危险类别添加到上述记录(步骤S2009)。
然后,收集信息分析部702将所产生的记录存储在图像数据库704中(步骤S2010),并且结束该处理例程。图8中示出图像数据库704中该记录的数据结构。
信息管理中心120可以通过将从大量的图像拍摄装置110-1、110-2、110-3、…收集到的危险场所的信息映射到地图上来提供危险地图服务。信息提供部703可以通过将包括所有危险类别的危险场所的信息映射到该地图上来产生危险地图。作为选择,信息提供部703可以针对每个危险类别产生危险地图(例如,交通事故的危险地图、火灾的危险地图、性骚扰或袭击事件的危险地图等)。
此外,信息管理中心120可以将所产生的危险地图分发到每个信息显示装置130-1、130-2、130-3、…,或者可以将该危险地图上传并发布到图像共享网站上。
如已经描述的,通过从每个用户的角度识别危险程度,从各个图像拍摄装置110-1、110-2、110-3、…收集图像。因此,在信息管理中心120中,信息提供部703可以提供针对每个用户的属性,如年龄、性别、身体特征、性格等定制的更高准确度的危险地图。例如,可以实现以下适合于每个用户的属性差别的细致服务。
(1)当在婴儿车中运送婴儿时,人行道和公路之间的间隙可能是危险的,因为容易发生与汽车接触。
(2)小孩儿或矮的小学生容易遇到在行走时脸部或眼睛碰到吸烟人的燃烧的香烟的危险。不特定的大量的人穿过的场所,如车站前繁忙的街道、在十字路口穿过的行人等,可能是危险的。
(3)对于矮的小孩儿和小学生,荒废的场所可能是危险的,因为他们容易被绑匪、无家可归的人和可疑人攻击。
(4)男人可能想知道他们容易遇到匪徒的地方。
(5)年轻女人可能想知道她们容易遇到性骚扰的地方。
(6)与年龄和性别无关,人们可能想知道哪是帮派冲突的地区,以及交通事故频繁发生的地方。
此外,信息管理中心120利用每个信息显示装置130-1、130-2、130-3、…的当前位置搜索图像数据库704,并且如果找到匹配的危险场所,则信息管理中心120将所拍摄的该地点的图像或者通过图像分析获得的与危险场所有关的信息发送到对应的信息显示装置130。
图21是示出信息管理中心120将危险场所的图像或者其信息发送到每个信息显示装置130-1、130-2、130-3、…的处理程序的流程图。
信息提供部703尝试获得每个信息显示装置130-1、130-2、130-3、…的位置信息(步骤S2101)。
获得信息显示装置130的位置信息的方法没有特别限制。信息管理中心120有时始终监视每个信息显示装置130-1、130-2、130-3、…的当前位置的信息。此外,请求危险场所的信息的信息显示装置130有时发送它自己的位置信息。
当信息提供部703可以获得任何一个信息显示装置130的位置信息时(步骤S2101中的“是”),信息提供部703使用位置信息搜索图像数据库704(步骤S2102)。
如果图像数据库704中存在一个以上的匹配该位置信息的记录(步骤S2103中的“是”),则根据需要进行过滤处理。
具体来说,如果在对应的记录中描述了时间信息(步骤S2104中的“是”),则进一步检查该记录的时间信息是否匹配当前时间(步骤S2105)。时间信息与当前时间不匹配的记录被处理为不匹配(步骤S2105中的“否”)。
此外,如果在对应的记录中描述了用户ID(步骤S2106中的“是”),则使用该用户ID搜索用户数据库705,以提取用户的个人属性和行为属性(步骤S2107)。然后,基于与作为该图像的发送目标的信息显示装置130的用户的个人属性和行为属性的相似性进行过滤(步骤S2108)。
包括从个人属性和行为属性不相似的用户收集的图像的记录被处理为不匹配(步骤S2109中的“否”)。这是因为存在对女人危险,但是对男人不危险的地点,存在对幼儿危险,但是对大人不特别危险的地点,并且存在跑动时危险,但是走动时不特别危险并且不必注意的情况等。此外,人行道上的障碍物或者坑对视力好的人不那么危险,但是对于视力差的人危险。如果信息被发送到不处于危险中的用户,则它变成无用警告,因此在真正危险的情况下信息不被严肃地接受。
此外,如果在对应的记录中描述了危险类别(步骤S2110中的“是”),则提取危险类别(步骤S2111)。
然后,信息提供部703产生发送数据(步骤S2112)。过滤处理后留下的图像的数据被包括在发送数据中。
发送数据可以包括危险场所的图像数据本身,或者存储图像数据的位置(图像共享网站等)或者表示要被访问的信息的URL或URI。
此外,信息提供部703可以不将从图像数据库704提取的图像数据直接包括在发送数据中,而是可以发送根据装置属性,如发送目的地的信息显示装置130的显示能力或者用户属性、危险类别等,被适当处理的图像数据。例如,信息提供部703根据发送目的地的信息显示装置130是头戴式显示器还是平视显示器来改变分辨率和图像尺寸。此外,如果发送目的地的信息显示装置130的用户是成人,则信息提供部703插入包括中文字符的详细消息,但是如果用户是小孩儿,则信息提供部703插入不包括难的中文字符而是包括图形符号等容易理解的图像的消息。此外,如果危险类别是紧急情况,如交通事故、火灾等,则信息提供部703通过以微红的颜色显示来促进用户的意识。如果是可疑人频繁出现的场所,则信息提供部703通过以暗颜色显示来促使用户避免接近。就这一点而言,可以由发送目的地的信息显示装置130代替信息管理中心120来进行上述图像数据处理过程中的一部分或全部。
另一方面,如果在图像数据库704中没有发现对应图像的记录(步骤S2103中的“否”),或者如果在过滤处理后没有留下图像(步骤S2105或者S2109中的“否”),则在步骤S2112中在发送数据中写入表示没有对应图像的陈述。此外,如果在步骤S2111中获得危险类别,则可以将该危险类别包括在发送数据中。所产生的发送数据通过通信部1002被发送到对应的信息显示装置130(步骤S2113)。就这一点而言,假定作为基于时间信息和用户属性信息的过滤处理的结果,存在对应图像的多个记录。在此情况下,想到存在两个发送该数据的方法。一个是信息管理中心120将这些记录缩减到一个(或者这些记录中的一些)以将该数据发送到信息显示装置130的方法。另一个是将对应的图像都发送到信息显示装置130的方法。稍后描述具体细节。
当每个信息显示装置130-1、130-2、130-3、…从信息管理中心120接收到危险场所的图像或者通过图像分析获得的与危险场所有关的信息时,该信息显示装置显示该图像或者该信息,以向携带该装置的用户警告危险。
例如,如果信息显示装置130是头戴式显示器或者平视显示器,则信息通过叠加在用户视觉范围内的危险场所上而被显示,从而将危险有效地通知给用户以避免该危险。此外,信息显示装置130可以在显示所拍摄的危险场所的图像时通过另外提供如音效等声音输出、振动,进行触觉反馈,来进一步唤起用户的注意。
图22是示出信息显示装置130向用户显示从信息管理中心120接收到的与危险场所有关的信息的处理程序的流程图。然而,假定在图22中的处理程序中,由信息显示装置130代替信息管理中心120进行图像过滤处理和图像数据的处理中的一部分或全部。
当控制部1001通过通信部1002从信息管理中心120接收到数据时(步骤S2201中的“是”),则控制部1001将接收到的数据解码,并且提取各种数据,如危险的图像等(步骤S2202)。就这一点而言,如果接收到的数据不包括危险场所的图像本身,而是包括URL或者URI,则在步骤S2202中从对应的图像共享网站等下载该图像。此外,假定从信息管理中心120发送与信息显示装置130的用户所在的危险场所有关的多个图像的信息。
接下来,控制部1001检查接收到的数据是否包括危险类别(步骤S2203)。如果包括危险类别(步骤S2203中的“是”),则控制部1001根据需要按照该危险类别对步骤S2202中获得的图像进行处理(步骤S2204)。例如,如果危险类别是紧急情况,如交通事故、火灾等,则控制部1001通过以微红的颜色显示危险场所来促进用户的意识。此外,如果是可疑人频繁出现的场所,则控制部1001通过以暗颜色显示危险场所来促使用户避免接近。
接下来,控制部1001尝试从ROM 1001A、用户数据库705等获得信息显示装置130的用户属性信息(步骤S2205)。然后,如果可以获得用户属性信息(步骤S2206中的“是”),则控制部1001根据需要按照用户属性信息对步骤S2202中获得的图像进行处理(步骤S2207)。例如,如果用户是成人,则控制部1001插入包括中文字符的详细消息,但是如果用户是小孩儿,则控制部1001插入不包括难的中文字符,而是包括图形符号等容易理解的图像的消息。此外,如果从信息管理中心120发送多个图像的信息,则在步骤2207中,控制部1001根据时间信息以及用户的个人属性和行为属性进行过滤处理。
然后,当位置信息获取部1003获得信息显示装置130的用户的当前位置和姿态信息时(步骤S2208),控制部1001通过跟随用户的头部移动显示危险场所的图像(步骤S2209)。例如,如果信息显示装置130是头戴式显示器或者平视显示器,则危险场所的图像以透视的方式显示,从而叠加在真实场景的危险场所上。就这一点而言,如果从信息管理中心120发送多个图像的信息,则假定即使在步骤S2207中进行过滤处理,也难以缩减到一个图像。稍后描述此时的处理细节。
图24至图27示出某个信息显示装置130上的危险场所的图像的显示例子。注意,在图24至图27的每一个中,假定信息显示装置130配置为头戴式显示器或者平视显示器,并且以叠加在对应装置的用户视线方向上的场景(街角等)上的方式显示危险场所的图像。
图24中所示的例子示出如下情况:如果在由附图标记2401所示的街角进行右转弯,则用户将发现由阻挡道路的物体2402表示的危险场所。如果危险类别是紧急情况,如交通事故、火灾等,则通过以微红的颜色显示来促进用户的意识,以使用户注意经过。
在图25中所示的例子中,进一步使用气球显示由附图标记2501示出的陈述“交通事故已发生!”的消息,以向用户通知危险类别。就这一点而言,可以针对该消息使用容易理解的句子,以符合用户的属性信息,如用户的年龄、性别等(例如,如果用户是小孩儿或者低年级小学生,则避免中文字符,并且改为使用声音消息)。
此外,图26中所示的例子示出如下情况:如果在由附图标记2601所示的街角进行右转弯,则用户将发现由阻挡道路的物体2602示出的危险场所。与图24中所示的例子不同,在首先避免经过的危险场所的情况下,因为如果在街角2601进行右转弯,则对该用户危险的人(例如,可疑人、性骚扰者、极端分子或者罪犯)频繁出现等,所以显示物体2602,其用黑暗覆盖街角2601本身以不被看见。当然,可以以与图25中所示的情况相同的方式一起显示表示危险类别的消息。
此外,图27示出危险场所的显示应用于导航系统的例子。在图27中的例子中,用附图标记2701所示的虚线箭头示出原始引导,并且用附图标记2702所示的实线箭头示出用于避开危险场所的引导。为了不使用户混淆,可以省略原始引导2701的显示。此外,可以通过使用气球2703显示陈述为什么附图标记2701变得难以通过的消息给出原始引导。
从图24至图27可知,利用本说明书中公开的技术,可以适当地提供包括事故源和事件的危险场所的图像。
假定找到与信息显示装置130的用户所处的危险场所有关的多个图像。在图21或图22中所示的处理程序中,假定根据时间信息和用户个人属性以及行为属性进行过滤处理,并由此将图像缩减到预定数量的图像(图24至图27中示出将图像缩减到一个图像的例子)。然而,还假定在时间信息和用户属性信息相同的条件下找到多个图像,并因此难以通过过滤处理将图像缩减到预定数量的图像。在此情况下,为了进行搜索,可以设置多个搜索条件,并且可以将图像缩减到预定数量的图像。为了进行这种缩减处理,考虑以下三个方法(A)至(C)。
(A)信息管理中心120使用默认搜索条件缩减图像。
(B)使用信息显示装置130指定的搜索条件缩减图像。
(C)信息显示装置130从信息管理中心120获得必要信息,并且使用期望的搜索条件缩减图像。
在此,作为特定例子,对信息显示装置130的用户是年轻女人,并且某人(可疑人)正在追她的场景进行描述。她思索如何能够避免进入死胡同的危险,或者被另一个帮凶在两侧夹击的危险。在此情况下,需要以下两个信息(a)和(b)。
(a)最佳逃跑路线(周围1km内的危险区域地图(跑10分钟的距离)
(b)帮凶的面部
年轻女人是用户的情况下的图像搜索条件包括例如以下(1)至(4)。
(1)在该用户年龄的前后三岁以内的女人经历过的危险图像。
(2)过去的两周内当前时间的前后30分钟内获得的图像。
(3)包括女人以外的男人的图像
(4)周围1km内最危险的区域(跑10分钟的距离)(或者实际犯罪场所)
按照危险程度降序的顺序提取预定数量(例如,5个)的满足上述搜索条件(1)至(4)的图像,并且呈现给用户。此外,如果所提取的数量低于该预定数量,则信息管理中心120优选地放宽搜索条件(1)至(3)作为搜索条件(5),以调节到该预定数量(例如,将年龄宽度从三岁以内延长到五岁以内,将时间从距离当前时间的前后30分钟延长到前后一小时,将时间跨度从过去的两周延长到过去的一个月等)。
在采用上述方法(A)的情况下,其用户是年轻女人的信息显示装置130发送陈述她被追逐并且危险的请求,使得该信息被发送。信息管理中心120根据用户的属性信息,使用上述默认搜索条件(1)至(4),将图像缩减到预定数量的图像,并且将该预定数量的图像发送到信息显示装置130。此外,信息管理中心120根据需要进行条件放宽(5)。
此外,在采用上述方法(B)的情况下,当信息显示装置130请求发送危险信息时,信息显示装置130从由信息管理中心120提供的默认搜索条件当中指定期望的搜索条件。例如,如果搜索条件(1)至(3)被指定,则信息管理中心120以该条件搜索图像,并且将结果提供给信息显示装置130。作为选择,信息显示装置130可以自由指定搜索条件而不受默认搜索条件限制。例如,可以用(3)’包括两个以上的人(在帮凶是女性,并且钱和物品被强要的情况下)代替上述搜索条件(3),并且可以指定搜索条件(1)、(2)、(3)’、(4)和(5)。
此外,在采用上述方法(C)的情况下,信息显示装置130请求从信息管理中心120发送满足搜索条件(1)和(2)的图像,以使用全部搜索条件(1)至(5)进行图像搜索处理。然后,信息显示装置130对从信息管理中心120获得的图像进行搜索处理,以使用搜索条件(3)至(5)缩减图像。在信息显示装置130通过放宽搜索条件(3)至(5)再次进行搜索的情况下,即使不能与信息管理中心120通信,也可以进行搜索处理。此外,如果与信息管理中心120的通信线路窄,则具有信息显示装置130能够快速获得搜索结果的优点。
在上文中,参照特定实施例详细描述了本说明书中公开的技术。然而,在不偏离本说明书中公开的技术的精神和范围的情况下可以进行修改和替换,这对本领域的技术人员来说是显而易见的。
利用本说明书中公开的技术分发危险场所的图像,可以获得例如以下优点(1)至(3)。
(1)快速获取与事故的发生有关的信息
迄今为止,事故信息是通过交通信息服务广播的。此外,已经提出了在交通事故发生时通过多个视点收集图像的系统(例如,参见日本未审查的专利申请2012-98105号)。然而,从事故的发生到信息到达每个驾驶者存在延迟。此外,该信息被提供给的目标人局限于车辆驾驶者,并且行人等不能得到该信息。与之相比,利用本说明书中公开的技术,可以将不仅由车内照相机拍摄的而且还由包括行人和驾驶者的遇到事故或事件的各种人的视点拍摄的图像发送到正在接近该事故和事件的发生地点的行人和驾驶者。此外,可以将通知危险的信息,如事故的图像、事件等,在多功能信息终端上,如头戴式显示器、智能电话等,或者在挡风玻璃上的平视显示器上,实时地发送给那些人。因此,可以提高二次灾害和拥堵的防范效果。
(2)事故的防范
即使驾驶者实际上没有遇到事故,也存在具有导致事故的高风险的小事件操作,如突然转向、突然刹车等(或者事故发生的预测)。此外,存在尽管事故没有实际发生,或者行人没有受到伤害,但是小事件行为发生的情况,如行人被路上的障碍物或坑绊到等。利用本说明书中公开的技术,驾驶者或行人等佩戴的头戴式显示器可以基于生物信息,如脉搏、出汗等,自动检测小事件行为,并且将拍摄到的危险场所的图像发送到信息管理中心。从而可以实时地在用户之间共享小事件信息,以防止事故。
(3)危险地图的产生
利用本说明书中公开的技术,在数据库中管理从多个图像拍摄装置获得的危险场所的图像,并且因此可以产生包括交通事故的各种事故和事件(伤害、谋杀、偷窃、抢劫等)的危险地图,并且可以预先将该危险地图提供给行人和驾驶者,或者给出与实时旅行或行走地点有关的信息或引导。从而可以防止各种事故和事件的发生。此外,不仅可以产生并提供实际发生的事故和事件的危险地图,而且还可以产生并提供表示未遂事故或事件的潜在危险地图。例如,可以从每个驾驶者或行人佩戴的头戴式显示器收集可能发生事故的危险场所的信息,如车辆驾驶者或行人遇到小事件的场所。
利用本说明书中公开的技术,在信息管理中心中收集并且在图像数据库中管理所拍摄的危险场所的图像和伴随的信息。除了上述应用以外,该图像数据库还具有包括以下(1)至(4)的各种应用。
(1)从道路铺设者的立场,事故的原因分析和未来对策的制定。
(2)从国土交通部和警察的立场,指导道路交通法和强制方法的修改。
(3)从警察的立场,加速对罪犯的逮捕。
(4)从民事诉讼法和刑事诉讼法的立场,寻求提高事故后的赔偿和惩罚轻重等法律判决的准确度和速度。
此外,在上文中,主要描述了根据本说明书中公开的技术的信息分发系统分发与危险场所有关的信息的实施例。然而,可以想到,通过利用危险人物、危险动物等“危险事物”代替“危险场所”来操作该系统。这里提到的危险人物包括重要的危险人物,如通缉犯和逃犯,并且还包括制造麻烦的相对不重要的危险人物,如极端分子、走路的吸烟者等。危险动物包括咬人的宠物和高毒性的动物。另外,危险事物包括容易引起火灾、爆炸等的易燃材料。假定危险事物不同于危险场所,每次移动都改变位置信息。因此,信息管理中心可以基于对所拍摄的图像等的识别结果,将图像数据库与识别信息相关联地管理,代替周期性地更新危险事物的位置信息或者利用位置信息管理。
就这一点而言,提供危险场所的图像的图像拍摄装置基本上是作为头戴式显示器的由用户佩戴使用的信息装置。在使用头戴式显示器的情况下,可以使用透射类型和沉浸类型。
此外,其上显示从信息管理中心分发的所拍摄的危险场所等的图像的信息的信息显示装置基本上随用户移动,但是除了头戴式显示器以外,还可以是智能电话或者平视显示器。
简言之,已经通过举例说明的方式描述了本说明书中公开的技术。然而,不应当以限制性的方式理解本说明书中的描述。为了确定本说明书中公开的技术要点,应当考虑所附的权利要求书。
就这一点而言,可以按下述配置本说明书中公开的技术。
尽管在附图中示出并且/或者在本文中描述了本公开的若干个实施例,但是本公开不意图局限于此,本公开的范围应当像本领域所允许的那样宽,并且也应当以这种方式阅读本说明书。因此,以上描述不应理解为限制性的,而仅应当理解为对具体实施例的举例说明。在所附权利要求的范围和精神内,本领域的技术人员会想到的其他修改。
(1)一种图像拍摄装置,包括:
显示部,其装配到用户的头部或面部,并且配置为显示图像;
通信部,其配置为与外部装置通信;
图像拍摄部;
位置信息获取部,其配置为获取所述用户的当前位置信息;以及
控制部,其配置为根据对危险状态的判断,通过所述图像拍摄部拍摄危险场所的图像,并且将所拍摄的图像与由所述位置信息获取部获取的所述位置信息一起从所述通信部发送到所述外部装置。
(2)根据(1)的图像拍摄装置,还包括状态信息获取部,其配置为获取所述用户的状态信息,
其中所述控制部基于所述状态信息判断所述危险状态。
(3)根据(1)的图像拍摄装置,还包括环境信息获取部,其配置为获取环境信息,
其中所述控制部基于所述环境信息判断所述危险状态。
(4)根据(1)的图像拍摄装置,
其中所述控制部附带与图像拍摄时间有关的信息地发送所拍摄的图像。
(5)根据(1)的图像拍摄装置,
其中所述控制部附带所述用户的属性信息地发送所拍摄的图像。
(6)根据(2)的图像拍摄装置,
其中所述状态信息获取部获取所述用户的生物信息,并且
所述控制部可以基于所述生物信息自己判断危险状态,或者获取由记录大量数据的外部设备判断出的相关危险状态的判断结果。
(7)根据(6)的图像拍摄装置,
其中所述控制部基于所述用户的脉搏、出汗、肌电位和眼球运动中的至少一个生物信息判断所述危险状态。
(8)根据(6)的图像拍摄装置,
所述控制部进一步根据所述用户是否正在使用所述显示部观看内容来判断所述危险状态。
(9)根据(8)的图像拍摄装置,还包括环境信息获取部,配置为获取环境信息,
其中所述控制部根据所述环境信息判断所述危险状态。
(10)根据(3)或(9)的图像拍摄装置,
其中所述控制部基于作为所述环境信息的对环境噪声、风、大气(浓雾或烟、放射线或者大气中的有毒化学物质)、周围拍摄的图像的分析结果判断所述危险状态。
(11)根据(6)的图像拍摄装置,进一步包括视线获取部,其配置为获取所述用户的视线,
其中所述控制部基于所述视线落在预知危险的场所时所述用户的生物信息判断所述危险状态。
(12)根据(11)的图像拍摄装置,进一步包括环境信息获取部,其配置为获取环境信息,
其中所述控制部可以基于所述环境信息识别被预测为危险的场所。
(13)根据(1)的图像拍摄装置,进一步包括视线获取部,其配置为获取所述用户的视线,
其中当所述控制部判断所述危险状态时,所述控制部根据所述视线是否停留一定的时间段来通过所述图像拍摄部拍摄静止图像或者运动图像。
(14)根据(13)的图像拍摄装置,
其中所述控制部在拍摄所述运动图像期间根据所述视线的变化停止拍摄所述运动图像。
(15)根据(1)的图像拍摄装置,进一步包括视线获取部,其配置为获取所述用户的视线,
其中所述控制部根据所述视线落在所述危险场所来识别所述危险场所,开始拍摄运动图像,并且根据所述视线离开所述危险场所停止拍摄所述运动图像。
(16)根据(1)的图像拍摄装置,
其中所述控制部根据所述危险场所的重要程度或者所述危险场所的类型判断是否拍摄静止图像或者运动图像。
(17)一种获取信息的方法,包括:
基于用户的状态信息或者环境信息判断危险状态;
获取位置信息以获取所述用户的当前位置信息;
根据所述危险状态的判断通过图像拍摄部拍摄危险场所的图像;以及
将所拍摄的图像与通过所述获取位置信息而获取的所述位置信息一起从通信部发送到外部装置。
(18)一种信息分发系统,包括:
图像数据库,其配置为将危险场所的图像与位置信息一起管理;以及
信息提供部,其配置为从所述图像数据库取回与信息显示装置的当前位置相对应的危险场所的图像以提供该图像。
(19)根据(18)的信息分发系统,
其中从一个或多个图像拍摄装置收集的所述危险场所的图像在所述图像数据库中分别利用各个位置信息来管理。
(20)根据(19)的信息分发系统,
其中所述图像拍摄装置拍摄所述危险场所的图像时的时间信息在所述图像数据库中被组合管理,并且
所述信息提供部通过利用当前时间过滤从所述图像数据库取回与所述信息显示装置的当前位置相对应的所述危险场所的图像。
(21)根据(19)的信息分发系统,
进一步包括用户数据库,其配置为管理每个图像拍摄装置的用户的属性信息,
其中所述信息提供部通过利用提供目的地的信息显示装置的用户的属性信息过滤来从所述图像数据库取回与所述信息显示装置的当前位置相对应的危险场所的图像以提供该图像。
(22)根据(18)的信息分发系统,
其中所述信息提供部提供通过将存储在所述图像数据库中的每个危险场所映射到地图而产生的危险地图。
(23)根据(22)的信息分发系统,
其中所述信息提供部产生每个危险类别的危险地图。
(24)根据(22)的信息分发系统,
其中所述信息提供部产生每个用户属性的危险地图。
(25)根据(18)的信息分发系统,
其中当针对所述信息显示装置的当前位置取回多个图像时,所述信息提供部使用以下方法中的一个将这些图像缩减到预定数量的图像:
(A)使用默认搜索条件进行图像搜索;
(B)使用由信息显示装置指定的搜索条件进行图像搜索;以及
(C)将必要信息发送到信息显示装置,并且该信息显示装置使用期望的搜索条件进行图像搜索。

Claims (15)

1.一种图像拍摄装置,包括:
显示部,被附接到用户的头部或面部,并且配置为显示图像;
通信部,被配置为与外部装置通信;
图像拍摄部;
位置信息获取部,被配置为获取所述用户的当前位置信息;
状态信息获取部,被配置为获取所述用户的生物信息;以及
控制部,被配置为根据对危险状态的判定,通过所述图像拍摄部拍摄危险场所的图像,并且将所拍摄的图像与由所述位置信息获取部获取的所述位置信息一起从所述通信部发送到所述外部装置,
其中,所述控制部基于所述生物信息自己判定危险状态。
2.根据权利要求1所述的图像拍摄装置,还包括
被配置为获取环境信息的环境信息获取部,
其中,所述状态信息获取部还被配置为获取所述用户的状态信息,并且所述控制部还基于所述状态信息或者所述环境信息判定所述危险状态。
3.根据权利要求1所述的图像拍摄装置,
其中所述控制部至少附带与图像拍摄时间有关的信息或者所述用户的属性信息地发送所拍摄的图像。
4.根据权利要求2所述的图像拍摄装置,
所述控制部获取由记录大量数据的外部设备判定的相对危险状态的判定结果。
5.根据权利要求4所述的图像拍摄装置,
其中所述控制部基于所述用户的脉搏、出汗、肌电位以及眼球运动中的至少任何一个生物信息判定所述危险状态。
6.根据权利要求4所述的图像拍摄装置,
其中所述控制部进一步在考虑所述用户是否正在使用所述显示部观看内容的情况下来判定所述危险状态。
7.根据权利要求2所述的图像拍摄装置,
其中所述控制部基于作为所述环境信息的对环境噪声、风、大气、拍摄的周围图像的分析结果来判定所述危险状态。
8.根据权利要求4所述的图像拍摄装置,进一步包括视线获取部,所述视线获取部被配置为获取所述用户的视线,
其中所述控制部基于所述视线落在被预测为危险的场所上时所述用户的生物信息来判定所述危险状态。
9.根据权利要求8所述的图像拍摄装置,
其中所述控制部基于所述环境信息识别被预测为危险的场所。
10.根据权利要求1所述的图像拍摄装置,进一步包括视线获取部,所述视线获取部被配置为获取所述用户的视线,
其中当所述控制部判定所述危险状态时,所述控制部根据所述视线是否停留一定的时间段来通过所述图像拍摄部拍摄静止图像或者运动图像。
11.根据权利要求10所述的图像拍摄装置,
其中所述控制部在拍摄所述运动图像时根据所述视线的变化停止拍摄图像。
12.根据权利要求1所述的图像拍摄装置,进一步包括视线获取部,所述视线获取部被配置为获取所述用户的视线,
其中所述控制部识别危险场所,根据所述视线落在危险场所上来开始拍摄运动图像,并且根据所述视线离开危险场所停止拍摄所述运动图像。
13.根据权利要求1所述的图像拍摄装置,
其中所述控制部根据危险场所的重要程度或者危险场所的类型判定是否拍摄静止图像或者运动图像。
14.根据权利要求7所述的图像拍摄装置,其中,所述大气包含浓雾或烟、放射线或者大气中的有毒化学物质。
15.一种获取信息的方法,包括:
获取用户的生物信息;
基于所获取的生物信息判定危险状态;
获取位置信息以获取用户的当前位置信息;
根据所述危险状态的判定通过图像拍摄部拍摄危险场所的图像;以及
将所拍摄的图像与通过获取位置信息而获取的所述位置信息一起从通信部发送到外部装置。
CN201410400924.0A 2013-08-23 2014-08-15 图像拍摄装置、图像拍摄方法及信息分发系统 Expired - Fee Related CN104427327B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013173398A JP2015041969A (ja) 2013-08-23 2013-08-23 画像取得装置及び画像取得方法、並びに情報配信システム。
JP2013-173398 2013-08-23

Publications (2)

Publication Number Publication Date
CN104427327A CN104427327A (zh) 2015-03-18
CN104427327B true CN104427327B (zh) 2017-11-14

Family

ID=52479883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410400924.0A Expired - Fee Related CN104427327B (zh) 2013-08-23 2014-08-15 图像拍摄装置、图像拍摄方法及信息分发系统

Country Status (3)

Country Link
US (2) US9535248B2 (zh)
JP (1) JP2015041969A (zh)
CN (1) CN104427327B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3189370A1 (en) * 2014-09-01 2017-07-12 Eyra Ltd Process and wearable device equipped with stereoscopic vision for helping the user
CN105632049B (zh) * 2014-11-06 2019-06-14 北京三星通信技术研究有限公司 一种基于可穿戴设备的预警方法和装置
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP6582403B2 (ja) 2014-12-10 2019-10-02 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US9661283B2 (en) 2014-12-24 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
JP5861074B1 (ja) * 2014-12-24 2016-02-16 パナソニックIpマネジメント株式会社 ウェアラブルカメラ
JP5861073B1 (ja) * 2014-12-24 2016-02-16 パナソニックIpマネジメント株式会社 ウェアラブルカメラ
US10105573B2 (en) * 2015-06-30 2018-10-23 Lg Electronics Inc. Watch-type mobile terminal and method for controlling same
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
US9605970B1 (en) * 2015-09-03 2017-03-28 Harman International Industries, Incorporated Methods and systems for driver assistance
WO2017049485A1 (zh) * 2015-09-23 2017-03-30 深圳还是威健康科技有限公司 一种信息处理方法以及智能手环
JP6501692B2 (ja) * 2015-10-27 2019-04-17 東京エレクトロン株式会社 注意喚起情報提供システム
JP2017126892A (ja) * 2016-01-14 2017-07-20 株式会社ニコン 電子機器
CN106974646A (zh) * 2016-01-22 2017-07-25 周常安 穿戴式生理监测装置
CN106373395A (zh) * 2016-09-20 2017-02-01 三星电子(中国)研发中心 行车事故的监控方法和装置
CN107861611A (zh) * 2016-09-22 2018-03-30 天津康途科技有限公司 一种基于增强现实技术的电梯维保系统
CN108024050A (zh) * 2016-10-28 2018-05-11 中兴通讯股份有限公司 一种拍摄提示方法及装置
CN107049241B (zh) * 2017-01-22 2023-06-06 北京方可体健康科技有限公司 一种功能检测评估仪
US10609902B2 (en) 2017-07-27 2020-04-07 Command Sight, Inc. Animal wearable head mountable display system
US10630873B2 (en) 2017-07-27 2020-04-21 Command Sight, Inc. Animal-wearable first person view system
CN107732876B (zh) * 2017-10-19 2019-03-15 中领世能(天津)科技有限公司 信号分辨处理单元及分辨处理信号的方法
JP2019086904A (ja) * 2017-11-02 2019-06-06 大日本印刷株式会社 画像管理サーバ及び画像管理方法
US10600234B2 (en) 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
US10417911B2 (en) * 2017-12-18 2019-09-17 Ford Global Technologies, Llc Inter-vehicle cooperation for physical exterior damage detection
TWI662438B (zh) * 2017-12-27 2019-06-11 緯創資通股份有限公司 防止危險自拍之方法、裝置、及儲存媒體
CN108169761B (zh) * 2018-01-18 2024-08-06 上海瀚莅电子科技有限公司 火场任务确定方法、装置、系统及计算机可读存储介质
US10745005B2 (en) 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
WO2019159267A1 (ja) * 2018-02-15 2019-08-22 三菱電機株式会社 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム
JP2019159714A (ja) * 2018-03-12 2019-09-19 公立大学法人岩手県立大学 情報収集システム、情報収集方法、プログラム
JP6810429B2 (ja) * 2018-03-27 2021-01-06 Necプラットフォームズ株式会社 監視システム及び監視方法
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
JP7255608B2 (ja) * 2018-11-23 2023-04-11 日本精機株式会社 表示制御装置、方法、及びコンピュータ・プログラム
JP7119985B2 (ja) * 2018-12-21 2022-08-17 トヨタ自動車株式会社 地図生成装置、地図生成システム、地図生成方法、及び地図生成プログラム
US11351917B2 (en) 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
EP3937506A4 (en) * 2019-03-04 2023-03-08 Maxell, Ltd. HEAD MOUNTED INFORMATION PROCESSING DEVICE
JP7297300B2 (ja) * 2019-08-06 2023-06-26 株式会社Agama-X 情報処理装置及びプログラム
CN110674650A (zh) * 2019-08-26 2020-01-10 深圳市有方科技股份有限公司 一种多路扫描设备及应用该设备的方法
US10959056B1 (en) * 2019-11-26 2021-03-23 Saudi Arabian Oil Company Monitoring system for site safety and tracking
KR20210158144A (ko) * 2020-06-23 2021-12-30 엘지디스플레이 주식회사 게이트 드라이버, 데이터 드라이버 및 이를 이용한 표시장치
CN112241696A (zh) * 2020-09-28 2021-01-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113095236A (zh) * 2021-04-15 2021-07-09 国家电网有限公司 一种基于智能眼镜的危险行为识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645452B2 (ja) * 2006-01-10 2011-03-09 株式会社デンソー 車両用表示装置
KR20110079782A (ko) * 2007-07-31 2011-07-07 산요덴키가부시키가이샤 내비게이션 장치 및 화상 관리 방법
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
JP2012098105A (ja) 2010-11-01 2012-05-24 Clarion Co Ltd 事故発生場所周辺の映像収集システム

Also Published As

Publication number Publication date
US20170085773A1 (en) 2017-03-23
US20150054716A1 (en) 2015-02-26
JP2015041969A (ja) 2015-03-02
US10070034B2 (en) 2018-09-04
US9535248B2 (en) 2017-01-03
CN104427327A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
CN104427327B (zh) 图像拍摄装置、图像拍摄方法及信息分发系统
US10977917B2 (en) Surveillance camera system and surveillance method
CN109712387B (zh) 网约车、出租车的乘客和司机的安全保护系统
US9913121B2 (en) Systems, devices and methods to communicate public safety information
JP7258596B2 (ja) 捜査支援システムおよび捜査支援方法
US20150054639A1 (en) Method and apparatus for detecting mobile phone usage
AU2017382703B2 (en) Method and apparatus for dynamic geofence searching of an incident scene
WO2019152471A2 (en) Enhanced vehicle sharing system
US20160140404A1 (en) Method and apparatus for automatically detecting use of a mobile phone
US20170126907A1 (en) Information processing device, photographing device, image sharing system, method of information processing, and program
WO2023051322A1 (zh) 出行管理方法、相关装置及系统
CN107429901A (zh) 个人安全装置、方法和物品
CN112543954A (zh) 信息处理装置、终端装置、信息处理方法和信息处理程序
CN102460463A (zh) 个人安全系统、方法和装置
KR102344435B1 (ko) 인공 지능을 이용한 관제 서비스 시스템
Scharf Game of drones: rolling the dice with unmanned aerial vehicles and privacy
US20200152039A1 (en) Image management device, computer-readable storage medium, image management method, and article
Pavletic The Fourth Amendment in the age of persistent aerial surveillance
TWI773141B (zh) 危險預知應對裝置及系統
CN115427910A (zh) 机器人的控制方法、机器人以及程序
JP5909984B2 (ja) マップ作成システムおよびマップ作成装置
JP6398919B2 (ja) 違反抑止装置およびこれを備えた違反抑止システム
Gerasimova USE OF SCIENTIFIC AND TECHNICAL ACHIEVEMENTS TO FIGHT CRIME
Velidedeoğlu Enhanced navigational user interface experience in motorcycle helmet design
CN111935245A (zh) 一种基于交友云平台的智能移动防护方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171114

CF01 Termination of patent right due to non-payment of annual fee