CN106488181A - 显示控制装置以及显示控制方法 - Google Patents

显示控制装置以及显示控制方法 Download PDF

Info

Publication number
CN106488181A
CN106488181A CN201610554780.3A CN201610554780A CN106488181A CN 106488181 A CN106488181 A CN 106488181A CN 201610554780 A CN201610554780 A CN 201610554780A CN 106488181 A CN106488181 A CN 106488181A
Authority
CN
China
Prior art keywords
image
display
display control
photographed images
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610554780.3A
Other languages
English (en)
Other versions
CN106488181B (zh
Inventor
浦夫
浦一夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN106488181A publication Critical patent/CN106488181A/zh
Application granted granted Critical
Publication of CN106488181B publication Critical patent/CN106488181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

本发明的课题是能迅速应对异常。显示控制装置(1)具备:摄像部(16a~16d)、输出部(18)、动作检测部(52)、状况检测部(53)、显示图像生成部(54)和显示控制部55。摄像部(16a~16d)的拍摄方向都不同。佩戴着显示控制装置(1)的人物能够视觉辨认输出部(18)。动作检测部(52)或状况检测部(53)检测该人物的动作、或多个摄像图像内的被摄体像的移动状况。显示图像生成部(54)以及显示控制部(55)根据检测到的人物的动作、或被摄体像的移动状况,进行如下控制,将多个摄像图像之中的任一个切换显示于输出部(18)。

Description

显示控制装置以及显示控制方法
本申请主张以2015年8月31日申请的日本国专利申请特愿2015-170802为基础的优先权,将该基础申请的内容全部援引到本申请中。
技术领域
本发明涉及显示控制装置以及显示控制方法。
背景技术
在现有技术中,被限定于重要设施等中设置的监控摄像机一般设定在人通行的车站、大街等更广的范围内。监控摄像机的数目越多,则监控范围越广,但是相应地,监控人员的负担也会增加。已知在多个监控摄像机中切换到监控时检测到可疑者的摄像机的影像来进行显示的技术,并且如特开2011-145730号公报那样,还公开了切换成可疑者的移动方向的监控摄像机的显示的技术。
但是,在进行监控的监控人员直接去现场的情况下,或是监控人员与其他警卫员联络而让其去现场的情况下,都存在无法避免时间延迟的问题。
本申请发明的课题在于能够迅速地应对异常。
发明内容
本发明提供一种显示控制装置,具备:显示部,显示方向与人物的动作联动地在该人物所能视觉辨认的方向上发生变化;以及处理部,取得拍摄方向与人物的动作联动地变化且拍摄方向不同的多个摄像图像,检测人物的动作、或取得的多个摄像图像内的被摄体像的移动状况,根据检测到的人物的动作、或被摄体像的移动状况,进行如下控制,即,将所取得的多个摄像图像之中的任一个以切换显示于所述显示部的方式进行输出。
本发明提供一种显示控制方法,包括:取得处理,取得拍摄方向与人物的动作联动地发生变化且拍摄方向不同的多个摄像图像;检测处理,检测人物的动作、或通过所述取得处理取得的多个摄像图像内的被摄体像的移动状况;以及显示控制处理,根据通过所述检测处理检测的人物的动作、或被摄体像的移动状况,进行如下控制,即,将通过所述取得处理取得的多个摄像图像之中的任一个以切换显示于显示部的方式进行输出,其中,该显示部的显示方向与所述人物的动作联动地在该人物所能视觉辨认的方向上发生变化。
本发明的上述目的和新颖性特征将在结合附图来说明的以下具体描述中变得更加清楚。但是,应当理解,附图仅是例示,并不用来限定本发明。
附图说明
结合以下附图考虑以下的详细记述会得到本申请的更深入理解。
图1A是表示本发明的一实施方式涉及的显示控制装置的外观结构的示意图之中的俯视图。图1B是上述外观结构的示意图之中的右侧视图。图1C是上述外观结构的示意图之中的主视图。
图2是表示本发明的一实施方式涉及的显示控制装置的硬件结构的框图。
图3是表示图1A~图1C的显示控制装置的功能结构之中用于执行图像显示处理的功能结构的功能框图。
图4是表示由各摄像部输出的摄像图像的视角的示意图。
图5是表示由图像加工部生成的显示图像的一例的示意图。
图6是表示输入了特定状况通知信号时的显示图像的一例的示意图。
图7是表示输入了表示后方图像的特定状况通知信号时的显示图像的一例的示意图。
图8是说明具有图3的功能结构的图1A~图1C的显示控制装置所执行的图像显示处理的流程的流程图。
图9是表示由图像加工部生成的显示图像的一例的示意图。
图10是表示输入了表示前方图像的特定状况通知信号时的显示图像的一例的示意图。
图11是表示输入了表示后方图像的特定状况通知信号时的显示图像的一例的示意图。
图12是表示输入了表示右侧方图像的特定状况通知信号且检测到特定状况的被摄体从前方向后方移动时的显示图像的一例的示意图。
图13是表示输入了表示左侧方图像的特定状况通知信号且检测到特定状况的被摄体从前方向后方移动时的显示图像的一例的示意图。
图14是表示输入了表示右侧方图像的特定状况通知信号且检测到特定状况的被摄体从后方向前方移动时的显示图像的一例的示意图。
图15是表示输入了表示左侧方图像的特定状况通知信号且检测到特定状况的被摄体从后方向前方移动时的显示图像的一例的示意图。
图16是表示将显示在主显示区域内的方向进行固定的状态的示意图。
图17是表示摄像图像的方向与显示图像的方向之间的关系的一例的示意图。
具体实施方式
以下,使用附图,说明本发明的实施方式。
[第1实施方式]
[结构]
图1A是表示本发明的一实施方式涉及的显示控制装置1的外观结构的示意图之中的俯视图,图1B是该外观结构的示意图之中的右侧视图,图1C是该外观结构的示意图之中的主视图。
显示控制装置1例如是头戴式显示器。
在本实施方式中,显示控制装置1是光学透过头戴式显示器(光学透明式),使用将液晶显示的图像投影到由半反射镜构成的显示区域的小型投影仪方式。这种方式的显示控制装置1其显示区域由半反射镜构成,所以在未将图像投影到显示区域的状态下,用户能够直接对外界的景色进行视觉辨认。
如图1A~图1C所示,显示控制装置1具有如下外观:在头盔型的主体1A中,具备以规定的帧周期对前方、后方、左侧方以及右侧方进行拍摄的摄像部16a~16d、和覆盖佩戴者的单眼(这里是右眼)的显示器18a。
摄像部16a~16d由对佩戴者周边的景色进行拍摄的摄像机构成,以佩戴者的头部朝向为基准,摄像部16a对前方进行拍摄,摄像部16b对后方进行拍摄,摄像部16c对左侧方进行拍摄,摄像部16d对右侧方进行拍摄。将摄像部16a~16d拍摄的图像拍摄成实时的动态图像作为佩戴者周边的景色,或者将特定的瞬间拍摄成静止图像。
显示器18a具备半反射镜,从后述的输出部18的液晶显示元件投影的图像被半反射镜反射,被佩戴者视觉辨认。另一方面,在从液晶显示元件输出的图像未被投影到显示器18a的半反射镜的情况下,透过了显示器18a的外光被佩戴者视觉辨认。
另外,显示控制装置1也可以相对于具备主体1A以及摄像部16a~16d的头盔型的组件,单独构成包含显示器18a的眼镜型的组件,通过有线或者无线通信来连接这些组件。
[硬件结构]
图2是表示本发明的一实施方式涉及的显示控制装置1的硬件的结构的框图。
显示控制装置1具备:CPU(Central Processing Unit)11;ROM(Read OnlyMemory)12;RAM(Random Access Memory)13;总线14;输入输出接口15;摄像部16a~16d;输入部17;输出部18;传感器部19;存储部20;通信部21;以及驱动器22。
显示控制装置1中的这些硬件可在主体1A中具备,也可在构成包含显示器18a的眼镜型的组件时的模板的部分中具备。
CPU11根据ROM12中记录的程序或者从存储部20加载到RAM13的程序,执行各种处理。
在RAM13中也适当存储CPU11执行各种处理时所需的数据等。
CPU11、ROM12以及RAM13经由总线14而被相互连接。在该总线14上还连接输入输出接口15。在输入输出接口15上连接摄像部16、输入部17、输出部18、传感器部19、存储部20、通信部21以及驱动器22。
虽然未图示,但是摄像部16a~16d具备光学透镜部和图像传感器。
光学透镜部为了对被摄体进行拍摄,由聚焦光的透镜例如聚焦透镜、变焦透镜等构成。
聚焦透镜是在图像传感器的受光面上使被摄体像成像的透镜。变焦透镜是使焦点距离在一定的范围内自由变化的透镜。
在光学透镜部,还根据需要而设置用于调整焦点、曝光、白平衡等设定参数的外围电路。
图像传感器由光电变换元件、AFE(Analog Front End)等构成。
光电变换元件例如由CMOS(Complementary Metal Oxide Semiconductor)型的光电变换元件等构成。被摄体像从光学透镜部入射到光电变换元件中。因此,光电变换元件对被摄体像进行光电变换(摄像)后蓄积一定时间的图像信号,将蓄积的图像信号作为模拟信号来依次提供给AFE。
AFE对该模拟图像信号执行A/D(Analog/Digital)变换处理等各种信号处理。通过各种信号处理,生成数字信号,并作为摄像部16a~16d的输出信号将其输出。
以下,将这样的摄像部16a~16d的输出信号称为“摄像图像”。向CPU11、未图示的图像处理部等适当提供摄像图像的数据。
输入部17由各种按钮等构成,根据用户的指示操作来输入各种信息。另外,除了在显示控制装置1中直接具备输入部17的情况以外,也可以构成为从智能手机等电子设备对显示控制装置1进行遥控,在电子设备侧具备输入部17的功能。
输出部18具备显示器18a,如上所述,构成为:将从未图示的液晶显示元件输出的图像投影到显示器18a的半反射镜,使佩戴者视觉辨认由半反射镜反射的图像。另外,输出部18也可以具备扬声器来输出声音。
传感器部19具备陀螺仪传感器和加速度传感器,检测佩戴者的动作(具体来说是头朝向的变化、移动)。另外,传感器部19也可以具备GPS等位置传感器、测定周边环境的传感器(温度传感器、气压传感器等),对佩戴者的当前位置或者周边环境进行检测。
存储部20由硬盘或者闪存等构成,存储CPU11执行的程序、各种图像的数据。
通信部21经由包括互联网在内的网络,对与其他装置(未图示)之间进行的通信进行控制。
在驱动器22中适当安装包括磁盘、光盘、光磁盘或者半导体存储器等的可移动介质31。驱动器22从可移动介质31读出的程序根据需要而被安装到存储部20。此外,可移动介质31还能够与存储部20同样地存储存储部20所存储的图像的数据等各种数据。
[功能结构]
图3是表示这样的显示控制装置1的功能结构之中用于执行图像显示处理的功能结构的功能框图。
所谓图像显示处理是指,将摄像部16a~16d拍摄到的佩戴者的前方、后方、左侧方以及右侧方的图像加工成佩戴者容易掌握周边状况的方式并进行显示的一系列处理。
在执行图像显示处理的情况下,如图3所示,在CPU11中,图像取得部51、动作检测部52、状况检测部53、显示图像生成部54、显示控制部55起作用。
此外,在存储部20的一个区域内设定图像存储部71。
在图像存储部71中存储由状况检测部53检测到异常时的图像(静止图像或者动态图像)的数据等根据预先设定的条件选出的图像、摄像部16a~16d输出的规定时间量(例如5秒)的摄像图像。
图像取得部51分别取得由摄像部16a~16d输出的摄像图像,并存储到图像存储部71中。此时,图像取得部51将从摄像部16a输出的摄像图像作为以佩戴者的头部朝向为基准时对前方进行拍摄而得到的前方图像来取得,将从摄像部16b输出的摄像图像作为以佩戴者的头部朝向为基准时对后方进行拍摄而得到的后方图像来取得。同样地,图像取得部51将从摄像部16c输出的摄像图像作为以佩戴者的头部朝向为基准时对左侧方进行拍摄而得到的左侧方图像来取得,将从摄像部16d输出的摄像图像作为以佩戴者的头部朝向为基准时对右侧方进行拍摄而得到的右侧方图像来取得。
图4是表示各摄像部输出的摄像图像的视角的示意图。
如图4所示,摄像部16a~16d拍摄到的前方图像、后方图像、左侧方图像以及右侧方图像的视角被设定成覆盖佩戴者的整个周围。
由此,佩戴者周围的物体会被摄像部16a~16d当中的至少一个拍到。
动作检测部52取得从传感器部19输出的传感器输出,基于所取得的传感器输出,检测佩戴者的动作。具体来说,动作检测部52基于陀螺仪传感器的输出,检测佩戴者的头部朝向的变化,并且基于加速度传感器的输出,检测佩戴者的动作。然后,动作检测部52判定佩戴者是否进行了快速剧烈的动作(即,传感器输出的变化是否在阈值以上),在判定为佩戴者进行了快速剧烈的动作的情况下,向显示图像生成部54输出“佩戴者的朝向变化是暂时的”这一意思的信号(以下,称为“暂时变化通知信号”)。另外,动作检测部52在判定为不是佩戴者进行快速剧烈的动作的状态的情况下,向显示图像生成部54输出用于解除暂时变化通知信号的解除信号。
状况检测部53检测摄像部16a~16d输出的摄像图像的被摄体中的特定状况。具体来说,状况检测部53在摄像部16a~16d输出的各个摄像图像中,检测推定为属于危险的人物(以下,称为“危险人物”)或者物体(以下,称为“危险物体”)的存在以及移动。例如,状况检测部53检测被登记为危险人物的人物、或者未被登记为可信赖人物的人物靠近佩戴者的状况、或者快速移动的汽车作为危险物体而靠近佩戴者的状况。然后,状况检测部53在检测到被摄体中的特定状况的情况下,向显示图像生成部54输出表示检测到被摄体中的特定状况的摄像图像的信号(以下,称为“特定状况通知信号”)。
显示图像生成部54基于存储在图像存储部71中的摄像部16a~16d输出的摄像图像,生成投影到显示器18a的显示图像。具体来说,显示图像生成部54在中央的主显示区域配置前方图像,在主显示区域的下部配置沿着横向排列了前方图像、后方图像、左侧方图像以及右侧方图像的所有周围图像显示区域,由此生成显示图像。在本实施方式中,显示图像生成部54合成前方图像、后方图像、左侧方图像以及右侧方图像来生成配置了360度全景图像的显示图像,作为所有周围图像显示区域。此外,显示图像生成部54为了识别出正在主显示区域中显示着摄像图像这一情况,将所有周围图像显示区域(全景图像)之中与显示在主显示区域的摄像图像对应的部分设为空白。
图5是表示由显示图像生成部54生成的显示图像的一例的示意图。
在图5所示的例子中,在显示器18a的半反射镜的区域,配置显示前方图像的主显示区域,并在主显示区域的下部配置所有周围图像显示区域。此外,主显示区域被表示通常的显示状态的颜色(这里是蓝色)的框包围。另外,主显示区域以及所有周围图像显示区域的周围表示外光透过而视觉辨认出的风景(裸眼能看到的风景)。
此外,显示图像生成部54在从动作检测部52输入了暂时变化通知信号的情况下,保持主显示区域以及所有周围图像显示区域的图像,设为暂时停止的状态。并且,显示图像生成部54在从动作检测部52输入了用于解除暂时变化通知信号的解除信号的情况下,结束保持了主显示区域以及所有周围图像显示区域的图像的状态,如通常那样,设为在主显示区域显示着前方图像的状态。
由此,能够防止佩戴者左右回头看周围等进行了快速剧烈的动作的情况下,主显示区域以及所有周围图像显示区域的图像被频繁切换,使得视觉辨认性降低。
此外,显示图像生成部54在从状况检测部53输入了特定状况通知信号的情况下,在所有周围图像显示区域内,生成将检测到被摄体中的特定状况的摄像图像配置在主显示区域内的显示图像。此时,显示图像生成部54为了识别出正在主显示区域显示着摄像图像这一情况,将所有周围图像显示区域之中与显示在主显示区域内的摄像图像对应的部分设为空白。其中,在该情况下,显示图像生成部54为了表示是与特定状况通知信号的输入对应地显示在主显示区域内的摄像图像这一情况,用红色的框包围主显示区域,用红色来显示设置成所有周围图像显示区域的空白的部分等,识别为通常的显示状态来生成显示图像。
图6是表示输入了特定状况通知信号时的显示图像的一例的示意图。
在图6所示的例子中,在右侧方图像中检测到被摄体中的特定状况(作为危险物体的汽车),将右侧方图像显示于主显示区域,用红色的框进行包围,并且所有周围图像显示区域内的右侧方图像的部分变成空白,用红色进行显示。另外,在左侧方图像中检测到被摄体中的特定状况的情况下,也进行同样的处理。
此外,显示图像生成部54在输入了表示检测到被摄体中的特定状况的摄像图像是后方图像这一情况的特定状况通知信号的情况下,生成如下的显示图像:将后方图像以左右反转的状态配置在主显示区域内,用红色的框来包围左右反转的后方图像,并且将所有周围图像显示区域内的后方图像的部分设为空白,用红色进行显示。
图7是表示输入了表示后方图像的特定状况通知信号时的显示图像的一例的示意图。
在图7所示的例子中,在后方图像中检测到被摄体中的特定状况(危险人物),将后方图像以左右反转的状态显示在主显示区域,用红色的框进行包围,并且将所有周围图像显示区域中的后方图像的部分设为空白,用红色进行显示。
这样,通过使后方图像左右反转后显示于主显示区域,从而即使是后方,佩戴者也能够直观地掌握应注意左右中的哪一方。
显示控制部55从输出部18的液晶显示元件投影显示图像生成部54所生成的显示图像,将显示图像显示到显示器18a的半反射镜。
[动作]
接着,说明动作。
图8是说明具有图3的功能结构的图1A~图1C的显示控制装置1所执行的图像显示处理的流程的流程图。
图像显示处理通过用户对输入部17的图像显示处理开始的操作而开始,以后,每当摄像部16a~16d以规定的帧周期进行拍摄时重复执行图像显示处理。
在步骤S1中,以开始了图像显示处理的时间点的朝向为基准,图像取得部51分别取得由摄像部16a~16d输出的摄像图像。
在步骤S2中,动作检测部52取得从传感器部19输出的传感器输出,基于所取得的传感器输出,检测佩戴者的动作。
在步骤S3中,动作检测部52进行传感器输出的变化是否在阈值以上的判定。另外,图像显示处理开始时判定为“否”。
当传感器输出的变化在阈值以上时,在步骤S3中判定为“是”,处理转移到步骤S4。
另一方面,当传感器输出的变化不在阈值以上时,在步骤S3中判定为“否”,处理转移到步骤S5。
在步骤S4中,显示图像生成部54根据从动作检测部52输入的暂时变化通知信号,保持显示图像(主显示区域以及所有周围图像显示区域的图像),设为暂时停止的状态。在步骤S4之后,处理转移到步骤S2。
在步骤S5中,状况检测部53分析摄像部16a~16d输出的摄像图像中的被摄体。
在步骤S6中,状况检测部53检测摄像部16a~16d输出的摄像图像的被摄体中的特定状况。例如,状况检测部53检测被登记成危险人物的人物、或者未被登记成可信赖人物的人物正在靠近佩戴者的状况、或者快速移动的汽车作为危险物体正在靠近佩戴者的状况。
在未检测到摄像部16a~16d输出的摄像图像的被摄体中的特定状况的情况下,在步骤S6中判定为“否”,处理转移到步骤S7。
另一方面,在检测到摄像部16a~16d输出的摄像图像的被摄体中的特定状况的情况下,在步骤S6中判定为“是”,状况检测部53向显示图像生成部54通知特定状况通知信号,处理转移到步骤S9。
在步骤S7中,显示图像生成部54对摄像部16a~16d输出的摄像图像进行加工,生成在主显示区域显示从摄像部16a输出的前方图像且将所有周围图像显示区域之中显示于主显示区域的前方图像的部分设为空白的通常的显示图像(参照图5)。
在步骤S8中,通过显示控制部55,在显示器18a上显示由显示图像生成部54生成的通常的显示图像。
在步骤S9中,显示图像生成部54接受来自状况检测部53的特定状况通知信号的通知,转移到检测出特定状况时的画面显示(异常画面显示)。
在步骤S10中,显示图像生成部54判定检测到特定状况的摄像图像是否为后方图像。
在检测到特定状况的摄像图像是后方图像的情况下,在步骤S10中判定为“是”,处理转移到步骤S11。
另一方面,在检测到特定状况的摄像图像不是后方图像的情况下,在步骤S10中判定为“否”,处理转移到步骤S12。
在步骤S11中,显示图像生成部54生成将后方图像左右反转了的主显示区域的图像。
在步骤S12中,显示图像生成部54生成将检测到被摄体中的特定状况的摄像图像配置于主显示区域的显示图像。此时,显示图像生成部54生成如下的显示图像:用红色的框来包围主显示区域,用红色显示所有周围图像显示区域之中朝向与主显示区域所显示的摄像图像相同的部分。
在步骤S13中,通过显示控制部55,将显示图像生成部54生成的异常画面的显示图像替换成通常的显示图像并显示到显示器18a上。
此外,相应地在图像存储部71中存储状况检测部53检测到异常时的图像(静止图像或者动态图像)。
在步骤S8以及步骤S13之后,重复进行图像显示处理。
通过这样的处理,在主显示区域显示佩戴者的所有周围的前方的图像,在所有周围图像显示区域显示其他方向的图像。此时,为了识别出正在主显示区域显示着摄像图像这一情况,将所有周围图像显示区域之中与显示于主显示区域的摄像图像对应的部分设为空白。
因此,能够以容易理解的方式显示佩戴者的所有周围的情形。
此外,在检测到特定状况的情况下,在主显示区域显示检测到特定状况的方向的图像。此时,为了表示检测到了特定状况,用红色的框来包围主显示区域,用红色来显示作为所有周围图像显示区域的空白的部分。
因此,能够以容易理解的方式来显示发生了特定状况的方向以及特定状况的情形。
此外,在佩戴者进行了快速剧烈的动作的情况下,保持主显示区域以及所有周围图像显示区域的图像,设为暂时停止的状态。
因此,能够防止佩戴者进行了快速剧烈的动作时频繁地切换主显示区域以及所有周围图像显示区域的图像,使得视觉辨认性降低。
这样,根据本实施方式涉及的显示控制装置1,能够迅速地应对异常。
此外,通过可移动的人物具备摄像部,用于监控的摄像部的设置的自由度得到提高,并且能够应对人物可移动带来的影响。
[第2实施方式]
接着,说明本发明的第2实施方式。
本实施方式的显示控制装置1具备与第1实施方式的显示控制装置1相同的结构,但在显示图像生成部54中生成的显示图像的方式不同。
因此,说明与第1实施方式不同的部分,即显示图像生成部54的结构。
显示图像生成部54基于存储在图像存储部17中的由摄像部16a~16d输出的摄像图像,生成投影到显示器18a的显示图像。具体来说,显示图像生成部54在中央的主显示区域显示大尺寸的前方图像、后方图像、左侧方图像、或者右侧方图像当中的任一个的同时,在主显示区域的上部配置小尺寸的前方图像,在主显示区域的下部配置将上下及左右反转了的(180度旋转)小尺寸的后方图像,在主显示区域的左侧部配置向左旋转了90度的小尺寸的左侧方图像,在主显示区域的右侧部配置右旋转了90度的小尺寸的右侧方图像,从而生成显示图像。另外,以下,将显示于主显示区域的周缘的小尺寸的摄像图像适当地总称为“周缘图像”。
图9是表示显示图像生成部54生成的显示图像的一例的示意图。
在图9所示的例子中,在显示器18a的半反射镜的区域,显示有对前方图像进行显示的主显示区域,在主显示区域的上部配置有小尺寸的前方图像,在主显示区域的下部配置有将上下以及左右反转了的小尺寸的后方图像,在主显示区域的左侧部配置有左旋转了90度的小尺寸的左侧方图像,在主显示区域的右侧部配置有右旋转了90度的小尺寸的右侧方图像。此外,周缘图像之中配置于主显示区域的摄像图像被表示已配置在主显示区域这一情况的框(这里是蓝色的框)包围。另外,主显示区域的周围表示外光透过而被视觉辨认的风景(裸眼所能看到风景)。
此外,显示图像生成部54在从动作检测部52输入了暂时变化通知信号的情况下,保持主显示区域的图像以及周缘图像,设为暂时停止的状态。并且,显示图像生成部54在从动作检测部52输入了用于解除暂时变化通知信号的解除信号的情况下,结束保持主显示区域的图像以及周缘图像的状态,如通常那样,设为在主显示区域显示前方图像的状态。
由此,能够防止佩戴者左右回头看周围等进行了快速剧烈的动作的情况下,频繁地切换主显示区域的图像以及周缘图像,使得视觉辨认性降低。
此外,显示图像生成部54在从状况检测部53输入了特定状况通知信号的情况下,生成将周缘图像之中检测到被摄体中的特定状况的摄像图像配置于主显示区域的显示图像。此时,显示图像生成部54用框(这里是红色的框)包围周缘图像之中与特定状况通知信号对应地配置在主显示区域的摄像图像来进行显示,该框表示与特定状况通信号的输入对应地显示在主显示区域的情况。
进一步地,显示图像生成部54在从状况检测部53输入了特定状况通知信号的情况下,根据检测到特定状况的摄像图像的方向以及被摄体的移动方向,将摄像图像以左右反转的状态配置在主显示区域。具体来说,显示图像生成部54在输入了表示检测到被摄体中的特定状况的摄像图像是后方图像这一情况的特定状况通知信号的情况下,将后方图像以左右反转的状态配置于主显示区域。此外,显示图像生成部54在输入了表示检测到被摄体中的特定状况的摄像图像是左侧方图像或者右侧方图像这一情况的特定状况通知信号,且被摄体的移动方向是从后方朝向前方的情况下,将左侧方图像或者右侧方图像以左右反转的状态配置在主显示区域。另外,针对摄像图像中的被摄体的移动方向,在状况检测部53中检测到特定状况的被摄体时,能够一并检测其移动方向,从而向显示图像生成部54通知检测到的移动方向等。
这样,根据检测到特定状况的摄像图像的方向以及被摄体的移动方向,使摄像图像左右反转后配置在主显示区域,从而佩戴者能够直观地掌握应注意左右中的哪一方。
图10是表示输入了表示前方图像的特定状况通知信号时的显示图像的一例的示意图。另外,以下的图10~图15中的箭头表示特定状况被检测到的被摄体的移动方向。
在图10所示的例子中,以没有左右反转的状态将前方图像显示于主显示区域,利用红色的框来包围小尺寸的前方图像,红色的框表示正在检测特定状况。
在该情况下,由于检测到特定状况的被摄体是佩戴者的前方,所以前方图像中的被摄体的移动方向与佩戴者的直观一致。因此,主显示区域的图像不用左右反转,直接显示即可。
图11是表示输入了表示后方图像的特定状况通知信号时的显示图像的一例的示意图。
在图11所示的例子中,将后方图像以左右反转的状态显示于主显示区域,利用红色的框来包围小尺寸的后方图像,红色的框表示正在检测特定状况。
在该情况下,由于检测到特定状况的被摄体是佩戴者的后方,所以后方图像中的被摄体的移动方向与佩戴者的直观不一致。因此,主显示区域的图像被左右反转后显示。
图12是表示输入了表示右侧方图像的特定状况通知信号且检测到特定状况的被摄体从前方朝向后方移动时的显示图像的一例的示意图。
在图12所示的例子中,将右侧方图像以没有左右反转的状态显示于主显示区域,且利用红色的框来包围小尺寸的右侧方图像,红色的框表示正在检测特定状况。
在该情况下,由于检测到特定状况的被摄体的移动方向是从前方朝向后方,所以右侧方图像中的被摄体的移动方向与佩戴者的直观一致。因此,主显示区域的图像无需左右反转,直接显示即可。
图13是表示输入了表示左侧方图像的特定状况通知信号且检测到特定状况的被摄体从前方朝向后方移动时的显示图像的一例的示意图。
在图13所示的例子中,将左侧方图像以没有左右反转的状态显示于主显示区域,且利用红色的框来包围小尺寸的左侧方图像,红色的框表示正在检测特定状况。
在该情况下,由于检测到特定状况的被摄体的移动方向是从前方朝向后方,所以左侧方图像中的被摄体的移动方向与佩戴者的直观一致。因此,主显示区域的图像无需左右反转,直接显示即可。
图14是表示输入了表示右侧方图像的特定状况通知信号且检测到特定状况的被摄体从后方朝向前方移动时的显示图像的一例的示意图。
在图14所示的例子中,将右侧方图像以左右反转的状态显示于主显示区域,且利用红色的框来包围小尺寸的右侧方图像,红色的框表示正在检测特定状况。
在该情况下,由于检测到特定状况的被摄体的移动方向是从后方朝向前方,所以右侧方图像中的被摄体的移动方向与佩戴者的直观不一致。因此,主显示区域的图像被左右反转之后显示。
图15是表示输入了表示左侧方图像的特定状况通知信号且检测到特定状况的被摄体从后方朝向前方移动时的显示图像的一例的示意图。
在图15所示的例子中,将左侧方图像以左右反转的状态显示于主显示区域,且利用红色的框来包围小尺寸的左侧方图像,红色的框表示正在检测特定状况。
在该情况下,由于检测到特定状况的被摄体的移动方向是从后方朝向前方,所以左侧方图像中的被摄体的移动方向与佩戴者的直观不一致。因此,主显示区域的图像被左右反转之后显示。
通过这样的处理,佩戴者的所有周围的前方的图像被显示于主显示区域,各方向上的图像被显示为配置在主显示区域的周边的周缘图像。
因此,能够以容易理解的方式显示佩戴者的所有周围的情形。
此外,在检测到特定状况的情况下,将检测到特定状况的方向的图像显示于主显示区域。此时,为了表示检测到了特定状况,利用红色的框来包围正显示在主显示区域内的周缘图像。
因此,能够以容易理解的方式来显示发生了特定状况的方向以及特定状况的情形。
此外,在佩戴者进行了快速剧烈的动作的情况下,保持主显示区域的图像以及周缘图像,设为暂时停止的状态。
因此,能够防止佩戴者进行了快速剧烈的动作时频繁地切换主显示区域的图像以及周缘图像使得视觉辨认性降低。
进一步地,根据检测到特定状况的摄像图像的方向以及被摄体的移动方向,将摄像图像以左右反转的状态配置于主显示区域。
由此,佩戴者能够直观地掌握应注意左右中哪一方。
这样,根据本实施方式涉及的显示控制装置1,能够迅速地应对异常。
[变形例1]
在第1实施方式中,说明了在通常的显示状态下,将前方图像显示于主显示区域,根据佩戴者的头部朝向的变化,使主显示区域的显示图像随着拍摄到的图像而依次发生变化,但是也可以固定显示于主显示区域的方向。
具体来说,显示图像生成部54根据摄像部16a~16d输出的摄像图像来生成全景图像,不论动作检测部52检测的佩戴者的头部朝向如何,都将固定的方向和/或包含特定被摄体的方向的图像配置在主显示区域。即,显示图像生成部54与佩戴者的头部朝向独立地固定显示图像中的前方,将该方向的图像显示于主显示区域。
图16是表示将显示于主显示区域的方向固定的状态的示意图。
如图16所示,能够与佩戴者的头部朝向中的前后左右的方向独立地,设定显示图像中的前后左右(固定前方、固定后方、固定左侧方以及固定右侧方)。
在该情况下,将显示图像中的前后左右各个方向的图像从根据摄像图像生成的全景图像中切出后进行显示。
图17是表示摄像图像的方向与显示图像的方向之间的关系的一例的示意图。
在图17中,显示图像中的前方图像是分别将摄像图像中的前方图像以及右侧方图像的一部分切出后生成的。
通过采用这样的显示方式,关注的方向和/或被摄体的图像就会继续显示在主显示区域内,即使佩戴者改变朝向,也能够向佩戴者稳定且容易理解地提示所关注的方向和/或被摄体的信息。
[变形例2]
在上述实施方式中,以具备覆盖佩戴者的单眼的显示器18a的情况说明了显示控制装置1,但是也可以是覆盖两眼的显示器18a。即,能够在显示控制装置1中具备分别覆盖佩戴者的右眼以及左眼的显示器18a,使右眼以及左眼分别对图像进行视觉辨认。在该情况下,显示图像生成部54能够在右眼用及左眼用的显示区域内以各种方式显示图像。
例如,显示图像生成部54能够在右眼用的显示区域内如第1实施方式或者第2实施方式那样示,显示与佩戴者的头部朝向的变化相应的方向的图像,在左眼用的显示区域内如变形例1那样显示被固定的前方的图像。
此外,在状况检测部53推测出危险人物或者危险物体的移动方向,并推测为危险人物或者危险物体的移动方向为右方的情况下,显示图像生成部54能够在右眼用的显示区域显示包含危险人物或者危险物体的图像,在左眼用的显示区域显示危险人物或者危险物体的移动目的地的方向的图像。另外,在推测为危险人物或者危险物体的移动方向为左方的情况下,能够在右眼用的显示区域显示包含危险人物或者危险物体的图像,在左眼用的显示区域显示危险人物或者危险物体的移动目的地的方向的图像。
通过采用这样的处理,能够根据状况向佩戴者提示各种有用的信息。
[变形例3]
在上述的实施方式中,状况检测部53判定佩戴者是否正向危险人物或者危险物体的方向移动(例如,位置的移动量(或者移动速度)是否超过规定的阈值),在判定为正向危险人物或者危险物体的方向移动的情况下,能够设为佩戴者进行向危险人物或者危险物体的靠近或者追踪,切换成辅助佩戴者的显示。
具体来说,由于向危险人物或者危险物体的靠近或者追踪所需的图像仅为前方图像,所以通过显示图像生成部54,无需进行其他方向的图像的显示,在主显示区域内将前方图像的异常部位变焦放大后进行显示即可。
此外,通过使显示控制装置1具备地图数据等,就能够判定道路、通路等可移动的路径,通过用箭头等显示危险人物或者危险物体所能移动的方向,能够供佩戴者知晓。
如以上这样构成的显示控制装置1具备:输出部18、图像取得部51、动作检测部52、状况检测部53、显示图像生成部54和显示控制部55。
图像取得部51与人物的动作联动地取得拍摄方向发生变化且拍摄方向不同的多个摄像图像。
动作检测部52或状况检测部53检测该人物的动作或图像取得部51取得的多个摄像图像内的被摄体像的移动状况。
显示图像生成部54以及显示控制部55根据动作检测部52或状况检测部53检测的人物的动作、或被摄体像的移动状况,进行如下控制:输出部18以切换显示的方式输出图像取得部51取得的多个摄像图像之中的任一个,其中,该输出部18的显示方向与人物的动作联动地以可视觉辨认该人物的方式发生变化。
由此,根据佩戴着显示控制装置1的人物的动作和/或摄像图像内的被摄体的移动状况,输出部18切换显示规定的摄像图像。
因此,能够迅速地应对异常。
此外,显示控制装置1还具备状况检测部53。
状况检测部53判别多个摄像图像内的每一图像中的被摄体像的移动状况是否异常。
显示图像生成部54以及显示控制部55进行如下控制:输出部18以切换显示的方式输出状况检测部53判别为被摄体像的移动状况异常的摄像图像。
由此,能够以容易理解的方式显示发生了异常的方向以及异常的内容。
在状况检测部53判别为被摄体像的移动状况异常的情况下,状况检测部53检测被摄体像的移动方向。
显示图像生成部54以及显示控制部55根据由状况检测部53检测的被摄体像的移动方向,进行如下控制:输出部18以将切换显示的摄像图像左右反转来显示的方式进行输出。
由此,根据检测到异常的被摄体的移动方向,以左右反转的状态显示摄像图像。
因此,佩戴者能够直观地掌握应注意左右中的哪一方。
动作检测部52判别检测到的人体的动作是否超过规定的阈值而属于快速剧烈的动作。
显示图像生成部54以及显示控制部55进行如下控制:输出部18以切换显示的方式进行输出,使得输出随着动作检测部52的判别结果而不同。
由此,在佩戴者进行了快速剧烈的动作的情况下,进行与通常的显示的切换不同的控制,能够进行用于防止视觉辨认性降低的控制。
状况检测部53判别人体位置的移动量是否超过规定的阈值。
显示图像生成部54以及显示控制部55根据状况检测部53的判别结果,进行与输出部18以切换显示的方式进行输出的控制不同的输出控制。
由此,能够进行对想要靠近异常的佩戴者进行辅助的显示。
显示图像生成部54根据动作检测部52检测的人体的动作,对摄像图像进行加工,以便维持预先设定的多个摄像图像的拍摄方向。
显示控制部55进行如下控制:输出部18进行输出,以显示被显示图像生成部54加工过的图像。
由此,关注的方向的图像继续被显示在同一显示区域内,能够向佩戴者进行提示,使其容易知晓所关注的方向的信息。
显示控制部55进行以下控制:输出部18以并排显示多个摄像图像的方式进行输出,并根据动作检测部52检测的人物的动作进行输出,使得能够与其他摄像图像识别开地切换显示多个摄像图像中的一个。
由此,能够以容易理解的方式显示佩戴者周围的情形。
显示控制部55根据输出部18切换显示的摄像图像的拍摄方向,进行以左右反转地显示的方式来输出的控制。
由此,佩戴者能够直观地掌握应注意左右中的哪一方。
输出部18包括人物的两眼分别能够独立地进行视觉辨认的两个显示区域,显示控制部55根据动作检测部52检测的人物的动作,进行输出成在两个显示区域内切换显示为不同的控制。
由此,能够根据状况向佩戴者提示各种有用的信息。
此外,显示控制装置1具备摄像部16a~16d。
摄像部16a~16d的拍摄方向分别不同。
图像取得部51取得摄像部16a~16d所拍摄的摄像图像。
输出部18和多个摄像部16a~16d与该显示控制装置1成为一体。
显示控制装置1被佩戴在人体上,摄像部16a~16d的拍摄方向以及输出部18的显示方向与该人体的动作联动地发生变化。
由此,在与摄像部16a~16d和输出部18成为一体的显示控制装置1中,根据佩戴着显示控制装置1的人物的动作和/或摄像图像内的被摄体的移动状况,向输出部18切换显示规定的摄像图像。
因此,能够迅速地应对异常。
另外,本发明并不限于上述的实施方式,能够达成本发明的目的的范围内的变形、改良等均包含在本发明中。
在上述的实施方式中,说明了具备四个摄像部16a~16d的情况,但是只要是能够确保所需的视野角,摄像部的数目也可以在三个以下。相反,也可以具备五个以上的摄像部。
此外,在上述的实施方式中,将显示控制装置1构成为了小型投影仪方式的光学透过头戴式显示器,但是也可以构成为进行利用了全息摄影术的立体显示的光学透过头戴式显示器。这些光学透过头戴式显示器也被称为虚像投影方式。另一方面,也可以将显示控制装置1构成为根据激光直接将像投影到视网膜的视网膜投影方式的头戴式显示器。
此外,显示控制装置1也可以构成为视频透过头戴式显示器(视频透明方式)。在将显示控制装置1设为视频透过头戴式显示器的情况下,如果佩戴了该装置就不能直接视觉辨认外界的景色,但是能够在显示器上放映外面的情形。
此外,在上述实施方式中,说明了显示控制装置1具备头盔型的主体1A的情况,但是并不限于此。例如,也可以将显示控制装置1的主体构成为发带型。此外,也可以将显示控制装置1构成为眼镜型的组件,使眼镜型的组件具备摄像部。在将显示控制装置1构成为眼镜型的组件的情况下,能够以所谓的智能眼镜的方式来实现显示控制装置1。
此外,在上述的实施方式中,说明了摄像部16a~16d、显示器18a与显示控制装置1成为一体的情况,但是并不限于此。例如,只要摄像部16a~16d的拍摄方向和显示器18a的显示方向双方或任一方与人物的动作联动从而其方向发生变化即可,所以也可以是摄像部16a~16d和显示器18a双方或者任一方与显示控制装置1的主体分开的方式。
此外,在上述的实施方式中,说明了在整个水平方向上对佩戴者周围的图像进行拍摄的情况,但并不限于此。例如,也可以对佩戴者的上方和/或下方进行拍摄,对这些摄像图像进行基于状况检测部53的特定状况的检测、基于显示图像生成部54的显示图像的生成。在该情况下,除了前方、后方、左侧方以及右侧方的图像外,还一并显示上方以及下方的图像作为显示图像,显示三维方向的周围的图像。
此外,本发明涉及的显示控制装置1并不限于如警卫员那样以监控作为工作的情况,也可用作一般的用户主要在屋外能够检测视野外的异常的技术。
此外,在上述的实施方式中,以头戴式显示器为例说明了应用本发明的显示控制装置1,但并不特别限于此。
例如,本发明能够不失一般性地应用于具有显示功能的电子设备中。具体来说,例如,本发明能够应用于笔记本型的个人计算机、电视接收机、摄像机、便携式导航仪、移动电话、智能手机、便携式游戏机。
上述一系列的处理可通过硬件来执行,也可通过软件来执行。
换言之,图3的功能结构只是是例示,并不特别限定。即,只要使显示控制装置1具备能够将上述一系列的处理作为整体来执行的功能即可,为了实现该功能使用什么样的功能模块并不特别限于图3的例子。
此外,1个功能模块可以由硬件单体构成,也可以由软件单体构成,还可以由它们的组合构成。
在通过软件来执行一系列处理的情况下,构成该软件的程序可从网络、记录介质安装到计算机等中。
计算机可以是组装到专用硬件的计算机。此外,计算机可以是通过安装各种程序来执行各种功能的计算机,例如通用的个人计算机。
包含这样的程序的记录介质为了向用户提供程序,不仅由与装置主体分开配置的图2的可移动介质31构成,还由在预先组装到装置主体的状态下提供给用户的记录介质等构成。可移动介质31例如由磁盘(包括软盘)、光盘或者光磁盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、Blu-ray(注册商标)Disc(蓝光盘)等构成。光磁盘由MD(Mini-Disk)等构成。此外,在预先组装到装置主体的状态下提供给用户的记录介质例如由记录有程序的图2的ROM12和/或包含在图2的存储部20中的硬盘等构成。
另外,在本说明书中,说明在记录介质中记录的程序的步骤当然可以是按照其顺序以时间序列进行的处理,也可以不必按照时间序列来进行处理,还包括并行或者个别执行的处理。
以上,说明了本发明的几个实施方式,这些实施方式不过是例示,并不对本发明的技术的范围进行限定。本发明可采用其他各种实施方式,而且在不脱离本发明的主旨的范围内,能够进行省略、置换等各种变更。这些实施方式和/或其变形包含在本说明书等中记载的发明的范围、主旨中,并且包含在权利要求书所记载的发明及其均等的范围中。

Claims (14)

1.一种显示控制装置,具备:
显示部,显示方向与人物的动作联动地在该人物所能视觉辨认的方向上发生变化;以及
处理部,取得拍摄方向与人物的动作联动地变化且拍摄方向不同的多个摄像图像,检测人物的动作、或取得的多个摄像图像内的被摄体像的移动状况,根据检测到的人物的动作、或被摄体像的移动状况,进行如下控制,即,将所取得的多个摄像图像之中的任一个以切换显示于所述显示部的方式进行输出。
2.根据权利要求1所述的显示控制装置,其特征在于,
所述处理部还判别多个摄像图像内的每一个摄像图像中的被摄体像的移动状况是否有异常,
所述处理部进行如下控制,即,将判别为被摄体像的移动状况有异常的摄像图像以切换显示于所述显示部的方式进行输出。
3.根据权利要求2所述的显示控制装置,其特征在于,
所述处理部在判别为被摄体像的移动状况有异常的情况下,检测被摄体像的移动方向,
所述处理部根据检测到的被摄体像的移动方向,进行如下控制,即,将切换显示于所述显示部的摄像图像以左右反转来显示的方式进行输出。
4.根据权利要求3所述的显示控制装置,其特征在于,
所述显示控制装置还具备:多个摄像部,各摄像部的拍摄方向不同,且各摄像部分别配置在能够通过多个摄像部拍摄所有周围的位置处,
所述处理部取得所述摄像部拍摄的能够拍摄到所有周围的多个摄像图像,
所述处理部在检测到的被摄体像的移动方向是相对于人物能视觉辨认的方向而言从前方朝向后方的移动、或从后方朝向前方的移动当中的任一个的情况下,进行如下控制,即,将切换显示于所述显示部的摄像图像以左右反转来显示的方式进行输出。
5.根据权利要求1所述的显示控制装置,其特征在于,
所述处理部还判别检测到的人体的动作是否超过规定的阈值从而属于快速剧烈的动作,
所述处理部进行如下控制,即,输出成以根据判别的结果而不同的方式切换显示于所述显示部。
6.根据权利要求5所述的显示控制装置,其特征在于,
所述处理部判别人体位置的移动量是否超过规定的阈值,
所述处理部进行如下控制,即,输出成以根据判别的结果而不同的方式切换显示于所述显示部。
7.根据权利要求1所述的显示控制装置,其特征在于,
所述处理部根据检测到的人体的动作,进一步对所取得的多个摄像图像进行加工,以便维持预先设定的多个摄像图像的拍摄方向,
所述处理部进行在所述显示部显示加工过的图像的方式进行输出的控制。
8.根据权利要求7所述的显示控制装置,其特征在于,
所述显示控制装置还具备:多个摄像部,各摄像部的拍摄方向不同,且各摄像部分别配置在能够通过多个摄像部拍摄所有周围的位置处,
所述处理部取得所述摄像部拍摄的能够拍摄到所有周围的多个摄像图像,
所述处理部对所取得的相邻的多个摄像图像进行加工,以便维持预先设定的多个所述摄像部的拍摄方向,由此生成用于进行以切换显示于所述显示部的方式进行输出的控制的图像。
9.根据权利要求5所述的显示控制装置,其特征在于,
所述处理部进行在所述显示部并排显示多个摄像图像的输出,还根据检测到的人物的动作,进行如下控制,即,输出成将多个摄像图像中的一个摄像图像切换显示为能够与其他摄像图像进行区分。
10.根据权利要求1所述的显示控制装置,其特征在于,
所述处理部根据切换显示于所述显示部的摄像图像的拍摄方向,进行如下控制,即,以左右反转来显示的方式进行输出。
11.根据权利要求10所述的显示控制装置,其特征在于,
所述显示部包括人物的两眼分别能够独立地进行视觉辨认的两个显示区域,
所述处理部根据检测到的人物的动作,进行如下控制,即,以在所述两个显示区域内切换显示成不同的方式进行输出。
12.根据权利要求1所述的显示控制装置,其特征在于,
所述显示控制装置还具备拍摄方向不同的多个摄像部,
所述处理部取得所述摄像部拍摄的摄像图像,
所述显示部和多个所述摄像部与该显示控制装置成为一体,
该显示控制装置被佩戴在人体上,多个所述摄像部的拍摄方向以及所述显示部的显示方向与该人体的动作联动地发生变化。
13.根据权利要求12所述的显示控制装置,其特征在于,
多个所述摄像部分别配置在能够由多个摄像部对所有周围进行拍摄的位置处,
所述处理部取得所述摄像部拍摄的所有周围图像,
所述处理部根据检测到的人物的动作、或被摄体像的移动状况,进行如下控制,即,将所取得的所有周围图像的一部分以切换显示于所述显示部的方式进行输出。
14.一种显示控制方法,包括:
取得处理,取得拍摄方向与人物的动作联动地发生变化且拍摄方向不同的多个摄像图像;
检测处理,检测人物的动作、或通过所述取得处理取得的多个摄像图像内的被摄体像的移动状况;以及
显示控制处理,根据通过所述检测处理检测的人物的动作、或被摄体像的移动状况,进行如下控制,即,将通过所述取得处理取得的多个摄像图像之中的任一个以切换显示于显示部的方式进行输出,其中,该显示部的显示方向与所述人物的动作联动地在该人物所能视觉辨认的方向上发生变化。
CN201610554780.3A 2015-08-31 2016-07-14 显示控制装置、显示控制方法以及记录介质 Active CN106488181B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-170802 2015-08-31
JP2015170802A JP6679856B2 (ja) 2015-08-31 2015-08-31 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN106488181A true CN106488181A (zh) 2017-03-08
CN106488181B CN106488181B (zh) 2020-03-10

Family

ID=58096468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610554780.3A Active CN106488181B (zh) 2015-08-31 2016-07-14 显示控制装置、显示控制方法以及记录介质

Country Status (3)

Country Link
US (2) US10257413B2 (zh)
JP (1) JP6679856B2 (zh)
CN (1) CN106488181B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945867A (zh) * 2017-05-09 2020-03-31 佳能株式会社 监视装置、监视方法、计算机程序和存储介质
CN111614919A (zh) * 2019-02-22 2020-09-01 株式会社日立制作所 影像记录装置以及头戴式显示器
CN114927027A (zh) * 2022-05-24 2022-08-19 洛阳理工学院 一种演唱训练系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6679856B2 (ja) * 2015-08-31 2020-04-15 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
US11128764B2 (en) * 2018-05-17 2021-09-21 Canon Kabushiki Kaisha Imaging apparatus, control method, and non-transitory computer readable medium
WO2020013313A1 (ja) * 2018-07-12 2020-01-16 株式会社東芝 全方位撮影システムおよび全方位撮影方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
CN101542584A (zh) * 2006-10-16 2009-09-23 索尼株式会社 显示设备、显示方法
US20100259619A1 (en) * 2009-04-10 2010-10-14 Nicholson Timothy J Hmd with elevated camera
CN104714302A (zh) * 2013-12-17 2015-06-17 精工爱普生株式会社 头部佩戴型显示装置
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3121001B2 (ja) 1990-01-31 2000-12-25 カシオ計算機株式会社 Tl系酸化物超伝導体の製造方法
CA2233047C (en) * 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
JP2004088395A (ja) 2002-08-27 2004-03-18 Mitsubishi Heavy Ind Ltd 後方監視装置
IL156478A0 (en) * 2003-06-17 2004-07-25 Odf Optronics Ltd Compact rotating observation assembly with a separate receiving and display unit
US7664598B2 (en) 2005-01-26 2010-02-16 Panasonic Corporation Guiding device and guiding method
JP3121001U (ja) * 2005-12-27 2006-04-27 善信 山本 携帯型防犯カメラシステム
JP4859518B2 (ja) * 2006-04-28 2012-01-25 三洋電機株式会社 通信端末および通信システム
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US8675074B2 (en) * 2007-07-20 2014-03-18 Honeywell International Inc. Custom video composites for surveillance applications
WO2009089342A1 (en) * 2008-01-08 2009-07-16 Lockheed Martin Corporation Method and apparatus for displaying
JP2010081480A (ja) 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
US8446457B2 (en) * 2009-11-30 2013-05-21 Daniel Theobald System for providing camera views
JP2011145730A (ja) 2010-01-12 2011-07-28 Hitachi Solutions Ltd 監視画面表示制御装置
JP2013250600A (ja) 2012-05-30 2013-12-12 Brother Ind Ltd 表示装置、表示システム、表示方法、および表示プログラム
US9608725B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9411160B2 (en) * 2013-02-12 2016-08-09 Seiko Epson Corporation Head mounted display, control method for head mounted display, and image display system
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
US9352745B1 (en) * 2013-12-30 2016-05-31 Daniel Theobald Method and apparatus for transporting a payload
WO2015108112A1 (ja) * 2014-01-15 2015-07-23 株式会社Juice Design 操作判定装置、操作判定方法、および、プログラム
JP2015138325A (ja) * 2014-01-21 2015-07-30 株式会社ニコン 携帯用電子機器、およびプログラム
US10841476B2 (en) * 2014-07-23 2020-11-17 Orcam Technologies Ltd. Wearable unit for selectively withholding actions based on recognized gestures
US9443115B2 (en) * 2014-07-25 2016-09-13 Dell Products, L.P. System and method for circuit card insertion tracking
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
CN106537815B (zh) * 2014-11-14 2019-08-23 松下电器(美国)知识产权公司 再现方法、再现装置以及程序
JP6679856B2 (ja) * 2015-08-31 2020-04-15 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
CN101542584A (zh) * 2006-10-16 2009-09-23 索尼株式会社 显示设备、显示方法
US20100259619A1 (en) * 2009-04-10 2010-10-14 Nicholson Timothy J Hmd with elevated camera
CN104714302A (zh) * 2013-12-17 2015-06-17 精工爱普生株式会社 头部佩戴型显示装置
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945867A (zh) * 2017-05-09 2020-03-31 佳能株式会社 监视装置、监视方法、计算机程序和存储介质
CN110945867B (zh) * 2017-05-09 2021-09-10 佳能株式会社 监视装置、监视方法和存储介质
US11363241B2 (en) 2017-05-09 2022-06-14 Canon Kabushiki Kaisha Surveillance apparatus, surveillance method, and storage medium
CN111614919A (zh) * 2019-02-22 2020-09-01 株式会社日立制作所 影像记录装置以及头戴式显示器
CN111614919B (zh) * 2019-02-22 2022-08-23 株式会社日立制作所 影像记录装置以及头戴式显示器
CN114927027A (zh) * 2022-05-24 2022-08-19 洛阳理工学院 一种演唱训练系统
CN114927027B (zh) * 2022-05-24 2024-05-03 洛阳理工学院 一种演唱训练系统

Also Published As

Publication number Publication date
CN106488181B (zh) 2020-03-10
US10257413B2 (en) 2019-04-09
US20190191077A1 (en) 2019-06-20
JP2017049670A (ja) 2017-03-09
US20170064196A1 (en) 2017-03-02
JP6679856B2 (ja) 2020-04-15
US10630892B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
CN106488181A (zh) 显示控制装置以及显示控制方法
EP3294428B1 (en) Method for displaying augmented reality with privacy-sensitive consumer cameras coupled to augmented reality systems
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
US20170308266A1 (en) Image display apparatus and image display method
RU2646360C2 (ru) Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа
CN103869468B (zh) 信息处理设备
KR100911066B1 (ko) 화상 표시 시스템, 화상 표시 방법 및 기록 매체
US11122257B2 (en) HDR image capture and display system for enhanced real-time welding visualization and assistance
JP2011205358A (ja) ヘッドマウントディスプレイ装置
JP2009118134A (ja) 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法
JP6576536B2 (ja) 情報処理装置
US11320667B2 (en) Automated video capture and composition system
US9521329B2 (en) Display device, display method, and computer-readable recording medium
CN111213375B (zh) 信息处理装置、信息处理方法以及程序
WO2013088629A1 (en) Image processing apparatus, method thereof, and non-transitory computer readable storage medium
WO2021079636A1 (ja) 表示制御装置、表示制御方法及び記録媒体
JP6725999B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
WO2023074669A1 (ja) 撮像装置、画像処理装置、および方法
JP2023065313A (ja) 撮像装置、画像処理装置、および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant