CN104834356B - 头戴式设备及其视觉反馈的方法及装置 - Google Patents

头戴式设备及其视觉反馈的方法及装置 Download PDF

Info

Publication number
CN104834356B
CN104834356B CN201510226606.1A CN201510226606A CN104834356B CN 104834356 B CN104834356 B CN 104834356B CN 201510226606 A CN201510226606 A CN 201510226606A CN 104834356 B CN104834356 B CN 104834356B
Authority
CN
China
Prior art keywords
color
colour
headset equipment
viewfinder image
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510226606.1A
Other languages
English (en)
Other versions
CN104834356A (zh
Inventor
赵思聪
顾嘉唯
张运龙
李磊
李广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510226606.1A priority Critical patent/CN104834356B/zh
Publication of CN104834356A publication Critical patent/CN104834356A/zh
Priority to PCT/CN2015/090242 priority patent/WO2016176950A1/zh
Priority to US15/504,078 priority patent/US10372287B2/en
Application granted granted Critical
Publication of CN104834356B publication Critical patent/CN104834356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/18Packaging or power distribution
    • G06F1/181Enclosures
    • G06F1/182Enclosures with special features, e.g. for use in industrial environments; grounding or shielding against radio frequency interference [RFI] or electromagnetical interference [EMI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/17Hearing device specific tools used for storing or handling hearing devices or parts thereof, e.g. placement in the ear, replacement of cerumen barriers, repair, cleaning hearing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • H04R5/0335Earpiece support, e.g. headbands or neckrests

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了头戴式设备及其视觉反馈的方法及装置。所述头戴式设备的一具体实施方式包括:支架,图像采集组件,显示组件及处理器;其中,所述图像采集组件和所述显示组件设置于所述支架上,并且,在所述头戴式设备处于使用状态时,所述显示组件在用户的视觉感知范围内;所述图像采集组件用于采集取景图像;所述处理器获取所述图像采集组件采集的取景图像,基于所述取景图像确定待显示的指示颜色,并控制所述显示组件显示所述指示颜色,以向用户指示所述图像采集组件的取景方位。该实施方式实现了向用户指示取景方位的目的,解决了现有技术中用于头戴式设备的视觉反馈的取景图像和用户的视野易相互干扰的问题,提高了信息传达的效率。

Description

头戴式设备及其视觉反馈的方法及装置
技术领域
本申请涉及电子设备技术领域,具体涉及穿戴式电子设备技术领域,尤其涉及头戴式设备及其视觉反馈的方法及装置。
背景技术
随着电子技术的不断发展,各种穿戴设备应运而生。目前,有些头戴式智能穿戴设备具有拍照和摄像的功能,在这些头戴式智能穿戴设备上还需要具有视觉反馈的功能。视觉反馈是人机交互的重要渠道,影响信息传达的效率和用户的交互体验。用户可以通过视觉反馈确定当前头戴式智能穿戴设备所拍摄的目标对象(取景方位),从而有效的调整头戴式智能穿戴设备的拍摄角度和方向。
传统的头戴设备通过显示当前采集的取景图像进行视觉反馈,这种技术的缺陷在于:视觉反馈的取景图像和用户的视野易相互干扰,易用性差。
发明内容
本申请提供了一种头戴式设备及其视觉反馈的方法及装置,解决了现有技术中视觉反馈的取景图像和用户的视野易相互干扰,易用性差的技术问题。
第一方面,本申请提供了一种头戴式设备,所述头戴式设备包括:支架,图像采集组件,显示组件及处理器;其中,所述图像采集组件和所述显示组件设置于所述支架上,并且,在所述头戴式设备处于使用状态时,所述显示组件在用户的视觉感知范围内;所述图像采集组件用于采集取景图像;所述处理器获取所述图像采集组件采集的取景图像,基于所述取景图像确定待显示的指示颜色,并控制所述显示组件显示所述指示颜色,以向用户指示所述图像采集组件的取景方位。
在某些实施方式中,所述处理器配置用于:获取所述取景图像中预定范围内每个像素点的色值;根据所述预定范围内每个像素点的色值确定所述指示颜色。
在某些实施方式中,所述处理器将所述预定范围内对应的像素点的个数最多的色值确定为所述指示颜色的色值;或者所述处理器将所述预定范围内像素点的色值的均值确定为所述指示颜色的色值。
在某些实施方式中,所述预定范围为所述取景图像的中心区域。
在某些实施方式中,所述显示组件包括全彩LED灯或者全彩显示屏。
在某些实施方式中,所述全彩显示屏包括以下至少一种:全彩LED显示屏,以及全彩OLED显示屏。
第二方面,本申请提供了一种头戴式设备,所述头戴式设备包括:支架,图像采集组件,显示组件及通信单元;其中,所述图像采集组件和所述显示组件设置于所述支架上,并且,在所述头戴式设备处于使用状态时,所述显示组件在用户的视觉感知范围内;所述图像采集组件用于采集取景图像;所述通信单元用于将所述图像采集组件采集的取景图像传输至云端处理器,以供所述云端处理器基于所述取景图像确定待显示的指示颜色,接收所述云端处理器发送的确定的指示颜色的信息;所述显示组件用于根据所述指示颜色的信息显示所述指示颜色,以向用户指示所述图像采集组件的取景方位。
第三方面,本申请提供了一种用于头戴式设备的视觉反馈方法,所述方法包括:获取采集到的取景图像;基于所述取景图像确定待显示的指示颜色;显示所述指示颜色,以向用户指示取景方位。
在某些实施方式中,所述基于所述取景图像确定待显示的指示颜色,包括:获取所述取景图像中预定范围内每个像素点的色值;根据所述预定范围内每个像素点的色值确定所述指示颜色。
在某些实施方式中,所述根据所述预定范围内每个像素点的色值确定所述指示颜色,包括:将所述预定范围内对应的像素点的个数最多的色值确定为所述指示颜色的色值;或者将所述预定范围内像素点的色值的均值确定为所述指示颜色的色值。
在某些实施方式中,采用全彩LED灯或者全彩显示屏显示所述指示颜色。
第四方面,本申请提供了一种用于头戴式设备的视觉反馈装置,所述装置包括:获取单元,用于获取采集到的取景图像;确定单元,用于基于所述取景图像确定待显示的指示颜色;显示单元,用于显示所述指示颜色,以向用户指示取景方位。
在某些实施方式中,所述确定单元包括:色值获取子单元,用于获取所述取景图像中预定范围内每个像素点的色值;指示颜色确定子单元,用于根据所述预定范围内每个像素点的色值确定所述指示颜色。
在某些实施方式中,所述指示颜色确定子单元配置用于:将所述预定范围内对应的像素点的个数最多的色值确定为所述指示颜色的色值;或者将所述预定范围内像素点的色值的均值确定为所述指示颜色的色值。
本申请提供的头戴式设备及其视觉反馈的方法及装置,通过向用户显示基于采集的取景图像确定的指示颜色,从而实现了向用户指示取景方位的目的,解决了现有技术中用于头戴式设备的视觉反馈的取景图像和用户的视野易相互干扰的问题,提高了信息传达的效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请实施例提供的头戴式设备的一种示例性结构图;
图2是本申请实施例提供的头戴式设备处于使用状态时的一种示意图;
图3是本申请实施例提供的用于头戴式设备的视觉反馈方法的一个实施例的流程图;
图4是本申请实施例提供的基于取景图像确定待显示的指示颜色的方法的一个实施例的流程图;
图5是本申请实施例提供的用于头戴式设备的视觉反馈装置的一个实施例的结构示意图;
图6是本申请实施例提供的可以应用本申请实施例的示例性系统架构。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请所涉及的头戴式设备具有拍照和/或摄像的功能。出于示例描述目的以及为了简洁起见,在接下来的讨论中,结合具有拍照和/或摄像功能的头戴式设备来描述本申请的示例性实施例。头戴式设备可以包括但不限于智能眼镜、头戴式数码相机以及智能头盔等等。
请参考图1,其示出了本申请头戴式设备的一种示例性结构。
如图1所示,头戴式设备100包括支架101,图像采集组件102,显示组件103以及处理器(未示出)。其中,图像采集组件102和显示组件103设置于支架101上,并且,在头戴式设备100处于使用状态时,显示组件103在用户的视觉感知范围内。图像采集组件102用于采集取景图像。处理器获取采集组件102采集的取景图像,基于取景图像确定待显示的指示颜色,并控制显示组件103显示指示颜色,以向用户指示图像采集组件102的取景方位。
在本实施例中,头戴式设备100除了包括支架101,图像采集组件102,显示组件103以及处理器以外,还可以包括譬如眼镜片,录音组件以及扩音器等部件和/或组件。可以理解,头戴式设备100还可以包括其它部件和/或组件。头戴式设备100包括的各种部件和/或组件可以设置于支架101上,这些部件和/或组件可以固定的设置于支架101上,也可以可调整的设置于支架101上。可以理解,本申请对头戴式设备包括的各种部件和/或组件在支架上的设置方式不限定。
图像采集组件102用于采集取景图像。具体来说,在进行拍照或摄像时,首先需要通过图像采集组件102进行实时的取景,即每秒获得多帧取景图像,(如每秒获得十二帧或者二十四帧取景图像)。在现有技术中,是直接将取景图像作为视觉反馈图像,显示在取景屏幕上以供用户浏览,当用户对取景图像满意后,执行拍摄的操作,拍摄出与取景图像对应的照片或视频。
需要说明的是,在拍照或者摄像时,拍摄者通常希望将关注的焦点(如,想要拍摄的人物,物体等)拍到靠近照片或视频的图像中心的一定范围内。而关注的焦点是否能被拍到靠近照片或视频的图像中心的一定范围内,取决于图像采集组件取景的方位(即图像采集组件拍摄的方向及角度)。
对于具有拍照和/或摄像功能的头戴式设备来说,一方面,图像采集组件固定于某个位置,用户能够根据其固定的位置大体判断出其取景方位的一个大概范围。另一方面,我们周围的事物一般颜色比较丰富,如果能够获知取景图像中一定范围(如中心范围)的颜色,那么用户可以结合上一方面中提到的图像采集组件固定的位置,大体判断出图像采集组件取景的方位。
因此,在本实施例中,图像采集组件采集到取景图像后,将取景图像传递给处理器,由处理器对获取到的取景图像进行分析处理,确定用于视觉反馈的指示颜色。然后,处理器控制显示组件显示上述指示颜色,以向用户指示图像采集组件的取景方位。例如,如图2所示,在头戴式设备处于使用状态时,图像采集组件102位于用户104左眼上方的位置,用户104能够根据图像采集组件102的位置大体判断出其取景方位在左眼前方的一定范围内。进一步,用户104可以根据显示组件103显示的指示颜色确定取景方位。如果用户104左眼前方很多区域的颜色均与指示颜色接近,则用户暂时无法根据视觉反馈的指示颜色确定取景方位,此时,用户可以慢慢调整图像采集组件102的取景方向,根据指示颜色的变化情况确定取景方位。
需要说明的是,在头戴式设备处于使用状态时,显示组件应该处于用户的视觉感知范围内,由于显示组件显示的是颜色,因此,用户不需要清楚的辨识图像。所以,一方面,在头戴式设备处于使用状态时,显示组件只需要处于用户视觉的颜色感知范围内即可。另一方面,显示组件的尺寸可以做的远小于现有技术中用于显示取景图像的显示屏幕,只要用户能辨识显示组件显示的颜色即可。因此,即使本申请的显示组件与现有技术中用于显示取景图像的显示屏幕的材料相同,但由于本申请的显示组件尺寸可以做的很小,所以,本申请的头戴式设备具有更省电的优点。
本申请的上述实施例提供的头戴式设备,通过向用户显示基于采集的取景图像确定的指示颜色,从而实现了向用户指示图像采集组件的取景方位的目的,解决了现有技术中用于头戴式设备的视觉反馈的取景图像和用户的视野易相互干扰的问题,提高了信息传达的效率。
在一些可选实施方式中,在一种实现中,显示组件可以是全彩显示屏,全彩显示屏为能够显示物体真实的颜色的显示屏,例如,全彩LED显示屏,或者全彩OLED显示屏等等。在另一种实现中,显示组件还可以是全彩LED灯。可以通过控制红、绿、蓝(R、G、B)三种LED灯珠芯片,按光学三原色原理(所有颜色均可以用三原色红、绿、蓝按照一定比例混合出来)近似调出几乎所有人眼可见的颜色。在本实现中,采用全彩LED灯也能够更加节省电能,减小了头戴式设备的耗电量,延长续航时间。
在一些可选实施方式中,处理器配置用于:获取取景图像中预定范围内每个像素点的色值。根据预定范围内每个像素点的色值确定指示颜色。
在本实施例中,处理器在获取采集组件采集的取景图像后,基于该取景图像确定待显示的指示颜色。具体地,首先,获取上述取景图像中预定范围内每个像素点的色值。其中,预定范围为上述取景图像的中心区域(即预定范围的中心为上述取景图像的中心)。在一种实现方式中,预定范围可以是以上述取景图像的中心为中心,包含预定个数个像素点的圆形区域,例如,预定范围可以是以上述取景图像的中心为中心,包含1600个像素点的圆形区域。在一另种实现方式中,预定范围也可以是以上述取景图像的中心为中心,包含预定个数个像素点的矩形区域,例如,预定范围可以是以上述取景图像的中心为中心,包含1600个像素点的矩形区域。可以理解,本申请对预定范围的具体形状以及范围的大小不限定。
然后,根据预定范围内每个像素点的色值确定指示颜色。具体来说,在一种实现方式中,可以分析取景图像中预定范围内每个像素点的色值,将对应的像素点的个数最多的色值确定为指示颜色的色值。在另一种实现方式中,也可以计算取景图像中预定范围内色值的均值,将该均值确定为指示颜色的色值。在又一种实现方式中,还可以获取取景图像中预定范围内的颜色分布直方图,根据颜色在取景图像中的分布情况确定指示颜色的色值。可以理解,还可以有其它的确定指示颜色的方式。
在另一些可选实施方式中,头戴式设备包括:支架,图像采集组件,显示组件及通信单元。其中,图像采集组件和显示组件设置于支架上,并且,在该头戴式设备处于使用状态时,显示组件在用户的视觉感知范围内。图像采集组件用于采集取景图像。通信单元用于将图像采集组件采集的取景图像传输至云端处理器,以供该云端处理器基于上述取景图像确定待显示的指示颜色,接收云端处理器发送的确定的指示颜色的信息。显示组件用于根据指示颜色的信息显示上述指示颜色,以向用户指示上述图像采集组件的取景方位。其中,指示颜色的信息为能够标识指示颜色的信息,例如,指示颜色的名称,指示颜色的标识信息以及指示颜色的色值等等。
在本实施例中,头戴式设备的通信单元可以将采集组件采集到的取景图像传输至云端处理器,由云端处理器基于上述取景图像确定待显示的指示颜色。因此,在本实施例中,确定待显示的指示颜色是在云端处理器上进行的,云端处理器确定指示颜色后再将结果通过头戴式设备的通信单元返回给头戴式设备。其中,云端处理器例如可以是远程的服务器,或者,也可以是认证用户的智能移动电子设备如,手机,平板电脑等。
与图1对应的实施例相比,本实施例的头戴式设备不设处理器,而是通过将采集组件采集到的取景图像经通信单元传输至云端处理器,并接收云端处理器发送的结果,根据结果显示指示颜色,从而实现头戴式设备的视觉反馈。
应当理解,本实施例中记载的头戴式设备的结构可参考图1-2描述的头戴式设备中的各个结构。由此,上文针对头戴式设备描述的各个结构部件和特征同样适用于本实施例中记载的头戴式设备,在此不再赘述。
进一步参考图3,其示出了本申请的用于头戴式设备的视觉反馈方法的一个实施例的流程300。
如图3所示,在步骤301中,获取采集到的取景图像。
接着,在步骤302中,基于上述取景图像确定待显示的指示颜色。
最后,在步骤303中,显示上述指示颜色,以向用户指示取景方位。
一般来说,在进行拍照或摄像时,首先需要进行实时的取景,即每秒获得多帧取景图像。在现有技术中,是直接将取景图像作为视觉反馈图像,显示在取景屏幕上以供用户浏览。而我们周围的事物一般颜色比较丰富,如果能够获知取景图像中一定范围(如中心范围)的颜色,那么用户可以结合采集取景图像的器件(如摄像头)的位置,大体判断出取景的方位。在本实施例中,采集到取景图像后,对获取到的取景图像进行分析处理,确定用于视觉反馈的指示颜色,显示上述指示颜色,以向用户指示取景方位。
在本实施例中,可以采用全彩LED灯或者全彩显示屏显示指示颜色。
进一步参考图4,其示出了基于取景图像确定待显示的指示颜色的方法的一个实施例的流程400。
如图4所示,在步骤401中,获取取景图像中预定范围内每个像素点的色值。
最后,在步骤402中,根据预定范围内每个像素点的色值确定指示颜色。
具体地,在本实施例中,首先,获取上述取景图像中预定范围内每个像素点的色值。其中,预定范围为上述取景图像的中心区域(即预定范围的中心为上述取景图像的中心)。本申请对预定范围的具体形状以及范围的大小不限定。
然后,根据预定范围内每个像素点的色值确定指示颜色。具体来说,在一种实现方式中,可以分析取景图像中预定范围内每个像素点的色值,将对应的像素点的个数最多的色值确定为指示颜色的色值。在另一种实现方式中,也可以计算取景图像中预定范围内色值的均值,将该均值确定为指示颜色的色值。在又一种实现方式中,还可以获取取景图像中预定范围内的颜色分布直方图,根据颜色在取景图像中的分布情况确定指示颜色的色值。可以理解,还可以有其它的确定指示颜色的方式。
应当注意,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
进一步参考图5,其示出了根据本申请的用于头戴式设备的视觉反馈装置的一个实施例的结构示意图。
如图5所示,本实施例的装置500包括:获取单元501,确定单元502和显示单元503。其中,获取单元501用于获取采集到的取景图像。确定单元502用于基于所述取景图像确定待显示的指示颜色。显示单元503用于显示所述指示颜色,以向用户指示取景方位。
在一些可选实施方式中,确定单元502包括:色值获取子单元和指示颜色确定子单元(未示出)。色值获取子单元用于获取取景图像中预定范围内每个像素点的色值。指示颜色确定子单元用于根据预定范围内每个像素点的色值确上述指示颜色。
在一些可选实施方式中,指示颜色确定子单元配置用于:将预定范围内对应的像素点的个数最多的色值确定为指示颜色的色值。或者将预定范围内像素点的色值的均值确定为指示颜色的色值。
应当理解,装置500中记载的诸单元或模块与参考图1-4描述的头戴式设备的各个结构以及方法中的各个步骤相对应。由此,上文针对头戴式设备的各个结构以及方法描述的操作和特征同样适用于装置500及其中包含的单元,在此不再赘述。装置500可以预先设置在头戴式设备中,也可以通过下载等方式而加载到头戴式设备中。装置500中的相应单元可以与头戴式设备中的单元相互配合以实现用于头戴式设备的视觉反馈的方案。
图6示出了可以应用本申请实施例的示例性系统架构600。
如图6所示,系统架构600可以包括终端设备601、头戴式设备602、网络603和服务器604。网络603用以在终端设备601、头戴式设备602和服务器604之间提供通信链路的介质。网络603可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户610可以使用终端设备601、头戴式设备602通过网络603与服务器604交互,以接收或发送消息等。终端设备601上可以安装有各种通讯客户端应用,例如即时通信工具、邮箱客户端、社交平台软件等。
终端设备601可以是各种电子设备,包括但不限于个人电脑、智能手机、智能手表、平板电脑、个人数字助理等等。头戴式设备602可以是各种具有拍照和/或摄像功能的头戴式设备,包括但不限于智能眼镜、头戴式数码相机以及智能头盔等等。
服务器604可以是提供各种服务的服务器。服务器可以对接收到的数据进行存储、分析等处理,并将处理结果反馈给头戴式设备。
需要说明的是,本申请实施例所提供的用于头戴式设备视觉反馈的方法可以由头戴式设备602执行,也可以由终端设备601或服务器604执行,用于头戴式设备视觉反馈的装置可以设置于头戴式设备602中,也可以设置于终端设备601或服务器604中。在一些实施例中,基于取景图像确定待显示的指示颜色的步骤可以在服务器604或终端设备601中执行,也可以在头戴式设备602中执行。例如,在基于取景图像确定待显示的指示颜色时,如果网络603通畅,可以由服务器604或终端设备601进行确定后返回指示颜色的信息,如果没有网络或网络603不畅通,可以在头戴式设备602中进行确定。
应该理解,图6中的终端设备、头戴式设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
描述于本申请实施例中所涉及到的单元模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元模块也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元,确定单元和显示单元。其中,这些单元模块的名称在某种情况下并不构成对该单元模块本身的限定,例如,获取单元还可以被描述为“用于获取采集到的取景图像的单元”。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本申请的用于头戴式设备的视觉反馈的方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种头戴式设备,其特征在于,所述头戴式设备包括:支架,图像采集组件,显示组件及处理器;
其中,所述图像采集组件和所述显示组件设置于所述支架上,并且,在所述头戴式设备处于使用状态时,所述显示组件在用户的视觉感知范围内;
所述图像采集组件用于采集取景图像;
所述处理器获取所述图像采集组件采集的取景图像,基于所述取景图像确定待显示的指示颜色,并控制所述显示组件显示所述指示颜色,以向用户指示所述图像采集组件的取景方位。
2.根据权利要求1所述的头戴式设备,其特征在于,所述处理器配置用于:
获取所述取景图像中预定范围内每个像素点的色值;
根据所述预定范围内每个像素点的色值确定所述指示颜色。
3.根据权利要求2所述的头戴式设备,其特征在于,
所述处理器将所述预定范围内对应的像素点的个数最多的色值确定为所述指示颜色的色值;或者
所述处理器将所述预定范围内像素点的色值的均值确定为所述指示颜色的色值。
4.根据权利要求2或3所述的头戴式设备,其特征在于,所述预定范围为所述取景图像的中心区域。
5.根据权利要求1所述的头戴式设备,其特征在于,所述显示组件包括全彩LED灯或者全彩显示屏。
6.根据权利要求5所述的头戴式设备,其特征在于,所述显示组件包括全彩显示屏,所述全彩显示屏包括以下至少一种:全彩LED显示屏,以及全彩OLED显示屏。
7.一种头戴式设备,其特征在于,所述头戴式设备包括:支架,图像采集组件,显示组件及通信单元;
其中,所述图像采集组件和所述显示组件设置于所述支架上,并且,在所述头戴式设备处于使用状态时,所述显示组件在用户的视觉感知范围内;
所述图像采集组件用于采集取景图像;
所述通信单元用于将所述图像采集组件采集的取景图像传输至云端处理器,以供所述云端处理器基于所述取景图像确定待显示的指示颜色,接收所述云端处理器发送的确定的指示颜色的信息;
所述显示组件用于根据所述指示颜色的信息显示所述指示颜色,以向用户指示所述图像采集组件的取景方位。
8.一种用于头戴式设备的视觉反馈方法,其特征在于,所述方法包括:
获取采集到的取景图像;
基于所述取景图像确定待显示的指示颜色;
显示所述指示颜色,以向用户指示取景方位。
9.根据权利要求8所述的方法,其特征在于,所述基于所述取景图像确定待显示的指示颜色,包括:
获取所述取景图像中预定范围内每个像素点的色值;
根据所述预定范围内每个像素点的色值确定所述指示颜色。
10.根据权利要求9所述的方法,其特征在于,所述根据所述预定范围内每个像素点的色值确定所述指示颜色,包括:
将所述预定范围内对应的像素点的个数最多的色值确定为所述指示颜色的色值;或者
将所述预定范围内像素点的色值的均值确定为所述指示颜色的色值。
11.根据权利要求8所述的方法,其特征在于,采用全彩LED灯或者全彩显示屏显示所述指示颜色。
12.一种用于头戴式设备的视觉反馈装置,其特征在于,所述装置包括:
获取单元,用于获取采集到的取景图像;
确定单元,用于基于所述取景图像确定待显示的指示颜色;
显示单元,用于显示所述指示颜色,以向用户指示取景方位。
13.根据权利要求12所述的装置,其特征在于,所述确定单元包括:
色值获取子单元,用于获取所述取景图像中预定范围内每个像素点的色值;
指示颜色确定子单元,用于根据所述预定范围内每个像素点的色值确定所述指示颜色。
14.根据权利要求13所述的装置,其特征在于,所述指示颜色确定子单元配置用于:
将所述预定范围内对应的像素点的个数最多的色值确定为所述指示颜色的色值;或者
将所述预定范围内像素点的色值的均值确定为所述指示颜色的色值。
CN201510226606.1A 2015-05-06 2015-05-06 头戴式设备及其视觉反馈的方法及装置 Active CN104834356B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510226606.1A CN104834356B (zh) 2015-05-06 2015-05-06 头戴式设备及其视觉反馈的方法及装置
PCT/CN2015/090242 WO2016176950A1 (zh) 2015-05-06 2015-09-22 头戴式设备及其视觉反馈的方法及装置
US15/504,078 US10372287B2 (en) 2015-05-06 2015-09-22 Headset device and visual feedback method and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510226606.1A CN104834356B (zh) 2015-05-06 2015-05-06 头戴式设备及其视觉反馈的方法及装置

Publications (2)

Publication Number Publication Date
CN104834356A CN104834356A (zh) 2015-08-12
CN104834356B true CN104834356B (zh) 2018-04-13

Family

ID=53812295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510226606.1A Active CN104834356B (zh) 2015-05-06 2015-05-06 头戴式设备及其视觉反馈的方法及装置

Country Status (3)

Country Link
US (1) US10372287B2 (zh)
CN (1) CN104834356B (zh)
WO (1) WO2016176950A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834356B (zh) 2015-05-06 2018-04-13 百度在线网络技术(北京)有限公司 头戴式设备及其视觉反馈的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2728846A1 (en) * 2012-11-06 2014-05-07 Konica Minolta, Inc. Guidance information display device
CN103841488A (zh) * 2012-11-12 2014-06-04 胜德国际研发股份有限公司 头戴式耳机装置
CN104182051A (zh) * 2014-08-29 2014-12-03 百度在线网络技术(北京)有限公司 头戴式智能设备和具有该头戴式智能设备的交互系统
CN104345802A (zh) * 2013-08-08 2015-02-11 派布勒斯有限公司 控制近眼式显示器的方法和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8235530B2 (en) 2009-12-07 2012-08-07 C-Rad Positioning Ab Object positioning with visual feedback
US20130139082A1 (en) * 2011-11-30 2013-05-30 Google Inc. Graphical Interface Having Adjustable Borders
US9691241B1 (en) * 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
JP6028357B2 (ja) * 2012-03-22 2016-11-16 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
CN104834356B (zh) * 2015-05-06 2018-04-13 百度在线网络技术(北京)有限公司 头戴式设备及其视觉反馈的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2728846A1 (en) * 2012-11-06 2014-05-07 Konica Minolta, Inc. Guidance information display device
CN103841488A (zh) * 2012-11-12 2014-06-04 胜德国际研发股份有限公司 头戴式耳机装置
CN104345802A (zh) * 2013-08-08 2015-02-11 派布勒斯有限公司 控制近眼式显示器的方法和设备
CN104182051A (zh) * 2014-08-29 2014-12-03 百度在线网络技术(北京)有限公司 头戴式智能设备和具有该头戴式智能设备的交互系统

Also Published As

Publication number Publication date
US10372287B2 (en) 2019-08-06
WO2016176950A1 (zh) 2016-11-10
CN104834356A (zh) 2015-08-12
US20180067623A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
US9866748B2 (en) System and method for controlling a camera based on processing an image captured by other camera
CN107743197B (zh) 一种屏幕补光方法、装置及移动终端
US9491418B2 (en) Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
CN206042072U (zh) 一种双摄像头装置及终端
CN108471504B (zh) 一种拍摄控制方法、装置及智能终端
CN104580878A (zh) 电子装置以及自动效果方法
CN106550184A (zh) 照片处理方法及装置
CN105120247A (zh) 一种白平衡调整方法及电子设备
EP3891974B1 (en) High dynamic range anti-ghosting and fusion
US9959841B2 (en) Image presentation control methods and image presentation control apparatuses
CN104010124A (zh) 一种显示滤镜效果的方法、装置和移动终端
CN108200352B (zh) 一种调解图片亮度的方法、终端及存储介质
JP2015532041A (ja) 逆光補正方法、装置及び端末
CN106899768A (zh) 一种终端拍照方法和装置
CN111757082A (zh) 一种应用于ar智能设备的图像处理方法及系统
CN103997616B (zh) 一种处理视频会议画面的方法、装置及会议终端
CN104834356B (zh) 头戴式设备及其视觉反馈的方法及装置
US8456551B2 (en) Photographing apparatus and smear correction method thereof
CN107094230A (zh) 一种利用多空域数据融合技术获取图像和视频的方法
CN110930340B (zh) 一种图像处理方法及装置
CN107172410A (zh) 双摄像头对焦方法及装置
CN106327588B (zh) 智能终端及其图像处理方法和装置
CN112738425A (zh) 一种多摄像头采集的视频实时拼接系统
CN110335257A (zh) 一种图像色彩检测方法及移动终端
CN204669540U (zh) 佩戴式电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant