CN109752951A - 控制系统的处理方法、装置、存储介质和电子装置 - Google Patents

控制系统的处理方法、装置、存储介质和电子装置 Download PDF

Info

Publication number
CN109752951A
CN109752951A CN201711070963.9A CN201711070963A CN109752951A CN 109752951 A CN109752951 A CN 109752951A CN 201711070963 A CN201711070963 A CN 201711070963A CN 109752951 A CN109752951 A CN 109752951A
Authority
CN
China
Prior art keywords
target
image
information
distance
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711070963.9A
Other languages
English (en)
Other versions
CN109752951B (zh
Inventor
周扬
王金桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711070963.9A priority Critical patent/CN109752951B/zh
Priority to PCT/CN2018/112047 priority patent/WO2019085829A1/zh
Publication of CN109752951A publication Critical patent/CN109752951A/zh
Priority to US16/594,565 priority patent/US11275239B2/en
Application granted granted Critical
Publication of CN109752951B publication Critical patent/CN109752951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0129Head-up displays characterised by optical features comprising devices for correcting parallax
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

本发明公开了一种控制系统的处理方法、装置、存储介质和电子装置。其中,该方法包括:通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离;按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离。本发明解决了相关技术控制系统的控制成本大的技术问题。

Description

控制系统的处理方法、装置、存储介质和电子装置
技术领域
本发明涉及虚拟现实领域,具体而言,涉及一种控制系统的处理方法、装置、存储介质和电子装置。
背景技术
目前,在演出时,因为演员经常前后移动表演,需要控制系统的追光设备动态调整位置,来保证演员的面部光线良好。这主要是通过工作人员手动来完成,需要较高的人工成本。
另外,因为在通过双目摄像机进行线上直播时,用户使用VR眼镜盒子观看能够体验到面对面的直播感觉。因而用户有一种心理预期是,当主播离得更近的时候,声音会更大;主播离得更远的时候,声音会更小。但是,实际上演员的声音,都是通过佩戴在身上的麦克风设备拾音获取得到的,音量变化不明显。
相关技术在双目摄像头的基础上,额外配置一个深度摄像头来获取深度信息。但是该方法带来的问题是,引入了新的摄像头,从而增加了控制系统的成本。
另外,相关技术通过复杂的算法处理双目获得的图片,计算图像中每个像素点的深度信息。该方法虽然可以获取精确的深度信息,但是运算量巨大,无法做到实时性。
针对上述的控制系统的控制成本大的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种控制系统的处理方法、装置、存储介质和电子装置,以至少解决相关技术控制系统的控制成本大的技术问题。
根据本发明实施例的一个方面,提供了一种控制系统的处理方法。该方法包括:通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离;按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离。
根据本发明实施例的另一方面,还提供了一种控制系统的处理装置。该装置包括:第一获取单元,用于通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;第二获取单元,用于获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离;调整单元,用于按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离。
在本发明实施例中,通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离;按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离,实现了对控制系统的目标参数进行调整的目的,达到降低控制系统的控制成本的技术效果,进而解决了相关技术控制系统的控制成本大的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种控制系统的处理方法的硬件环境的示意图;
图2是根据本发明实施例的一种控制系统的处理方法的流程图;
图3是根据本发明实施例的一种控制系统的示意图;
图4是根据本发明实施例的一种控制系统的计算中心设备的处理方法的流程图;
图5是根据本发明实施例的一种视差与距离之间的对应关系的示意图;
图6是根据本发明实施例的一种通过虚拟眼镜体验控制系统的控制效果示意图;
图7是根据本发明实施例的另一种通过虚拟眼镜体验控制系统的控制效果示意图;
图8是根据本发明实施例的另一种通过虚拟眼镜体验控制系统的控制效果示意图;
图9是根据本发明实施例的一种控制系统的处理装置的示意图;以及
图10是根据本发明实施例的一种电子装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种控制系统的处理方法的实施例。
可选地,在本实施例中,上述控制系统的处理方法可以应用于如图1所示的由服务器102、包括目标摄像设备的控制系统104和虚拟现实设备106所构成的硬件环境中。图1是根据本发明实施例的一种控制系统的处理方法的硬件环境的示意图。如图1所示,服务器102通过网络与控制系统104进行连接,上述网络包括但不限于:广域网、城域网或局域网,控制系统104并不限定于舞台控制系统等。本发明实施例的控制系统的处理方法可以由服务器102来执行,也可以由控制系统104来执行,还可以是由服务器102和控制系统104共同执行。其中,控制系统104执行本发明实施例的控制系统的处理方法也可以是由安装在其上的客户端来执行。上述虚拟现实设备106并不限定于:虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等,用于用户体验由控制系统向虚拟现实设备输出媒体信息,该媒体信息不限定于声音信息、灯光信息等。
图2是根据本发明实施例的一种控制系统的处理方法的流程图。如图2所示,该方法可以包括以下步骤:
步骤S202,通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息。
在本申请上述步骤S202提供的技术方案中,在该实施例中,控制系统可以为演出舞台控制系统,用于控制舞台上演员的表演效果,或者控制直播室中演员的表演效果,其中,包括声音效果、灯光效果等控制效果。控制系统包括目标摄像设备,该目标摄像设备可以具有两个摄像头,也即,该目标摄像设备为双目摄像设备,比如,包括左摄像头和右摄像头的双目摄像机、双目摄像头等。相比于单摄像设备而言,双目摄像设备利用仿生学原理,通过标定后的双摄像头得到同步曝光图像,然后计算获取的二维图像像素点的三维深度信息。可选地,在现实场景包括演员在舞台上的表演场景。
该实施例通过上述目标摄像设备获取当前在现实场景中移动的目标对象的第一图像信息。该实施例的目标对象可以为现实场景中的演员、主播、物体等对象,其中,目标对象在现实场景中移动,也即,目标对象与目标摄像设备之间的距离是变化的,通过目标摄像设备可以实时采集目标对象的第一图像信息,该第一图像信息可以为实时采集的目标对象的画面信息,包括通过双目摄像设备获取到的图片信息、视频信息等,还可以包括通过目标摄像设备中的左摄像头获取的图像的中点横向坐标和通过右摄像头获取的图像的中点横向坐标的差值,也即,该第一图像信息还包括图像视差,此处不做任何限制。
步骤S204,获取与第一图像信息对应的第一距离。
在本申请上述步骤S204提供的技术方案中,获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离。
在通过控制系统的目标摄像设备获取当前目标对象的第一图像信息之后,获取与第一图像信息对应的第一距离,该第一距离为目标对象距离目标摄像设备的实时距离,可以为目标摄像设备对目标对象的深度信息。
可选地,该实施例从对应关系表中获取与第一图像信息对应的第一距离,该对应关系表包括预先建立的图像视差、目标对象与目标摄像头之间的距离的数据关系,可以根据第一图像信息中的图像视差从对应关系表中获取当前时间对应的第一距离。
步骤S206,按照第一距离调整控制系统的目标参数。
在本申请上述步骤S206提供的技术方案中,在获取与第一图像信息对应的第一距离之后,按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离。
该实施例的控制系统的目标参数可以为在舞台控制时需要达到某种表演效果的控制参数,用于控制控制系统向虚拟现实设备输出媒体信息。该目标参数包括控制系统的声音参数、灯光参数等,其中,声音参数用于控制控制系统向虚拟现实设备输出的声音信息,灯光参数用于控制控制系统向虚拟现实设备输出的灯光信息。该实施例的虚拟现实设备与控制系统相连接,该虚拟现实设备可以映射控制系统获取的图像信息和媒体信息,可以为虚拟现实(Virtual Reality,简称为VR)眼镜盒子,可以由观看表演的用户进行使用,来体验控制系统的控制效果。
可选地,在目标对象在现实场景中移动的过程中,按照目标对象与目标摄像设备之间的距离变化状态来调整控制系统的目标参数。可选地,调整控制系统的声音参数,比如,调整控制系统的声音强度(单位:dB),其中,声音强度与距离平方成反比。当目标对象在现实场景移动过程中靠近目标摄像设备时,通过调整控制系统的声音参数使声音更大;当目标对象在现实场景移动过程中远离目标摄像设备时,通过调整控制系统的声音参数使声音更小,以使得用户在观看表演时听到的声音更加真实,从而为用户带来身临其境的体验。
需要说明的是,该实施例对控制系统调整声音参数的调整规则不做限制,任何可以实现当目标对象靠近目标摄像设备时,声音更大,目标对象远离目标摄像设备时,声音更小的调整规则都在本发明实施例的范围之内。
可选地,该实施例还可以调整控制系统的灯光参数控制灯光,比如,当目标对象与目标摄像设备之间的距离减小时,控制灯光的云台自动将灯光聚焦处移动到距离目标摄像设备较近的区域;当目标对象与目标摄像设备之间的距离增大时,控制灯光的云台自动将灯光聚焦处移动到距离目标摄像设备较远的区域,这样可以实现控制聚光灯跟随目标对象前后移动,以保证灯光照在演员上的光线良好,从而为用户带来身临其境的体验。
需要说明的是,该实施例对调整灯光参数的调整规则不做具体限制,任何可以实现当目标对象靠近目标摄像设备时,灯光的云台自动将灯光聚焦处移动到距离目标摄像设备近的区域,当目标对象与目标摄像设备之间的距离增大时,控制灯光的云台自动将灯光聚焦处移动到距离目标摄像设备较远的区域的调整规则,都在本发明实施例的范围之内,此处不再一一举例说明。
该实施例的媒体信息与目标对象在现实场景中移动的移动信息相对应。该媒体信息包括声音信息、灯光信息等在舞台表演时,以及用户观看时需要的信息,其中,声音信息包括具有一定大小的声音信息,比如,当目标对象靠近目标摄像设备时,为声音变大的声音信息;当目标对象远离目标摄像设备时,为声音变小的声音信息。这样当用户通过虚拟现实设备进行体验时,比如,通过VR眼镜盒子进行观看时,当目标对象离用户更近的时候,用户所体验到的是听到的声音变大,当目标对象离用户更远的时候,用户所体验到的是听到的声音变小,从而使得用户在观看表演时听到的声音更加真实,为用户带来身临其境的体验。
可选地,当目标对象靠近目标摄像设备时,媒体信息为灯光的云台自动将灯光聚焦处移动到距离目标摄像设备近的区域时所呈现的光信息;当目标对象靠近目标摄像设备时,媒体信息为灯光的云台自动将灯光聚焦处移动到目标摄像设备远的区域时所呈现的光信息,从而保证了灯光照在演员上的光线良好,为用户带来身临其境的体验。
可选地,该实施例除了上述媒体信息之外,还可以包括其它用于舞台控制的信息,此处不做任何限制。
通过上述步骤S202至步骤S206,通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;获取与第一图像信息对应的第一距离,该第一距离为目标摄像设备与目标对象之间的距离;按照第一距离调整控制系统的目标参数,该目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离。由于根据图像信息与距离之间的对应关系,可以低成本获取目标对象与目标摄像设备之间的距离,实现了对控制系统的目标参数进行调整的目的,达到降低控制系统的控制成本的技术效果,进而解决了相关技术控制系统的控制成本大的技术问题。
作为一种可选的实施例,步骤S204,获取与第一图像信息对应的第一距离包括:在第一图像信息中获取第一子图像信息和第二子图像信息之间的第一图像视差,其中,第一子图像信息由第一摄像机对目标对象摄像得到,第二子图像信息由第二摄像机对目标对象摄像得到,第一摄像机和第二摄像机部署在目标摄像设备中,第一图像视差用于表征第一子图像信息所指示的目标对象的第一图像和第二子图像信息所指示的目标对象的第二图像之间的差异;在目标对应关系表中获取与第一图像视差对应的第一距离。
在该实施例中,通过目标摄像设备获取到的图像信息包括图像视差,也即,第一图像信息包括第一图像视差,该第一图像视差用于表征第一子图像信息所指示的目标对象的第一图像和第二子图像信息所指示的目标对象的第二图像之间的差异,由第一子图像信息和第二子图像信息得到,比如,第一图像视差通过第一子图像的中点横向坐标和第二子图像的中点横向坐标之差得到。其中,第一子图像信息由目标摄像设备中的第一摄像机对目标对象摄像得到,该第一摄像机可以为双目摄像机的左摄像头,或者右摄像头;第二子图像信息由目标摄像设备中的第二摄像机对目标对象摄像得到,在第一摄像机为双目摄像机的左摄像头的情况下,该第二摄像设备可以为双目摄像机的右摄像头,在第一摄像机为双目摄像机的右摄像头的情况下,该第二摄像设备可以为双目摄像机的左摄像头。
该实施例的目标对应关系表为预先建立的图像视差与距离之间的关系的数据关系表,其中包括了图像视差与距离之间的对应关系,该图像视差用于表征通过目标摄像设备获取到的不同图像之间的差异,包括该实施例的第一图像视差,距离为目标摄像设备与目标对象之间的距离,包括该实施例的第一距离。通过该目标对应关系表,可以在图像视差确定的情况下,根据图像视差以及图像视差与距离之间的对应关系确定距离,从而达到快速、低成本地获取与图像视差对应的距离的目的。比如,目标对应关系表中存储了第一图像视差与第一距离之间具有对应关系,在获取上述第一子图像信息和第二子图像信息之间的第一图像视差之后,从目标对应关系表中获取与该第一图像视差对应的第一距离,从而在目标对应关系表中可以快速、低成本地获取与第一图像视差对应的第一距离,进而按照第一距离调整控制系统的目标参数,输出与目标参数对应的媒体信息,达到了降低控制系统的控制成本的技术效果,提升了用户体验。
可选地,该目标对应关系表除了存储第一图像视差与第一距离之间的对应关系之外,还可以预先存储其它更多的图像视差与距离之间的对应关系。可以在目标摄像设备与目标对象之间的距离确定的情况下,获取与该距离对应的图像视差,从而将距离与对应的图像视差存储在目标对应关系表中,比如,设定目标摄像设备与目标对象之间的距离为D1米,通过目标摄像设备获取距离目标摄像设备D1米的目标对象的图像信息,从该图像信息中获取图像视差,再将上述D1米和与D1米对应的图像视差存储在目标对应关系表中;再设定目标摄像设备与目标对象之间的距离为D2米,该D2米与D1米不同,通过目标摄像设备获取距离目标摄像设备D2米的目标对象的图像信息,从该图像信息中获取图像视差,再将上述D2米和与D2米对应的图像视差存储在目标对应关系表中,以建立目标对应关系表。
作为一种可选的实施例,在第一图像信息中获取第一子图像信息和第二子图像信息之间的第一图像视差包括:获取第一子图像信息中的第一中点横向坐标,其中,第一中点横向坐标为第一图像的中心点在目标坐标系下的横向坐标;获取第二子图像信息中的第二中点横向坐标,其中,第二中点横向坐标为第二图像的中心点在目标坐标系下的横向坐标;将第一中点横向坐标与第二中点横向坐标之间的差值确定为第一图像视差。
在该实施例中,图像信息包括中点横向坐标,该中点横向坐标为图像的中心点在目标坐标系中的横向坐标值。获取第一子图像信息中的第一中点横向坐标,比如,第一子图像信息为左摄像头采集到的画面信息,可以为左人像,该左人像在目标坐标系中的中心点为(X1,Y1),则左人像的第一中点横向坐标为X1;获取第二子图像信息中的第二中点横向坐标,第二子图像信息可以为右摄像头采集到的画面信息,可以为右人像,该右人像在目标坐标系中的中心点为(X2,Y2),则右人像的第二中点横向坐标为X2。在获取第一子图像信息中的第一中点横向坐标,第二子图像信息中的第二中点横向坐标之后,获取第一中点横向坐标和第二中点横向坐标之间的差值,将第一中点横向坐标与第二中点横向坐标之间的差值确定为上述第一图像视差,也即,将(X1-X2)确定为第一图像视差,进而获取与上述第一图像视差对应的第一距离,按照第一距离调整控制系统的目标参数,输出与目标参数对应的媒体信息,达到了降低控制系统的控制成本的技术效果,提升了用户体验。
作为一种可选的实施例,在目标对应关系表中获取与第一图像视差对应的第一距离包括:在目标对应关系表中查找与第一图像视差之间的差值最小的目标图像视差;在目标对应关系表中将与目标图像视差对应的距离确定为第一距离。
在该实施例中,在获取与第一图像视差对应的第一距离时,由于目标对应关系表为预先建立的图像视差与距离之间的数据关系,但是在实时计算图像视差时,计算得到的图像视差可能不在预先建立的对应关系表中。在这样的情况下,可以在目标对应关系表中查找与第一图像视差之间的差值为最小差值的目标图像视差,该差值为绝对差值,也即,将目标对应关系表中查找与第一图像视差最接近的图像视差,将与第一图像视差最激进的图像视差确定为目标图像视差,进而在目标对应关系表中,将与目标图像视差对应的距离确定为第一距离,同样可以按照第一距离调整控制系统的目标参数,输出与目标参数对应的媒体信息,达到了降低控制系统的控制成本的技术效果,提升了用户体验。
作为一种可选的实施例,在目标对应关系表中获取与第一图像视差对应的第一距离之前,该方法还包括:通过目标摄像设备获取目标对象的第二图像信息,其中,目标对象与目标摄像设备之间的距离为第一目标距离;在第二图像信息中获取第三子图像信息和第四子图像信息之间的第二图像视差,其中,第三子图像信息由第一摄像机对目标对象摄像得到,第四子图像信息由第二摄像机对目标对象摄像得到,第二图像视差用于表征第三子图像信息所指示的目标对象的第三图像和第四子图像信息所指示的目标对象的第四图像之间的差异;在目标对应关系表中建立第一目标距离与第二图像视差的对应关系;通过目标摄像设备获取目标对象的第三图像信息,其中,目标对象与目标摄像设备之间的距离为第二目标距离,第二目标距离不同于第一目标距离;在第三图像信息中获取第五子图像信息和第六子图像信息之间的第三图像视差,其中,第五子图像信息由第一摄像机对目标对象摄像得到,第六子图像信息由第二摄像机对目标对象摄像得到,第三图像视差用于表征第五子图像信息所指示的目标对象的第五图像和第六子图像信息所指示的目标对象的第六图像之间的差异;在目标对应关系表中建立第二目标距离与第三图像视差的对应关系。
在该实施例中,在从目标对应关系表中,获取与第一图像视差对应的第一距离之前,建立目标对应关系表中的数据关系。通过目标摄像设备获取距离目标摄像设备第一目标距离的目标对象的第二图像信息,该第一目标距离为预先设定的距离,比如,为D1米,该第一目标距离为设定的基本距离,可以为在使用户具有三维(3D)体验时,目标摄像设备与目标对象之间的最远距离。将目标对象摆放在距离目标摄像设备第一目标距离的区域,通过目标摄像设备获取实时对目标对象进行拍摄得到的第二图像信息。在获取到第二图像信息之后,从第二图像信息中,获取第三子图像信息和第四子图像信息之间的第二图像视差,该第二图像视差用于表征第三子图像信息所指示的目标对象的第三图像和第四子图像信息所指示的目标对象的第四图像之间的差异,第二图像视差由第三子图像信息和第四子图像信息得到,比如,第二图像视差通过第三子图像的中点横向坐标和第四子图像的中点横向坐标之差得到。其中,第三子图像信息由目标摄像设备中的第一摄像机对用于建立目标对应关系表中的目标对象摄像得到,该第一摄像机可以为双目摄像机的左摄像头;第四子图像信息由目标摄像设备中的第二摄像机对目标对象摄像得到,该第二摄像设备可以为双目摄像机的右摄像头。在目标对应关系表中,建立上述第一目标距离与第二图像视差的对应关系。
可选地,通过目标摄像设备获取距离目标摄像设备第二目标距离的目标对象的第三图像信息,该第二目标距离为预先设定的距离,比如,为D2米,可以为相对第一目标距离变化的距离,比如,第二目标距离为相对第一距离变化5米的距离。将目标对象摆放在距离目标摄像设备第二目标距离的区域,通过目标摄像设备获取实时对目标对象进行拍摄得到的第三图像信息。在获取到第三图像信息之后,从第三图像信息中,获取第五子图像信息和第六子图像信息之间的第三图像视差,该第三图像视差用于表征第五子图像信息所指示的目标对象的第五图像和第六子图像信息所指示的目标对象的第六图像之间的差异,该第三图像视差由第五子图像信息和第六子图像信息得到,比如,第三图像视差通过第五子图像的中点横向坐标和第六子图像的中点横向坐标之差得到。其中,第五子图像信息由目标摄像设备中的第一摄像机对用于建立目标对应关系表中的目标对象摄像得到,该第一摄像机可以为双目摄像机的左摄像头;第六子图像信息由目标摄像设备中的第二摄像机对目标对象摄像得到,该第二摄像设备可以为双目摄像机的右摄像头。在目标对应关系表中,建立上述第二目标距离与第三图像视差的对应关系。
该实施例可以不断改变目标摄像设备距离目标对象的之间距离,重复上述步骤,还可以在目标对应关系表中,建立第三目标距离与第四图像视差的第三对应关系等,依次类推,从而建立包括图像视差与距离之间的数据关系的目标对应关系表。
需要说明的是,该实施例建立包括图像视差与距离之间的数据关系的目标对应关系表的方法,仅为本发明实施例的优选实施方式,并不代表本发明建立目标对应关系表的方法仅为上述方法,任何可以建立目标对应关系表的方法都在本发明实施例的范围之内,此处不再一一举例说明。
作为一种可选的实施例,获取第三子图像信息和第四子图像信息之间的第二图像视差包括:获取第三子图像信息中的第三中点横向坐标,其中,第三中点横向坐标为第三图像的中心点在目标坐标系下的横向坐标;获取第四子图像信息中的第四中点横向坐标,其中,第四中点横向坐标为第四图像的中心点在目标坐标系下的横向坐标;将第三中点横向坐标与第四中点横向坐标之间的差值确定为第二图像视差;获取第五子图像信息和第六子图像信息之间的第三图像视差包括:获取第五子图像信息中的第五中点横向坐标,其中,第五中点横向坐标为第五图像的中心点在目标坐标系下的横向坐标;获取第六子图像信息中的第六中点横向坐标,其中,第六中点横向坐标为第六图像的中心点在目标坐标系下的横向坐标;将第五中点横向坐标与第六中点横向坐标之间的差值确定为第三图像视差。
在该实施例中,在建立目标对应关系表时,获取第三子图像信息中的第三中点横向坐标,比如,第三子图像信息为左摄像头采集到的画面信息,可以为左人像,该左人像在目标坐标系中的中心点为(X3,Y3),则左人像的第三中点横向坐标为X3;获取第四子图像信息中的第四中点横向坐标,第四子图像信息可以为右摄像头采集到的画面信息,可以为右人像,该右人像在目标坐标系中的中心点为(X4,Y4),则右人像的第四中点横向坐标为X4。在获取第三子图像信息中的第三中点横向坐标,第四子图像信息中的第四中点横向坐标之后,获取第三中点横向坐标和第四中点横向坐标之间的差值,将第三中点横向坐标与第四中点横向坐标之间的差值确定为上述第二图像视差,也即,将(X3-X4)确定为第二图像视差,进而在目标对应关系表中,建立上述第一目标距离与第二图像视差的第一对应关系。
可选地,获取第五子图像信息中的第五中点横向坐标,比如,第五子图像信息为左摄像头采集到的画面信息,可以为左人像,该左人像在目标坐标系中的中心点为(X5,Y5),则左人像的第五中点横向坐标为X5;获取第六子图像信息中的第六中点横向坐标,第六子图像信息可以为右摄像头采集到的画面信息,可以为右人像,该右人像在目标坐标系中的中心点为(X6,Y6),则右人像的第六中点横向坐标为X6。在获取第五子图像信息中的第五中点横向坐标,第六子图像信息中的第六中点横向坐标之后,获取第五中点横向坐标和第六中点横向坐标之间的差值,将第五中点横向坐标与第六中点横向坐标之间的差值确定为上述第三图像视差,也即,将(X5-X6)确定为第三图像视差,进而在目标对应关系表中,建立上述第二目标距离与第三图像视差的对应关系。
需要说明的是,目标对应关系表中,建立其它目标距离与图像视差的对应关系也可以通过上述方法进行,此处不再一一举例说明。
作为一种可选的实施例,获取第三子图像信息中的第三中点横向坐标包括以下至少之一:在第一图像信息为人脸的图像信息的情况下,将左眼图像的中心点的在目标坐标系下的横向坐标和右眼图像的中心点的在目标坐标系下的横向坐标之间的平均值,确定为第一中点横向坐标;在第一图像信息为人脸的图像信息的情况下,将鼻子图像的中心点在目标坐标系下的横向坐标确定为第一中点横向坐标;在第一图像信息为人像的图像信息的情况下,将左手图像的中心点在目标坐标系下的横向坐标和右手图像的中心点在目标坐标系下的横向坐标之间的平均值,确定为第一中点横向坐标;在第一图像信息为人像的图像信息的情况下,将左臂图像的中心点在目标坐标系下的横向坐标和右臂图像的中心点在目标坐标系下的横向坐标之间的平均值,确定为第一中点横向坐标。
在该实施例中,可以使用开源的人脸识别算法,得到目标摄像设备中的第一摄像机和第二摄像机采集的图像区,比如,使用开源的人脸识别算法,得到左摄像头与右摄像头的人像区,并且按照一定规则分别计算出第三子图像信息的第三中点横向坐标,第四子图像信息中的第四中点横向坐标,分别得到左摄像头的横向坐标,右摄像头的横向坐标。上述规则可以是,但不限于以下规则:
在第二图像信息为人脸的图像信息的情况下,将人脸中的双目的像素坐标的平均坐标确定为第三中点横向坐标,也即,将人脸中,两只眼睛像素坐标值的平均值确定为第三中点横向坐标;在第二图像信息为人脸的图像信息的情况下,将人脸中的鼻子的像素坐标确定为第三中点横向坐标,也即,将人脸中,两只眼睛像素坐标值的平均值确定为第三中点横向坐标;在第二图像信息为人像的图像信息的情况下,将人像中的左手和右手的像素坐标的平均坐标确定为第三中点横向坐标,也即,将人像中,左手与右手的像素坐标值的平均值确定为第三中点横向坐标;在第二图像信息为人像的图像信息的情况下,将人像中的左臂和右臂的像素坐标值的平均值确定为第三中点横向坐标,也即,在人像中,将左胳膊与右胳膊的像素坐标值的平均值确定为第三中点横向坐标。
需要说明的是,该实施例所列举的第一中点横向坐标、第二中点横向坐标、第四中点横向坐标、第五中点横向坐标的获取方法都可以通过上述规则获取,此处不再一一举例说明。
作为一种可选的实施例,按照第一距离调整控制系统的目标参数包括:在第一距离的变化状态指示第一距离变小的情况下,增大控制系统的声音参数,其中,目标参数包括声音参数,媒体信息包括声音信息,声音参数用于控制控制系统向虚拟现实设备输出的声音信息;在第一距离的变化状态指示第一距离变大的情况下,减小控制系统的声音参数。
该实施例的目标参数可以包括声音参数,在按照第一距离调整控制系统的目标参数时,在第一距离的变化状态指示第一距离变小的情况下,增大控制系统的声音参数,这样当用户通过虚拟眼镜进行体验时,如果目标对象离用户更近,用户听到的声音会更大;在第一距离的变化状态指示第一距离变大的情况下,减小控制系统的声音参数,这样当目标对象离用户更远的时候,用户听到的声音会更小。这样在演员使用双目摄像机进行拍摄时,控制系统也可以自动检测出目标对象到目标摄像设备之间的距离变化,并实时地调整控制系统向虚拟现实设备输出的声音信息,也即,调整用户接收到的声音大小,从而使得用户在观看舞台表演时,体验到的场景更加真实,以模拟出面对面直播或沟通的体验。
作为一种可选的实施例,按照第一距离调整控制系统的目标参数包括:在第一距离的变化状态指示第一距离变小的情况下,将控制系统的灯光参数调整为第一值,以使得控制系统的灯光聚焦于目标摄像设备的目标区域之内,其中,目标参数包括灯光参数,媒体信息包括灯光信息,灯光参数用于控制控制系统向虚拟现实设备输出的灯光信息;在第一距离的变化状态指示第一距离变大的情况下,将控制系统的灯光参数调整为第二值,以使得控制系统的灯光聚焦于目标摄像设备的目标区域之外。
该实施例的目标参数可以包括灯光参数,在按照第一距离调整控制系统的目标参数时,在第一距离的变化状态指示第一距离变小的情况下,调整控制系统的灯光参数为第一值,调整后的灯光参数使控制系统的灯光聚焦于目标摄像设备的目标区域之内,这样当目标对象到目标摄像设备之间的距离减小时,比如,当物体/演员到摄像头的距离减小时,灯光的云台可以自动将灯光聚焦处移动到距离摄像头近的区域;在第一距离的变化状态指示第一距离变大的情况下,将控制系统的灯光参数调整为第二值,调整后的灯光参数使控制系统的灯光聚焦于目标摄像设备的目标区域之外,实现了聚光灯跟随演员前后移动而移动,以保证灯光照在演员上的光线良好。
作为一种可选的实施例,步骤S204,获取与第一图像信息对应的第一距离包括:通过控制系统中的计算中心设备获取与第一图像信息对应的第一距离,其中,计算中心设备与目标摄像设备相连接;按照第一距离调整控制系统的目标参数包括:通过控制系统中的控制器接收计算中心设备发送的第一距离,并按照第一距离调整控制系统的目标参数。
该实施例的控制系统包括目标摄像设备、计算中心设备和控制器。其中,目标摄像设备可以为双目摄像机。该目标摄像设备用于实时采集第一图像信息,并将第一图像信息传输至计算中心设备,其中,第一图像信息可以为双目图片或视频,目标摄像设备与计算中心设备通过无线或者有线(如:USB、网线等)的方式相连,此处不做任何限制。计算中心设备获取与第一图像信息对应的第一距离,比如,计算中心设备用于完成对双目图片或视频的处理,得到目标对象距离目标摄像设备的第一距离,比如,建立视差与深度信息的数据关系,实时计算图像视差,获得实时深度数据,并向控制器发出控制指令。控制器接收计算中心设备发送的第一距离,触发控制器的控制逻辑,并按照第一距离调整控制系统的目标参数,通过控制器输出与目标参数对应的媒体信息。
该实施例利用目标摄像设备在不同距离拍摄同一目标对象的不同视差大小的原理,根据实测或光学模拟的方法,获得距离与对应的图像视差大小的对应关系,进而实时地、低成本地根据目标对象的图像信息中的图像视差计算出目标对象摄像头的距离,完成舞台灯光及音响的自动控制,达到了降低控制系统的控制成本的技术效果,提升了用户体验。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
下面结合优选的实施例对本发明的技术方案进行说明。
该实施例利用双目摄像头在不同距离,拍摄同一物体/用户的不同视差大小的原理,根据实测或光学模拟的方法,获得物体不同深度距离与对应的视差大小的对应关系。进而实时低成本计算出物体/用户距离摄像头的距离,完成舞台灯光及音响的自动控制。
下面对该实施例的基于双目摄像头的舞台控制系统的构成模块进行介绍。
图3是根据本发明实施例的一种控制系统的示意图。如图3所示,该控制系统包括:双目摄像机1、计算中心设备2和控制器3。
双目摄像机1,为舞台控制系统的第一模块,用于实时采集对象的双目图片或视频的信息,并传输到计算中心设备2。
计算中心设备2,为舞台控制系统的第二模块,用于完成对双目图片或视频的处理,得到用户的距离摄像头的实时距离,并向控制器3发出控制指令。
控制器3,为舞台控制系统的第三模块,用于接收到计算中心设备2的控制指令,并完成对音量控制器(音量控制)、灯光调节器(灯光控制)等其它控制。
下面对本发明实施例的双目摄像机进行介绍。
双目摄像机指通过两个摄像头实时采集画面,并传送给计算中心设备。双目摄像机与计算中心设备相连,可以与计算中心设备,通过无线或者有线(USB、网线等)的方式相连,此处不做任何限制。
下面对本发明实施例的计算中心设备进行介绍。
图4是根据本发明实施例的一种控制系统的计算中心设备的处理方法的流程图。如图4所示,该方法包括以下步骤:
步骤S401,建立视差与深度信息的数据关系。
首先,将物体摆放在距离摄像头D1米(D1米是已知的数值)处的区域,计算中心设备获取到双目摄像机采集拍摄的实时画面(双目图片或视频)。可选地,计算中心设备使用开源的人脸识别算法,得到左摄像头与右摄像头的人像区,并且根据一定规则分别计算出左右人像的中点横向坐标,比如,左人像的中点横向坐标为左摄像头的x1,右人像的中点横向坐标为右摄像头的x2。
可选地,上述分别计算出左右人像的中点横向坐标的规则可以是,但不限于以下几种:
人脸中,两只眼睛像素坐标和的平均值;
人脸中,鼻子的像素坐标;
人像中,左手与右手的像素坐标和的平均值;
人像中,左胳膊与右胳膊的像素坐标和的平均值。
然后,计算左摄像头画面与右摄像头画面中,左人像的中点横向坐标x1与右人像的中点横向坐标x2的差值。
最后,不断改变摄像头到物体的距离D2(D2是已知的数值),计算左右人像中心像素点的横向坐标差值。
重复以上的步骤,即可获得在不同距离情况下,左人像的中点横向坐标x1与右人像的中点横向坐标x2的差值,并获得左右摄像机对同一物体视差与距离的对应关系。
图5是根据本发明实施例的一种视差与距离之间的对应关系的示意图。如图5所示,距离D1米,对应左摄像头画面的中点横向坐标X1和右摄像头画面的中点横向坐标X2的视差,其中,左人像中心点(X1,Y1),右人像中心点(X2,Y2)。距离D2米,对应左摄像头画面的中点横向坐标X3和右摄像头画面的中点横向坐标X4的视差,其中,左人像中心点(X3,Y3),右人像中心点(X4,Y4)。
步骤S402,实时计算图像视差,获得实时深度数据。
首先,计算中心设备实时获取到双目摄像机传送的左右摄像机画面,基于以上的方法,可以获得实时的左人像的中点横向坐标x1与右人像的中点横向坐标x2的差值。
然后,根据左右摄像机同一物体视差与距离的对应关系,反向查找,得出当下时间点物体到摄像头的距离。
下面对本发明实施例的控制器进行介绍。
计算中心设备将实时的物体/演员到摄像头的距离,发送给控制器,触发控制器的控制逻辑,其中包括以下逻辑:第一,与音量相关的逻辑,当物体/演员到摄像头的距离减小时,控制系统自动调大音量,调节的数值规则不在此处做限定(但可以遵循的原则是,声音强度(单位:dB)与距离平方成反比);第二,与灯光相关的逻辑,当物体/演员到摄像头的距离减小时,灯光的云台自动将灯光聚焦处移动到距离摄像头近的区域,调节的数值规则不在此处做限定。
本发明实施例的应用环境可以但不限于参照上述实施例中的应用环境,本实施例中对此不再赘述。本发明实施例提供了用于实施上述控制系统的处理方法的一种可选的具体应用。
图6是根据本发明实施例的一种通过虚拟眼镜体验控制系统的控制效果示意图。图7是根据本发明实施例的另一种通过虚拟眼镜体验控制系统的控制效果示意图。如图6至图7所示的显示画面可知,主播/演员的图像变小,离双目摄像头的距离的变化状态指示距离变大,此时自动减小控制系统的声音参数,以使用户听到的声音会变小;由图7至图6所示的显示画面可知,主播/演员的图像变大,主播/演员离双目摄像头的距离的变化状态指示距离变小,此时自动增大控制系统的声音参数,以使用户听到的声音会变大,这样当主播/演员在使用双目摄像头进行实时的线上直播时,在没有助手的帮助下,主播/演员可以一个人实现音响跟随自身位置的动态控制,从而使得用户听到的声音更真,进而保证用户通过虚拟眼镜观看直播时,有面对面的类似体验。
图8是根据本发明实施例的另一种通过虚拟眼镜体验控制系统的控制效果示意图。如图7和图8所示,主播/演员的图像变大,主播/演员离双目摄像头的距离的变化状态指示距离变小,调整控制系统的灯光参数,调整后的灯光参数使控制系统的灯光聚焦于目标摄像设备的目标区域之内,这样当目标对象到目标摄像设备之间的距离减小时,灯光的云台可以自动将灯光聚焦处移动到距离摄像头近的区域;由图8至图7所示的显示画面可知,主播/演员的图像变小,主播/演员离双目摄像头的距离的变化状态指示距离变大,调整控制系统的灯光参数,调整后的灯光参数使控制系统的灯光聚焦于目标摄像设备的目标区域之外。这样主播/演员可以一个人实现灯光跟随自身位置的动态控制,实现了聚光灯会跟随演员前后移动而移动,从而使得用户看到的图像更真,进而保证用户通过虚拟眼镜观看直播时,有面对面的类似体验。
该实施例的演员在使用双目摄像机进行拍摄时,控制系统可以自动检测出演员到摄像头之间的距离变化,并实时调整用户接收到的声音大小,模拟出面对面直播或沟通的体验。当主播离用户更近的时候,声音会更大,当主播离用户更远的时候,声音会更小,使得用户体验到的声音更真;聚光灯会跟随演员前后移动而移动,以保证照在演员的光线良好,实现了光线追随的目的,以保证灯光照在演员上的光线良好。
根据本发明实施例的另一方面,还提供了一种用于实施上述控制系统的处理方法的控制系统的处理装置。图9是根据本发明实施例的一种控制系统的处理装置的示意图。如图9所示,该装置可以包括:第一获取单元10、第二获取单元20和调整单元30。
第一获取单元10,用于通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息。
第二获取单元20,用于获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离。
调整单元30,用于按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离。
可选地,该实施例的第二获取单元20包括:第一获取模块、第二获取模块。其中,第一获取模块,用于在第一图像信息中获取第一子图像信息和第二子图像信息之间的第一图像视差,其中,第一子图像信息由第一摄像机对目标对象摄像得到,第二子图像信息由第二摄像机对目标对象摄像得到,第一摄像机和第二摄像机部署在目标摄像设备中,第一图像视差用于表征第一子图像信息所指示的目标对象的第一图像和第二子图像信息所指示的目标对象的第二图像之间的差异;第二获取模块,用于在目标对应关系表中获取与第一图像视差对应的第一距离。
可选地,该实施例的第一获取模块包括:第一获取子模块、第二获取子模块和确定子模块。其中,第一获取子模块,用于获取第一子图像信息中的第一中点横向坐标,其中,第一中点横向坐标为第一图像的中心点在目标坐标系下的横向坐标;第二获取子模块,用于获取第二子图像信息中的第二中点横向坐标,其中,第二中点横向坐标为第二图像的中心点在目标坐标系下的横向坐标;确定子模块,用于将第一中点横向坐标与第二中点横向坐标之间的差值确定为第一图像视差。
需要说明的是,该实施例中的第一获取单元10可以用于执行本申请实施例中的步骤S202,该实施例中的第二获取单元20可以用于执行本申请实施例中的步骤S204,该实施例中的调整单元30可以用于执行本申请实施例中的步骤S206。
此处需要说明的是,上述单元和模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。其中,硬件环境包括网络环境。
在该实施例中,第一获取单元10通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;通过第二获取单元20获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离;通过调整单元30按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离,达到降低控制系统的控制成本的技术效果,进而解决了相关技术控制系统的控制成本大的技术问题。
根据本发明实施例的另一方面,还提供了一种用于实施上述控制系统的处理方法的电子装置。
作为一种可选的实施方式,该实施例的电子装置作为本发明实施例的控制系统的一部分,部署在控制系统中,比如,该电子装置部署在图1所示的控制系统104中,用于执行本发明实施例的控制系统的处理方法。而该控制系统与虚拟现实设备相连接,该虚拟现实设备包括但不限于虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等,用于接收控制系统输出的媒体信息,比如,接收控制系统输出的声音信息、灯光信息等。
作为另一种可选的实施方式,该实施例的电子装置可以作为单独的一部分,与本发明实施例的控制系统相连接,比如,该电子装置与图1所示的控制系统104相连接,用于通过控制系统执行本发明实施例的控制系统的处理方法。而该控制系统通过电子装置与虚拟现实设备相连接,该虚拟现实设备包括但不限于虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等,用于通过电子装置接收控制系统输出的媒体信息,比如,通过电子装置接收控制系统输出的声音信息、灯光信息等。
图10是根据本发明实施例的一种电子装置的结构框图。如图10所示,该电子装置可以包括:一个或多个(图中仅示出一个)处理器101、存储器103。可选地,如图10所示,该电子装置还可以包括存传输装置105、输入输出设备107。
可选地,存储器103可用于存储软件程序以及模块,如本发明实施例中的控制系统的处理方法和装置对应的程序指令/模块,处理器101通过运行存储在存储器103内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的控制系统的处理方法。存储器103可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器103可进一步包括相对于处理器101远程设置的存储器,这些远程存储器可以通过网络连接至电子装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的存传输装置105用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,存传输装置105包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,存传输装置105为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器103用于存储应用程序。
处理器101可以通过存传输装置105调用存储器103存储的应用程序,以执行下述步骤:
通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;
获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离;
按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离。
处理器101还用于执行下述步骤:在第一图像信息中获取第一子图像信息和第二子图像信息之间的第一图像视差,其中,第一子图像信息由第一摄像机对目标对象摄像得到,第二子图像信息由第二摄像机对目标对象摄像得到,第一摄像机和第二摄像机部署在目标摄像设备中,第一图像视差用于表征第一子图像信息所指示的目标对象的第一图像和第二子图像信息所指示的目标对象的第二图像之间的差异;在目标对应关系表中获取与第一图像视差对应的第一距离。
处理器101还用于执行下述步骤:获取第一子图像信息中的第一中点横向坐标,其中,第一中点横向坐标为第一图像的中心点在目标坐标系下的横向坐标;获取第二子图像信息中的第二中点横向坐标,其中,第二中点横向坐标为第二图像的中心点在目标坐标系下的横向坐标;将第一中点横向坐标与第二中点横向坐标之间的差值确定为第一图像视差。
处理器101还用于执行下述步骤:在目标对应关系表中查找与第一图像视差之间的差值最小的目标图像视差;在目标对应关系表中将与目标图像视差对应的距离确定为第一距离。
处理器101还用于执行下述步骤:在目标对应关系表中获取与第一图像视差对应的第一距离之前,通过目标摄像设备获取目标对象的第二图像信息,其中,目标对象与目标摄像设备之间的距离为第一目标距离;在第二图像信息中获取第三子图像信息和第四子图像信息之间的第二图像视差,其中,第三子图像信息由第一摄像机对目标对象摄像得到,第四子图像信息由第二摄像机对目标对象摄像得到,第二图像视差用于表征第三子图像信息所指示的目标对象的第三图像和第四子图像信息所指示的目标对象的第四图像之间的差异;在目标对应关系表中建立第一目标距离与第二图像视差的对应关系;通过目标摄像设备获取目标对象的第三图像信息,其中,目标对象与目标摄像设备之间的距离为第二目标距离,第二目标距离不同于第一目标距离;在第三图像信息中获取第五子图像信息和第六子图像信息之间的第三图像视差,其中,第五子图像信息由第一摄像机对目标对象摄像得到,第六子图像信息由第二摄像机对目标对象摄像得到,第三图像视差用于表征第五子图像信息所指示的目标对象的第五图像和第六子图像信息所指示的目标对象的第六图像之间的差异;在目标对应关系表中建立第二目标距离与第三图像视差的对应关系。
处理器101还用于执行下述步骤:获取第三子图像信息中的第三中点横向坐标,其中,第三中点横向坐标为第三图像的中心点在目标坐标系下的横向坐标;获取第四子图像信息中的第四中点横向坐标,其中,第四中点横向坐标为第四图像的中心点在目标坐标系下的横向坐标;将第三中点横向坐标与第四中点横向坐标之间的差值确定为第二图像视差;获取第五子图像信息和第六子图像信息之间的第三图像视差包括:获取第五子图像信息中的第五中点横向坐标,其中,第五中点横向坐标为第五图像的中心点在目标坐标系下的横向坐标;获取第六子图像信息中的第六中点横向坐标,其中,第六中点横向坐标为第六图像的中心点在目标坐标系下的横向坐标;将第五中点横向坐标与第六中点横向坐标之间的差值确定为第三图像视差。
处理器101还用于执行下述步骤:在第一距离的变化状态指示第一距离变小的情况下,增大控制系统的声音参数,其中,目标参数包括声音参数,媒体信息包括声音信息,声音参数用于控制控制系统向虚拟现实设备输出的声音信息;在第一距离的变化状态指示第一距离变大的情况下,减小控制系统的声音参数。
处理器101还用于执行下述步骤:在第一距离的变化状态指示第一距离变小的情况下,将控制系统的灯光参数调整为第一值,以使得控制系统的灯光聚焦于目标摄像设备的目标区域之内,其中,目标参数包括灯光参数,媒体信息包括灯光信息,灯光参数用于控制控制系统向虚拟现实设备输出的灯光信息;在第一距离的变化状态指示第一距离变大的情况下,将控制系统的灯光参数调整为第二值,以使得控制系统的灯光聚焦于目标摄像设备的目标区域之外。
处理器101还用于执行下述步骤:通过控制系统中的计算中心设备获取与第一图像信息对应的第一距离,其中,计算中心设备与目标摄像设备相连接;通过控制系统中的控制器接收计算中心设备发送的第一距离,并按照第一距离调整控制系统的目标参数。
可选地,该实施例的输入输出设备107与虚拟现实设备相连接,处理器101可以通过上述输入输出设备107向虚拟现实设备输出与目标参数对应的媒体信息,比如,输出声音信息、灯光信息等。
可选地,上述输入输出设备107包括但不限于音响设备,用于输出声音信息,还包括灯光设备,用于输出灯光信息,以及包括其它用于输出媒体信息的设备。
需要说明的是,上述输入输出设备237实现的功能仅为本发明实施例的优选实现方式,还可以包括控制系统的其它输入输出功能,任何可以达到降低控制系统的控制成本的技术效果,解决了控制系统的控制成本大的技术问题的输入输出设备,也都在本发明的保护范围之内,此处不再一一举例说明。
可选地,在本发明实施例的电子装置部署在控制系统中的情况下,电子装置包括:目标摄像设备、计算中心设备和控制器,比如,电子装置中的处理器101包括:目标摄像设备、计算中心设备和控制器。其中,目标摄像设备,用于获取当前在现实场景中移动的目标对象的第一图像信息;计算中心设备,用于获取与第一图像信息对应的第一距离,其中,计算中心设备与目标摄像设备相连接;控制器,用于接收计算中心设备发送的第一距离,并按照第一距离调整控制系统的目标参数,控制器通过输入输出设备107向虚拟现实设备输出与目标参数对应的媒体信息,比如,输出声音信息、灯光信息等。
可选地,在该实施例的电子装置与本发明实施例的控制系统相连接的情况下,该控制系统包括:目标摄像设备、计算中心设备和控制器。其中,电子装置通过控制系统的目标摄像设备获取当前在现实场景中移动的目标对象的第一图像信息;电子装置通过控制系统的计算中心设备获取与第一图像信息对应的第一距离,其中,计算中心设备可以与目标摄像设备相连接;电子装置通过控制系统的控制器接收计算中心设备发送的第一距离,并按照第一距离调整控制系统的目标参数,进而通过输入输出设备107向虚拟现实设备输出与目标参数对应的媒体信息,比如,输出声音信息、灯光信息等。
采用本发明实施例,通过控制系统的目标摄像设备获取当前目标对象的第一图像信息,其中,目标对象在现实场景中移动;获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离;按照第一距离调整控制系统的目标参数;输出与目标参数对应的媒体信息。由于根据图像信息与距离之间的对应关系,可以低成本获取目标对象与目标摄像设备之间的距离,实现了对控制系统的目标参数进行调整的目的,达到降低控制系统的控制成本的技术效果,进而解决了相关技术控制系统的控制成本大的技术问题。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图10所示的结构仅为示意,电子装置可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等电子装置。图10其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图10所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令电子装置相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行控制系统的处理方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;
获取与第一图像信息对应的第一距离,其中,第一距离为目标摄像设备与目标对象之间的距离;
按照第一距离调整控制系统的目标参数,其中,目标参数用于控制控制系统向虚拟现实设备输出媒体信息,虚拟现实设备与控制系统相连接,媒体信息与目标对象在现实场景中移动的移动信息相对应,移动信息包括第一距离。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在第一图像信息中获取第一子图像信息和第二子图像信息之间的第一图像视差,其中,第一子图像信息由第一摄像机对目标对象摄像得到,第二子图像信息由第二摄像机对目标对象摄像得到,第一摄像机和第二摄像机部署在目标摄像设备中,第一图像视差用于表征第一子图像信息所指示的目标对象的第一图像和第二子图像信息所指示的目标对象的第二图像之间的差异;在目标对应关系表中获取与第一图像视差对应的第一距离。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取第一子图像信息中的第一中点横向坐标,其中,第一中点横向坐标为第一图像的中心点在目标坐标系下的横向坐标;获取第二子图像信息中的第二中点横向坐标,其中,第二中点横向坐标为第二图像的中心点在目标坐标系下的横向坐标;将第一中点横向坐标与第二中点横向坐标之间的差值确定为第一图像视差。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在目标对应关系表中查找与第一图像视差之间的差值最小的目标图像视差;在目标对应关系表中将与目标图像视差对应的距离确定为第一距离。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在目标对应关系表中获取与第一图像视差对应的第一距离之前,通过目标摄像设备获取目标对象的第二图像信息,其中,目标对象与目标摄像设备之间的距离为第一目标距离;在第二图像信息中获取第三子图像信息和第四子图像信息之间的第二图像视差,其中,第三子图像信息由第一摄像机对目标对象摄像得到,第四子图像信息由第二摄像机对目标对象摄像得到,第二图像视差用于表征第三子图像信息所指示的目标对象的第三图像和第四子图像信息所指示的目标对象的第四图像之间的差异;在目标对应关系表中建立第一目标距离与第二图像视差的对应关系;通过目标摄像设备获取目标对象的第三图像信息,其中,目标对象与目标摄像设备之间的距离为第二目标距离,第二目标距离不同于第一目标距离;在第三图像信息中获取第五子图像信息和第六子图像信息之间的第三图像视差,其中,第五子图像信息由第一摄像机对目标对象摄像得到,第六子图像信息由第二摄像机对目标对象摄像得到,第三图像视差用于表征第五子图像信息所指示的目标对象的第五图像和第六子图像信息所指示的目标对象的第六图像之间的差异;在目标对应关系表中建立第二目标距离与第三图像视差的对应关系。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取第三子图像信息中的第三中点横向坐标,其中,第三中点横向坐标为第三图像的中心点在目标坐标系下的横向坐标;获取第四子图像信息中的第四中点横向坐标,其中,第四中点横向坐标为第四图像的中心点在目标坐标系下的横向坐标;将第三中点横向坐标与第四中点横向坐标之间的差值确定为第二图像视差;获取第五子图像信息和第六子图像信息之间的第三图像视差包括:获取第五子图像信息中的第五中点横向坐标,其中,第五中点横向坐标为第五图像的中心点在目标坐标系下的横向坐标;获取第六子图像信息中的第六中点横向坐标,其中,第六中点横向坐标为第六图像的中心点在目标坐标系下的横向坐标;将第五中点横向坐标与第六中点横向坐标之间的差值确定为第三图像视差。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在第一距离的变化状态指示第一距离变小的情况下,增大控制系统的声音参数,其中,目标参数包括声音参数,媒体信息包括声音信息,声音参数用于控制控制系统向虚拟现实设备输出的声音信息;在第一距离的变化状态指示第一距离变大的情况下,减小控制系统的声音参数。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在第一距离的变化状态指示第一距离变小的情况下,将控制系统的灯光参数调整为第一值,以使得控制系统的灯光聚焦于目标摄像设备的目标区域之内,其中,目标参数包括灯光参数,媒体信息包括灯光信息,灯光参数用于控制控制系统向虚拟现实设备输出的灯光信息;在第一距离的变化状态指示第一距离变大的情况下,将控制系统的灯光参数调整为第二值,以使得控制系统的灯光聚焦于目标摄像设备的目标区域之外。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:通过控制系统中的计算中心设备获取与第一图像信息对应的第一距离,其中,计算中心设备与目标摄像设备相连接;按照第一距离调整控制系统的目标参数包括:通过控制系统中的控制器接收计算中心设备发送的第一距离,并按照第一距离调整控制系统的目标参数。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的第一客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种控制系统的处理方法,其特征在于,包括:
通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;
获取与所述第一图像信息对应的第一距离,其中,所述第一距离为所述目标摄像设备与所述目标对象之间的距离;
按照所述第一距离调整所述控制系统的目标参数,其中,所述目标参数用于控制所述控制系统向虚拟现实设备输出媒体信息,所述虚拟现实设备与所述控制系统相连接,所述媒体信息与所述目标对象在所述现实场景中移动的移动信息相对应,所述移动信息包括所述第一距离。
2.根据权利要求1所述的方法,其特征在于,获取与所述第一图像信息对应的第一距离包括:
在所述第一图像信息中获取第一子图像信息和第二子图像信息之间的第一图像视差,其中,所述第一子图像信息由第一摄像机对所述目标对象摄像得到,所述第二子图像信息由第二摄像机对所述目标对象摄像得到,所述第一摄像机和所述第二摄像机部署在所述目标摄像设备中,所述第一图像视差用于表征所述第一子图像信息所指示的所述目标对象的第一图像和所述第二子图像信息所指示的所述目标对象的第二图像之间的差异;
在目标对应关系表中获取与所述第一图像视差对应的所述第一距离。
3.根据权利要求2所述的方法,其特征在于,在所述第一图像信息中获取所述第一子图像信息和所述第二子图像信息之间的第一图像视差包括:
获取所述第一子图像信息中的第一中点横向坐标,其中,所述第一中点横向坐标为所述第一图像的中心点在目标坐标系下的横向坐标;
获取所述第二子图像信息中的第二中点横向坐标,其中,所述第二中点横向坐标为所述第二图像的中心点在所述目标坐标系下的横向坐标;
将所述第一中点横向坐标与所述第二中点横向坐标之间的差值确定为所述第一图像视差。
4.根据权利要求2所述的方法,其特征在于,在所述目标对应关系表中获取与所述第一图像视差对应的所述第一距离包括:
在所述目标对应关系表中查找与所述第一图像视差之间的差值最小的目标图像视差;
在所述目标对应关系表中将与所述目标图像视差对应的距离确定为所述第一距离。
5.根据权利要求2所述的方法,其特征在于,在所述目标对应关系表中获取与所述第一图像视差对应的所述第一距离之前,所述方法还包括:
通过所述目标摄像设备获取所述目标对象的第二图像信息,其中,所述目标对象与所述目标摄像设备之间的距离为第一目标距离;
在所述第二图像信息中获取第三子图像信息和第四子图像信息之间的第二图像视差,其中,所述第三子图像信息由所述第一摄像机对所述目标对象摄像得到,所述第四子图像信息由所述第二摄像机对所述目标对象摄像得到,所述第二图像视差用于表征所述第三子图像信息所指示的所述目标对象的第三图像和所述第四子图像信息所指示的所述目标对象的第四图像之间的差异;
在所述目标对应关系表中建立所述第一目标距离与所述第二图像视差的对应关系;
通过所述目标摄像设备获取所述目标对象的第三图像信息,其中,所述目标对象与所述目标摄像设备之间的距离为第二目标距离,所述第二目标距离不同于所述第一目标距离;
在所述第三图像信息中获取第五子图像信息和第六子图像信息之间的第三图像视差,其中,所述第五子图像信息由所述第一摄像机对所述目标对象摄像得到,所述第六子图像信息由所述第二摄像机对所述目标对象摄像得到,所述第三图像视差用于表征所述第五子图像信息所指示的所述目标对象的第五图像和所述第六子图像信息所指示的所述目标对象的第六图像之间的差异;
在所述目标对应关系表中建立所述第二目标距离与所述第三图像视差的对应关系。
6.根据权利要求5所述的方法,其特征在于,
获取所述第三子图像信息和所述第四子图像信息之间的所述第二图像视差包括:获取所述第三子图像信息中的第三中点横向坐标,其中,所述第三中点横向坐标为所述第三图像的中心点在目标坐标系下的横向坐标;获取所述第四子图像信息中的第四中点横向坐标,其中,所述第四中点横向坐标为所述第四图像的中心点在所述目标坐标系下的横向坐标;将所述第三中点横向坐标与所述第四中点横向坐标之间的差值确定为所述第二图像视差;
获取所述第五子图像信息和所述第六子图像信息之间的所述第三图像视差包括:获取所述第五子图像信息中的第五中点横向坐标,其中,所述第五中点横向坐标为所述第五图像的中心点在所述目标坐标系下的横向坐标;获取所述第六子图像信息中的第六中点横向坐标,其中,所述第六中点横向坐标为所述第六图像的中心点在所述目标坐标系下的横向坐标;将所述第五中点横向坐标与所述第六中点横向坐标之间的差值确定为所述第三图像视差。
7.根据权利要求3所述的方法,其特征在于,获取所述第一子图像信息中的第一中点横向坐标包括以下至少之一:
在所述第一图像信息为人脸的图像信息的情况下,将左眼图像的中心点的在所述目标坐标系下的横向坐标和右眼图像的中心点的在所述目标坐标系下的横向坐标之间的平均值,确定为所述第一中点横向坐标;
在所述第一图像信息为所述人脸的图像信息的情况下,将鼻子图像的中心点在所述目标坐标系下的横向坐标确定为所述第一中点横向坐标;
在所述第一图像信息为人像的图像信息的情况下,将左手图像的中心点在所述目标坐标系下的横向坐标和右手图像的中心点在所述目标坐标系下的横向坐标之间的平均值,确定为所述第一中点横向坐标;
在所述第一图像信息为所述人像的图像信息的情况下,将左臂图像的中心点在所述目标坐标系下的横向坐标和右臂图像的中心点在所述目标坐标系下的横向坐标之间的平均值,确定为所述第一中点横向坐标。
8.根据权利要求1至7中任意一项所述的方法,按照所述第一距离调整所述控制系统的所述目标参数包括:
在所述第一距离的变化状态指示所述第一距离变小的情况下,增大所述控制系统的声音参数,其中,所述目标参数包括所述声音参数,所述媒体信息包括声音信息,所述声音参数用于控制所述控制系统向所述虚拟现实设备输出的声音信息;
在所述第一距离的变化状态指示所述第一距离变大的情况下,减小所述控制系统的声音参数。
9.根据权利要求1至7中任意一项所述的方法,其特征在于,按照所述第一距离调整所述控制系统的所述目标参数包括:
在所述第一距离的变化状态指示所述第一距离变小的情况下,将所述控制系统的灯光参数调整为第一值,以使得所述控制系统的灯光聚焦于所述目标摄像设备的目标区域之内,其中,所述目标参数包括所述灯光参数,所述媒体信息包括灯光信息,所述灯光参数用于控制所述控制系统向所述虚拟现实设备输出的灯光信息;
在所述第一距离的变化状态指示所述第一距离变大的情况下,将所述控制系统的灯光参数调整为第二值,以使得所述控制系统的灯光聚焦于所述目标摄像设备的目标区域之外。
10.根据权利要求1至7中任意一项所述的方法,其特征在于,
获取与所述第一图像信息对应的所述第一距离包括:通过所述控制系统中的计算中心设备获取与所述第一图像信息对应的所述第一距离,其中,所述计算中心设备与所述目标摄像设备相连接;
按照所述第一距离调整所述控制系统的所述目标参数包括:通过所述控制系统中的控制器接收所述计算中心设备发送的所述第一距离,并按照所述第一距离调整所述控制系统的所述目标参数。
11.一种控制系统的处理装置,其特征在于,包括:
第一获取单元,用于通过控制系统中的目标摄像设备,获取当前在现实场景中移动的目标对象的第一图像信息;
第二获取单元,用于获取与所述第一图像信息对应的第一距离,其中,所述第一距离为所述目标摄像设备与所述目标对象之间的距离;
调整单元,用于按照所述第一距离调整所述控制系统的目标参数,其中,所述目标参数用于控制所述控制系统向虚拟现实设备输出媒体信息,所述虚拟现实设备与所述控制系统相连接,所述媒体信息与所述目标对象在所述现实场景中移动的移动信息相对应,所述移动信息包括所述第一距离。
12.根据权利要求11所述的装置,其特征在于,所述第二获取单元包括:
第一获取模块,用于在所述第一图像信息中获取第一子图像信息和第二子图像信息之间的第一图像视差,其中,所述第一子图像信息由第一摄像机对所述目标对象摄像得到,所述第二子图像信息由第二摄像机对所述目标对象摄像得到,所述第一摄像机和所述第二摄像机部署在所述目标摄像设备中,所述第一图像视差用于表征所述第一子图像信息所指示的所述目标对象的第一图像和所述第二子图像信息所指示的所述目标对象的第二图像之间的差异;
第二获取模块,用于在目标对应关系表中获取与所述第一图像视差对应的所述第一距离。
13.根据权利要求12所述的装置,其特征在于,第一获取模块包括:
第一获取子模块,用于获取所述第一子图像信息中的第一中点横向坐标,其中,所述第一中点横向坐标为所述第一图像的中心点在目标坐标系下的横向坐标;
第二获取子模块,用于获取所述第二子图像信息中的第二中点横向坐标,其中,所述第二中点横向坐标为所述第二图像的中心点在所述目标坐标系下的横向坐标;
确定子模块,用于将所述第一中点横向坐标与所述第二中点横向坐标之间的差值确定为所述第一图像视差。
14.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至10任一项中所述的控制系统的处理方法。
15.一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器通过所述计算机程序执行所述权利要求1至10任一项中所述的控制系统的处理方法。
CN201711070963.9A 2017-11-03 2017-11-03 控制系统的处理方法、装置、存储介质和电子装置 Active CN109752951B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711070963.9A CN109752951B (zh) 2017-11-03 2017-11-03 控制系统的处理方法、装置、存储介质和电子装置
PCT/CN2018/112047 WO2019085829A1 (zh) 2017-11-03 2018-10-26 控制系统的处理方法、装置、存储介质和电子装置
US16/594,565 US11275239B2 (en) 2017-11-03 2019-10-07 Method and apparatus for operating control system, storage medium, and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711070963.9A CN109752951B (zh) 2017-11-03 2017-11-03 控制系统的处理方法、装置、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN109752951A true CN109752951A (zh) 2019-05-14
CN109752951B CN109752951B (zh) 2022-02-08

Family

ID=66332805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711070963.9A Active CN109752951B (zh) 2017-11-03 2017-11-03 控制系统的处理方法、装置、存储介质和电子装置

Country Status (3)

Country Link
US (1) US11275239B2 (zh)
CN (1) CN109752951B (zh)
WO (1) WO2019085829A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535735A (zh) * 2019-08-15 2019-12-03 青岛海尔科技有限公司 基于物联网操作系统的播放设备控制方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860098B1 (en) * 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
CN111258312A (zh) * 2020-01-20 2020-06-09 深圳市商汤科技有限公司 可移动模型及其控制方法、装置、系统、设备和存储介质
CN113467603B (zh) * 2020-03-31 2024-03-08 抖音视界有限公司 音频处理方法、装置、可读介质及电子设备
CN113562401B (zh) * 2021-07-23 2023-07-18 杭州海康机器人股份有限公司 控制目标对象传送方法、装置、系统、终端和存储介质
KR20230065049A (ko) * 2021-11-04 2023-05-11 삼성전자주식회사 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090154896A1 (en) * 2007-12-17 2009-06-18 Hitachi, Ltd. Video-Audio Recording Apparatus and Video-Audio Reproducing Apparatus
CN103617608A (zh) * 2013-10-24 2014-03-05 四川长虹电器股份有限公司 通过双目图像获得深度图的方法
US20150234206A1 (en) * 2014-02-18 2015-08-20 Aliphcom Configurable adaptive optical material and device
CN104898276A (zh) * 2014-12-26 2015-09-09 成都理想境界科技有限公司 头戴式显示装置
CN105630336A (zh) * 2014-11-28 2016-06-01 深圳市腾讯计算机系统有限公司 音量控制方法和装置
CN105847578A (zh) * 2016-04-28 2016-08-10 努比亚技术有限公司 一种显示信息的参数调整方法及头戴式设备
CN105959595A (zh) * 2016-05-27 2016-09-21 西安宏源视讯设备有限责任公司 一种虚拟现实实时交互中虚拟对现实自主响应方法
CN106095235A (zh) * 2016-06-07 2016-11-09 腾讯科技(深圳)有限公司 基于虚拟现实的控制方法和装置
CN106157930A (zh) * 2016-06-30 2016-11-23 腾讯科技(深圳)有限公司 基于头戴式可视设备的亮度调节方法及装置
CN106225764A (zh) * 2016-07-01 2016-12-14 北京小米移动软件有限公司 基于终端中双目摄像头的测距方法及终端
CN106303565A (zh) * 2016-08-12 2017-01-04 广州华多网络科技有限公司 视频直播的画质优化方法和装置
CN106462178A (zh) * 2013-09-11 2017-02-22 谷歌技术控股有限责任公司 用于检测存在和运动的电子设备和方法
CN106534707A (zh) * 2015-09-14 2017-03-22 中兴通讯股份有限公司 拍摄的方法及装置
CN106572417A (zh) * 2016-10-27 2017-04-19 腾讯科技(深圳)有限公司 音效控制方法和装置
CN106796771A (zh) * 2014-10-15 2017-05-31 精工爱普生株式会社 头戴式显示设备、控制头戴式显示设备的方法和计算机程序
CN106843532A (zh) * 2017-02-08 2017-06-13 北京小鸟看看科技有限公司 一种虚拟现实场景的实现方法和装置
CN107105183A (zh) * 2017-04-28 2017-08-29 宇龙计算机通信科技(深圳)有限公司 录音音量调节方法及装置
JP6207691B1 (ja) * 2016-08-12 2017-10-04 株式会社コロプラ 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
CN107277736A (zh) * 2016-03-31 2017-10-20 株式会社万代南梦宫娱乐 模拟系统、声音处理方法及信息存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002820B2 (en) * 2008-06-05 2015-04-07 Gary Stephen Shuster Forum search with time-dependent activity weighting
US20130071013A1 (en) * 2011-03-01 2013-03-21 Shinsuke Ogata Video processing device, video processing method, program
US9532027B2 (en) * 2011-05-27 2016-12-27 Warner Bros. Entertainment Inc. Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
JP2014006674A (ja) * 2012-06-22 2014-01-16 Canon Inc 画像処理装置及びその制御方法、プログラム
WO2014139105A1 (en) * 2013-03-13 2014-09-18 Intel Corporation Improved techniques for three-dimensional image editing
CN103487938B (zh) * 2013-08-28 2016-03-02 成都理想境界科技有限公司 头戴显示装置
GB2548860A (en) * 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
CN106598229B (zh) * 2016-11-11 2020-02-18 歌尔科技有限公司 一种虚拟现实场景的生成方法、设备及虚拟现实系统
CN106713890A (zh) * 2016-12-09 2017-05-24 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及其装置
US11882267B2 (en) * 2017-04-11 2024-01-23 Dolby Laboratories Licensing Corporation Adapting video images for wearable devices

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090154896A1 (en) * 2007-12-17 2009-06-18 Hitachi, Ltd. Video-Audio Recording Apparatus and Video-Audio Reproducing Apparatus
CN106462178A (zh) * 2013-09-11 2017-02-22 谷歌技术控股有限责任公司 用于检测存在和运动的电子设备和方法
CN103617608A (zh) * 2013-10-24 2014-03-05 四川长虹电器股份有限公司 通过双目图像获得深度图的方法
US20150234206A1 (en) * 2014-02-18 2015-08-20 Aliphcom Configurable adaptive optical material and device
CN106796771A (zh) * 2014-10-15 2017-05-31 精工爱普生株式会社 头戴式显示设备、控制头戴式显示设备的方法和计算机程序
CN105630336A (zh) * 2014-11-28 2016-06-01 深圳市腾讯计算机系统有限公司 音量控制方法和装置
CN104898276A (zh) * 2014-12-26 2015-09-09 成都理想境界科技有限公司 头戴式显示装置
CN106534707A (zh) * 2015-09-14 2017-03-22 中兴通讯股份有限公司 拍摄的方法及装置
CN107277736A (zh) * 2016-03-31 2017-10-20 株式会社万代南梦宫娱乐 模拟系统、声音处理方法及信息存储介质
CN105847578A (zh) * 2016-04-28 2016-08-10 努比亚技术有限公司 一种显示信息的参数调整方法及头戴式设备
CN105959595A (zh) * 2016-05-27 2016-09-21 西安宏源视讯设备有限责任公司 一种虚拟现实实时交互中虚拟对现实自主响应方法
CN106095235A (zh) * 2016-06-07 2016-11-09 腾讯科技(深圳)有限公司 基于虚拟现实的控制方法和装置
CN106157930A (zh) * 2016-06-30 2016-11-23 腾讯科技(深圳)有限公司 基于头戴式可视设备的亮度调节方法及装置
CN106225764A (zh) * 2016-07-01 2016-12-14 北京小米移动软件有限公司 基于终端中双目摄像头的测距方法及终端
CN106303565A (zh) * 2016-08-12 2017-01-04 广州华多网络科技有限公司 视频直播的画质优化方法和装置
JP6207691B1 (ja) * 2016-08-12 2017-10-04 株式会社コロプラ 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
CN106572417A (zh) * 2016-10-27 2017-04-19 腾讯科技(深圳)有限公司 音效控制方法和装置
CN106843532A (zh) * 2017-02-08 2017-06-13 北京小鸟看看科技有限公司 一种虚拟现实场景的实现方法和装置
CN107105183A (zh) * 2017-04-28 2017-08-29 宇龙计算机通信科技(深圳)有限公司 录音音量调节方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
帅立国: "虚拟现实及触觉交互技术:趋势与瓶颈", 《人民论坛?学术前沿》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535735A (zh) * 2019-08-15 2019-12-03 青岛海尔科技有限公司 基于物联网操作系统的播放设备控制方法和装置

Also Published As

Publication number Publication date
US11275239B2 (en) 2022-03-15
WO2019085829A1 (zh) 2019-05-09
US20200033599A1 (en) 2020-01-30
CN109752951B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN109752951A (zh) 控制系统的处理方法、装置、存储介质和电子装置
KR102239686B1 (ko) 단일 깊이 추적 순응-수렴 솔루션
US11711504B2 (en) Enabling motion parallax with multilayer 360-degree video
JP7121470B2 (ja) 画像処理システム、制御方法、及び、プログラム
US11455032B2 (en) Immersive displays
US10171792B2 (en) Device and method for three-dimensional video communication
WO2020042970A1 (zh) 一种三维建模的方法及其装置
JP2010250452A (ja) 任意視点画像合成装置
CN106412403A (zh) 一种3d摄像模组及3d拍摄设备
CN106484116A (zh) 媒体文件的处理方法和装置
CN106559664A (zh) 三维全景图像的拍摄装置及设备
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
CN108304148B (zh) 一种多屏拼接显示的方法和装置
JP2018505580A (ja) 3d画像の表示方法及びヘッドマウント機器
WO2019109323A1 (zh) 图像显示方法、穿戴式智能设备及存储介质
CN106412557A (zh) 一种3d摄像控制方法及3d摄像控制装置
JP2021530816A (ja) 角検出のための方法および装置
CN107479701B (zh) 虚拟现实交互方法、装置及系统
US20190306457A1 (en) Video communication device and method for video communication
US20190306459A1 (en) Video communication device and method for video communication
WO2020262261A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN106408666B (zh) 混合现实实境演示方法
CN113485547A (zh) 一种应用于全息沙盘的交互方法及装置
JP6855493B2 (ja) ホログラフィックビデオキャプチャー及びテレプレゼンスシステム
CN107222689B (zh) 基于vr镜头的实景切换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant