CN112203076B - Vr系统中多摄像头曝光中心点的对齐方法、系统 - Google Patents

Vr系统中多摄像头曝光中心点的对齐方法、系统 Download PDF

Info

Publication number
CN112203076B
CN112203076B CN202010973542.2A CN202010973542A CN112203076B CN 112203076 B CN112203076 B CN 112203076B CN 202010973542 A CN202010973542 A CN 202010973542A CN 112203076 B CN112203076 B CN 112203076B
Authority
CN
China
Prior art keywords
frame
type
exposure
vts
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010973542.2A
Other languages
English (en)
Other versions
CN112203076A (zh
Inventor
张秀志
周宏伟
柳光辉
郭衡江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010973542.2A priority Critical patent/CN112203076B/zh
Publication of CN112203076A publication Critical patent/CN112203076A/zh
Priority to PCT/CN2021/118546 priority patent/WO2022057834A1/zh
Priority to EP21868656.6A priority patent/EP4199510A4/en
Application granted granted Critical
Publication of CN112203076B publication Critical patent/CN112203076B/zh
Priority to US17/819,500 priority patent/US11962749B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种VR系统中多摄像头曝光中心点的对齐方法，包括：按照预设帧率采集第一类帧的图像数据，第一类帧用于追踪外部事物，并且各个摄像头在追踪过程中的曝光参数依据外部事物的变化而动态变化；调整第一类帧的VTS数据，VTS数据随着曝光参数的变化而变化，以固定第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔；按照预设帧率采集第二类帧的图像数据，第二类帧用于追踪光学手柄，并且各个摄像头在追踪过程中的曝光参数一致；根据第一类帧的VTS数据调整第二类帧的VTS数据，且固定第二类帧的曝光中心点与所述FSIN同步信号的时间间隔，以完成摄像头曝光中心点的对齐。

Description

VR系统中多摄像头曝光中心点的对齐方法、系统
技术领域
本发明涉及计算机视觉领域，更为具体地，涉及一种VR系统中多摄像头曝光中心点的对齐方法、系统。
背景技术
现有的All-in-one VR 6DOF一体机设计中，头戴的光学追踪大部分都是两个摄像头来实现，且两个摄像头具有相同的配置参数，在自动曝光设计上，两个摄像头也都是有相同的曝光参数，所以两个摄像头可以做到摄像头曝光中心点的对齐。由于两个摄像头在FOV上有盲区，如果有光学手柄追踪需求时，手柄盲区问题会更加明显，为此需要在追踪系统中加入更多的摄像头来实现，故现有的多个摄像头可能放置在上下左右部分，可能会有每个摄像头对应环境的光线不同，每个摄像头需要设置不同的曝光参数，而设置不同的曝光参数很难完成多个摄像头曝光中心点的对齐。
因此，亟需一种在不同曝光参数下也能够完成VR系统中多个摄像头曝光中心点对齐的方法、系统。
发明内容
鉴于上述问题，本发明的目的是提供一种VR系统中多摄像头曝光中心点的对齐方法、系统，以解决现有的存在光学追踪需求的VR系统中设置有多个摄像头，且分别放置在上下左右部分，如此则存在每个摄像头对应环境的光线不同的情况，每个摄像头需要设置不同的曝光参数，而设置不同的曝光参数很难完成多个摄像头曝光中心点的对齐的问题。
本发明提供的一种VR系统中多摄像头曝光中心点的对齐方法，包括：
按照预设帧率采集第一类帧的图像数据，所述第一类帧用于追踪外部事物，并且各个摄像头在追踪过程中的曝光参数依据外部事物的变化而动态变化；
调整所述第一类帧的VTS数据，所述VTS数据随着曝光参数的变化而变化，以固定所述第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔；
按照所述预设帧率采集第二类帧的图像数据，所述第二类帧用于追踪光学手柄，并且各个摄像头在追踪过程中的曝光参数一致；
根据所述第一类帧的VTS数据调整所述第二类帧的VTS数据，且固定所述第二类帧的曝光中心点与所述FSIN同步信号的时间间隔，以完成所述摄像头曝光中心点的对齐。
优选地，所述预设帧率为60Hz。
优选地，所述外部事物为外部环境或人体部位。
优选地，在调整所述第一类帧的VTS数据之前，还包括：
根据所述数据图像的HTS设置和VR系统中的时钟频率计算每行数据的扫描时间，并获取所述VR系统中图像传感器默认的VTS数值。
优选地，调整所述第一类帧的VTS数据的过程包括：
获取所述第一类帧的曝光参数；
通过所述曝光参数计算所述第一类帧的VTS数据，并将所述VTS数据写入所述图像传感器的寄存器中。
优选地，在各个摄像头在追踪过程中的曝光参数依据外部事物的变化而动态变化的过程中，
所述外部事物的环境越暗，所述曝光参数越大；
所述外部事物的环境越亮，所述曝光参数越小。
优选地，在所述VTS数据随着曝光参数的变化而变化的过程中，
若所述曝光参数增大，则增大所述VTS数据的数值；
若所述曝光参数减小，则减小所述VTS数据的数值。
优选地，根据所述第一类帧的VTS数据调整所述第二类帧的图像的VTS数据为：
使所述第二类帧的VTS数据的数值与所述第一类帧的VTS数据的数值之和为固定数值。
优选地，在固定所述第二类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔的过程之后完成所述第一类帧与所述第二类帧的中心点对齐；
在VR系统采集图像数据的整个采集过程中，依次重复完成所述第一类帧与所述第二类帧的中心点对齐，以对齐整个VR追踪过程中的摄像头曝光中心点。
本发明还提供一种VR系统中多摄像头曝光中心点的对齐系统，该对齐系统用于实现前述的VR系统中多摄像头曝光中心点的对齐方法，包括：类帧划分模块、摄像头、第一类帧处理模块和第二类帧处理模块，其中，
所述类帧划分模块用于指令所述摄像头依次获取第一类帧和第二类帧；
所述摄像头用于按照所述类帧划分模块的指令依次采集所述第一类帧和第二类帧的图像数据，并且按照预设帧率采集图像数据；
所述第一类帧处理模块用于调整第一类帧的VTS数据，使VTS数据随着曝光参数的变化而变化，以固定第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔；
所述第二类帧处理模块用于根据所述第一类帧的VTS数据调整第二类帧的VTS数据，且固定所述第二类帧的曝光中心点与所述FSIN同步信号的时间间隔，以完成摄像头曝光中心点的对齐。
从上面的技术方案可知，本发明提供的VR系统中多摄像头曝光中心点的对齐方法、系统，通过将采集的图像数据划分为第一类帧、第二类帧，在分别对第一类帧和第二类帧进行处理，第一类帧用于追踪外部事物，在追踪过程中摄像头的曝光参数依据外部事物的变化而动态变化，借此特点调整第一类帧的VTS数据，使VTS数据随着曝光参数的变化而变化，以固定第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔，第二类帧在追踪过程中摄像头的曝光参数一致，根据此特点第二类帧的曝光中心点与VR系统中的FSIN同步信号具有固定的时间间隔，从而完成第一类帧与第二类帧的中心点对齐，在获取剩余的图像数据时依次重复完成如第一类帧与第二类帧的中心点对齐，进而对齐整个VR追踪过程中的摄像头曝光中心点，如此，即使为满足光学手柄追踪需求加入更多的摄像头，每个摄像头设置不同的曝光参数，也能够完成曝光中心点的对齐，从而使整个VR系统稳定输出，提高用户的舒适性和沉浸感。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的VR系统中多摄像头曝光中心点的对齐方法的流程图；
图2为根据本发明实施例的VR系统中多摄像头曝光中心点的对齐系统的示意图。
具体实施方式
现有的存在光学追踪需求的VR系统中设置有多个摄像头，且分别放置在上下左右部分，如此则存在每个摄像头对应环境的光线不同的情况，每个摄像头需要设置不同的曝光参数，而设置不同的曝光参数很难完成多个摄像头曝光中心点的对齐的问题。
针对上述问题，本发明提供一种VR系统中多摄像头曝光中心点的对齐方法，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的VR系统中多摄像头曝光中心点的对齐方法，图1对本发明实施例的VR系统中多摄像头曝光中心点的对齐方法进行了示例性标示；图2对本发明实施例的VR系统中多摄像头曝光中心点的对齐系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的VR系统中多摄像头曝光中心点的对齐方法，包括：
S110：按照预设帧率采集第一类帧的图像数据，所述第一类帧用于追踪外部事物，并且各个摄像头在追踪过程中的曝光参数依据外部事物的变化而动态变化；
S120：调整所述第一类帧的VTS数据，所述VTS数据随着曝光参数的变化而变化，以固定所述第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔；
S130：按照预设帧率采集第二类帧的图像数据，所述第二类帧用于追踪光学手柄，并且各个摄像头在追踪过程中的曝光参数一致；
S140：根据所述第一类帧的VTS数据调整所述第二类帧的VTS数据，且固定所述第二类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔，以完成所述摄像头曝光中心点的对齐。
如图1所示的实施例，在步骤S110中，该预设帧率为提前预设的帧率，其需要结合摄像头本身的帧率，该帧率为同步帧率的整数倍，比如同步帧率为30Hz，摄像头帧率为60Hz，换句话说，若摄像头帧率为60Hz，实际上摄像头所获取的图像可以分别为30Hz头图像和30Hz手图像，需要说明的是，该同步帧率可以是30Hz，也可以是15Hz；若按照90Hz采集图像数据，其中该图像数据可以是30Hz头图像和60Hz手图像，采集时的组合顺序可以是头图像、手图像、手图像，该预设帧率具体的数值不作具体限制，在本实施例中以采用60Hz采集图像数据，包括30Hz的第一类帧和30Hz的第二类帧。
如图1所示，在步骤S110中，第一类帧用于追踪外部事物，该外部事物为外部环境或人体部位，即该第一类帧为外部环境或人体部位的图像，若VR系统只采集外部环境和手柄，则该外部事物为外部环境，即该第一类帧为外部环境图像，在一个具体实施例中，采用60Hz的帧率采集图像数据，第一帧先采集外部环境形成30Hz的外部环境图像以实现整个VR系统的Head 6DOF功能，第二帧采集手柄形成30Hz的手柄的图像以追踪光学手柄实现Hand6DOF功能，此时该第一类帧指的是采集外部环境形成的外部环境图像；在另一具体实施例中，采用30Hz的帧率采集图像数据，实现15Hz同步，具体的，第一帧和第二帧先采集头部图像，第三帧第四帧采集手柄的图像，在本实施例中，该第一类帧指的是采集的头部图像；无论先采集几帧外部事物的图像再采集手柄图像，该第一类帧均为前几帧的外部事物的图像，换句话说，该第一类帧为除追踪手柄以外所采集的非手柄的图像，可以为外部环境图像，也可以为人体部位图像。
如图1所示，在步骤S110中，各个摄像头在追踪过程中的曝光参数依据外部事物的变化而动态变化，多个摄像头保持同步工作，由于每个摄像头的安装位置不同，每个摄像头所对应的外界环境也不同，为保证追踪精度、保证每个图像在不同环境输出的一致性，每个摄像头的曝光参数也需有所不同，当外部事物所处的环境越暗，该曝光参数越大；外部事物所处的环境越亮，该曝光参数越小，即环境较暗的摄像头曝光时间设置较长，环境较亮的摄像头曝光时间设置较短，这种情况下只有实现曝光中心点的对齐，即可以保证多个摄像头在采集数据时的时刻一致，多个摄像头也会有相同的时间戳。
如图1所示的实施例，在步骤S120之前，需要根据数据图像的HTS设置和VR系统中的时钟频率计算每行数据的扫描时间，并获取VR系统中图像传感器默认的VTS数值，而后调整第一类帧的VTS数据，其中，调整所述第一类帧的VTS数据的过程包括：
S121：获取第一类帧的曝光参数；
S122：通过曝光参数计算第一类帧的VTS数据，并将VTS数据写入图像传感器的寄存器中；
该VTS数据随着曝光参数的变化而变化，具体的，若曝光参数增大，则增大VTS数据的数值；若曝光参数减小，则减小VTS数据的数值，以固定第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔，从而在多个摄像头在获取第一类帧的图像数据时保证多个摄像头的中心点对齐。
如图1所示的实施例，在步骤S130中，按照预设帧率采集第二类帧，该第二类帧的图像数据用于追踪光学手柄，在一个具体实施例中，采用60Hz的帧率采集图像数据，第一帧先采集外部环境形成30Hz的外部环境图像以实现整个VR系统的Head 6DOF功能，第二帧采集手柄形成30Hz的手柄的图像以追踪光学手柄实现Hand 6DOF功能，此时该第二类帧指的是追踪手柄形成的手柄的图像；在另一具体实施例中，采用30Hz的帧率采集图像数据，实现15Hz同步，具体的，第一帧和第二帧先采集头部图像，第三帧第四帧采集手柄的图像，在本实施例中，该第二类帧指的是采集的手柄的图像；无论先采集几帧外部事物的图像再采集手柄图像，该第二类帧均为所采集的手柄的图像。
如图1所示的实施例，在步骤S130中，由于手柄亮度与环境相比会较亮，同时为了在手柄快速移动时能够减小图像余辉，在追踪光学手柄的过程中各个摄像头的曝光参数(曝光时间)设置很小(几十到几百微秒)，并且多个摄像头曝光时间设置为同样参数，从而在追踪光学手柄的过程中各个摄像头的曝光参数(曝光时间)保持一致，根据摄像头的特性，多个摄像头的第二类帧的图像曝光中心点对齐，即实现第二类帧的图像的曝光中心点与FSIN同步信号时间间隔固定，因此，在步骤S140中，首先根据第一类帧的VTS数据调整第二类帧的VTS数据，且固定第二类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔，从而完成摄像头曝光中心点的对齐。
如图1所示的实施例，在步骤S140中，根据第一类帧的VTS数据调整第二类帧的图像的VTS数据为：使第二类帧的VTS数据的数值与第一类帧的VTS数据的数值之和为固定数值，当第二类帧的VTS数据的数值与第一类帧的VTS数据的数值之和始终为相同的值，如此第一类帧与第二类帧两帧的图像数据方能以特定帧率稳定的进行图像输出，实现摄像头以预设帧率稳定输出，从而实现第一类帧与第二类帧的中心点对齐，在VR系统采集图像数据的整个采集过程中，依次进行采集第一类帧、第二类帧、第一类帧、第二类帧……如此循环往复以实现整个VR追踪过程，故只需按照上述第一类帧与第二类帧进行中心点对齐的过程循环往复，依次重复完成第一类帧与第二类帧的中心点对齐，即可实现对齐整个VR追踪过程中的摄像头曝光中心点。
通过上述实施方式可以看出，本发明提供的VR系统中多摄像头曝光中心点的对齐方法，通过将采集的图像数据划分为第一类帧、第二类帧，在分别对第一类帧和第二类帧进行处理，第一类帧用于追踪外部事物，在追踪过程中摄像头的曝光参数依据外部事物的变化而动态变化，借此特点调整第一类帧的VTS数据，使VTS数据随着曝光参数的变化而变化，以固定第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔，第二类帧在追踪过程中摄像头的曝光参数一致，可轻松实现第二类帧的曝光中心点与VR系统中的FSIN同步信号具有固定的时间间隔，从而完成第一类帧与第二类帧的中心点对齐，在获取剩余的图像数据时依次重复完成如第一类帧与第二类帧的中心点对齐，进而对齐整个VR追踪过程中的摄像头曝光中心点，如此，即使为满足光学手柄追踪需求加入更多的摄像头，每个摄像头设置不同的曝光参数，也能够完成曝光中心点的对齐，从而使整个VR系统稳定输出，提高用户的舒适性和沉浸感。
如图2所示，本发明还提供一种VR系统中多摄像头曝光中心点的对齐系统100，其特征在于，用于实现前述的VR系统中多摄像头曝光中心点的对齐方法，包括类帧划分模块110、摄像头120、第一类帧处理模块130和第二类帧处理模块140，其中，该类帧划分模块110，用于指令该摄像头120依次获取第一类帧和第二类帧的图像数据，即指令该摄像头120依次采集外部事物和发光手柄，并且将该摄像头120采集的图像数据划分为第一类帧与第二类帧；该摄像头120用于按照该类帧划分模块110的指令的采集外部事物或采集发光手柄的图像数据，并且按照预设帧率采集图像数据；该第一类帧处理模块130用于调整第一类帧的VTS数据，使VTS数据随着曝光参数的变化而变化，以固定第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔；该第二类帧处理模块140用于根据第一类帧的VTS数据调整第二类帧的VTS数据，且固定第二类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔，以完成摄像头曝光中心点的对齐。
通过上述实施方式可以看出，本发明提供的VR系统中多摄像头曝光中心点的对齐系统，首先类帧划分模块指令摄像头依次获取第一类帧和第二类帧，摄像头按照预设帧率采集第一类帧和第二类帧的图像数据，而后通过第一类帧处理模块与第二类帧处理模块对第一类帧、第二类帧的VTS数据进行处理，以使第一类帧与第二类帧的曝光中心点对齐，在获取剩余的图像数据时依次重复完成如第一类帧与第二类帧的中心点对齐，进而对齐整个VR追踪过程中的摄像头曝光中心点，如此，即使为满足光学手柄追踪需求加入更多的摄像头，每个摄像头设置不同的曝光参数，也能够完成曝光中心点的对齐，从而使整个VR系统稳定输出，提高用户的舒适性和沉浸感。
如上参照附图以示例的方式描述了根据本发明提出的VR系统中多摄像头曝光中心点的对齐方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的VR系统中多摄像头曝光中心点的对齐方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种VR系统中多摄像头曝光中心点的对齐方法，其特征在于，包括：
按照预设帧率采集第一类帧的图像数据，所述第一类帧用于追踪外部事物，并且各个摄像头在追踪过程中的曝光参数依据外部事物的变化而动态变化；
调整所述第一类帧的VTS数据，所述VTS数据随着曝光参数的变化而变化，以固定所述第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔；其中，所述VTS表示竖直时序大小；所述FSIN表示帧同步输入；
按照所述预设帧率采集第二类帧的图像数据，所述第二类帧用于追踪光学手柄，并且各个摄像头在追踪过程中的曝光参数一致；
根据所述第一类帧的VTS数据调整所述第二类帧的VTS数据，且固定所述第二类帧的曝光中心点与所述FSIN同步信号的时间间隔，以完成所述摄像头曝光中心点的对齐。
2.如权利要求1所述的VR系统中多摄像头曝光中心点的对齐方法，其特征在于，
所述预设帧率为60Hz。
3.如权利要求2所述的VR系统中多摄像头曝光中心点的对齐方法，其特征在于，
所述外部事物为外部环境或人体部位。
4.如权利要求1所述的VR系统中多摄像头曝光中心点的对齐方法，其特征在于，在调整所述第一类帧的VTS数据之前，还包括：
根据所述图像数据的HTS设置和VR系统中的时钟频率计算每行数据的扫描时间，并获取所述VR系统中图像传感器默认的VTS数值；其中，所述HTS表示水平时序大小。
5.如权利要求4所述的VR系统中多摄像头曝光中心点的对齐方法，其特征在于，调整所述第一类帧的VTS数据的过程包括：
获取所述第一类帧的曝光参数；
通过所述曝光参数计算所述第一类帧的VTS数据，并将所述VTS数据写入所述图像传感器的寄存器中。
6.如权利要求1所述的VR系统中多摄像头曝光中心点的对齐方法，其特征在于，各个摄像头在追踪过程中的曝光参数依据外部事物的变化而动态变化的过程中，
所述外部事物的环境越暗，所述曝光参数越大；
所述外部事物的环境越亮，所述曝光参数越小。
7.如权利要求6所述的VR系统中多摄像头曝光中心点的对齐方法，其特征在于，在所述VTS数据随着曝光参数的变化而变化的过程中，
若所述曝光参数增大，则增大所述VTS数据的数值；
若所述曝光参数减小，则减小所述VTS数据的数值。
8.如权利要求1所述的VR系统中多摄像头曝光中心点的对齐方法，其特征在于，根据所述第一类帧的VTS数据调整所述第二类帧的图像的VTS数据为：
使所述第二类帧的VTS数据的数值与所述第一类帧的VTS数据的数值之和为固定数值。
9.如权利要求1所述的VR系统中多摄像头曝光中心点的对齐方法，其特征在于，
在固定所述第二类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔的过程之后完成所述第一类帧与所述第二类帧的中心点对齐；
在VR系统采集图像数据的整个采集过程中，依次重复完成所述第一类帧与所述第二类帧的中心点对齐，以对齐整个VR追踪过程中的摄像头曝光中心点。
10.一种VR系统中多摄像头曝光中心点的对齐系统，其特征在于，所述对齐系统用于实现如权利要求1-9任一项所述的VR系统中多摄像头曝光中心点的对齐方法，包括：类帧划分模块、摄像头、第一类帧处理模块和第二类帧处理模块，其中，
所述类帧划分模块用于指令所述摄像头依次获取第一类帧和第二类帧；
所述摄像头用于按照所述类帧划分模块的指令依次采集所述第一类帧和第二类帧的图像数据，并且按照预设帧率采集图像数据；
所述第一类帧处理模块用于调整第一类帧的VTS数据，使VTS数据随着曝光参数的变化而变化，以固定第一类帧的曝光中心点与VR系统中的FSIN同步信号的时间间隔；其中，所述VTS表示竖直时序大小；所述FSIN表示帧同步输入；
所述第二类帧处理模块用于根据所述第一类帧的VTS数据调整第二类帧的VTS数据，且固定所述第二类帧的曝光中心点与所述FSIN同步信号的时间间隔，以完成摄像头曝光中心点的对齐。
CN202010973542.2A 2020-09-16 2020-09-16 Vr系统中多摄像头曝光中心点的对齐方法、系统 Active CN112203076B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010973542.2A CN112203076B (zh) 2020-09-16 2020-09-16 Vr系统中多摄像头曝光中心点的对齐方法、系统
PCT/CN2021/118546 WO2022057834A1 (zh) 2020-09-16 2021-09-15 Vr系统中多摄像头曝光中心点的对齐方法、系统
EP21868656.6A EP4199510A4 (en) 2020-09-16 2021-09-15 METHOD AND SYSTEM FOR ALIGNING CENTRAL EXPOSURE POINTS OF MULTIPLE CAMERAS IN A VR SYSTEM
US17/819,500 US11962749B2 (en) 2020-09-16 2022-08-12 Virtual reality interaction method, device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973542.2A CN112203076B (zh) 2020-09-16 2020-09-16 Vr系统中多摄像头曝光中心点的对齐方法、系统

Publications (2)

Publication Number Publication Date
CN112203076A CN112203076A (zh) 2021-01-08
CN112203076B true CN112203076B (zh) 2022-07-29

Family

ID=74016388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973542.2A Active CN112203076B (zh) 2020-09-16 2020-09-16 Vr系统中多摄像头曝光中心点的对齐方法、系统

Country Status (4)

Country Link
US (1) US11962749B2 (zh)
EP (1) EP4199510A4 (zh)
CN (1) CN112203076B (zh)
WO (1) WO2022057834A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203076B (zh) * 2020-09-16 2022-07-29 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统
CN112449172B (zh) * 2021-02-01 2021-04-23 南京爱奇艺智能科技有限公司 一种vr设备多摄像头曝光同步方法
CN114285472B (zh) * 2021-12-20 2023-05-09 北京邮电大学 一种基于手机摄像头具有前向纠错的upsook调制方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5050256B1 (ja) * 2011-06-21 2012-10-17 オリンパス株式会社 撮像装置及び撮像方法
CN107168523A (zh) * 2017-04-10 2017-09-15 北京小鸟看看科技有限公司 一种摄像机位置调整方法和系统
CN107948463A (zh) * 2017-11-30 2018-04-20 北京图森未来科技有限公司 一种相机同步方法、装置及系统
CN108829627A (zh) * 2018-05-30 2018-11-16 青岛小鸟看看科技有限公司 虚拟现实设备间的同步控制方法及系统
CN109697002A (zh) * 2017-10-23 2019-04-30 腾讯科技（深圳）有限公司 一种在虚拟现实中对象编辑的方法、相关设备及系统
CN109729278A (zh) * 2018-11-19 2019-05-07 魔门塔(苏州)科技有限公司 可设定各通道传输速率的远程多传感器同步接收装置
CN109889690A (zh) * 2019-03-04 2019-06-14 青岛小鸟看看科技有限公司 一种提高深度图像帧率的方法和深度相机组
CN110139066A (zh) * 2019-03-24 2019-08-16 初速度（苏州）科技有限公司 一种传感器数据的传输系统、方法和装置
CN110198415A (zh) * 2019-05-26 2019-09-03 初速度（苏州）科技有限公司 一种图像时间戳的确定方法和装置
WO2019199612A1 (en) * 2018-04-09 2019-10-17 Facebook Technologies, Llc Systems and methods for synchronizing image sensors
CN111355897A (zh) * 2018-12-24 2020-06-30 海信视像科技股份有限公司 一种灯光控制方法及装置
CN111476907A (zh) * 2020-04-14 2020-07-31 青岛小鸟看看科技有限公司 基于虚拟现实技术的定位及三维场景重建装置、方法
CN111669479A (zh) * 2019-03-06 2020-09-15 舜宇光学（浙江）研究院有限公司 一种验证摄像头同步曝光的方法及其系统和电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144445A (en) * 1989-12-26 1992-09-01 Sanyo Electric Co., Ltd. Solid-state image pickup apparatus having a plurality of photoelectric transducers arranged in a matrix
US7046292B2 (en) * 2002-01-16 2006-05-16 Hewlett-Packard Development Company, L.P. System for near-simultaneous capture of multiple camera images
EP1376995A3 (en) * 2002-06-21 2004-03-17 Samsung Electronics Co., Ltd. Device and method for displaying data in a mobile terminal equipped with a camera
JP4960907B2 (ja) * 2008-03-11 2012-06-27 富士フイルム株式会社 撮影装置および撮影方法
JP2009232340A (ja) * 2008-03-25 2009-10-08 Seiko Epson Corp 撮像素子及び撮像素子の駆動方法
JP5683025B2 (ja) * 2010-04-19 2015-03-11 パナソニックＩｐマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
KR101349560B1 (ko) * 2012-04-26 2014-01-10 엘지이노텍 주식회사 적외선 카메라 및 이의 동작 방법
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US9819875B2 (en) * 2015-03-02 2017-11-14 Intel Corporation Multi-camera sync pulse synchronization
US9549100B2 (en) * 2015-04-23 2017-01-17 Microsoft Technology Licensing, Llc Low-latency timing control
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
WO2017221106A1 (en) * 2016-06-19 2017-12-28 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US10834315B2 (en) * 2016-11-08 2020-11-10 Sony Corporation Image transfer apparatus and moving image generating system for transferring moving image data
US10873708B2 (en) * 2017-01-12 2020-12-22 Gopro, Inc. Phased camera array system for generation of high quality images and video
US20180309919A1 (en) * 2017-04-19 2018-10-25 Qualcomm Incorporated Methods and apparatus for controlling exposure and synchronization of image sensors
US10705598B2 (en) * 2017-05-09 2020-07-07 Microsoft Technology Licensing, Llc Tracking wearable device and handheld object poses
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10559126B2 (en) * 2017-10-13 2020-02-11 Samsung Electronics Co., Ltd. 6DoF media consumption architecture using 2D video decoder
JP7231054B2 (ja) * 2019-10-08 2023-03-01 株式会社デンソー 誤差推定装置、誤差推定方法、誤差推定プログラム
CN111459279A (zh) * 2020-04-02 2020-07-28 重庆爱奇艺智能科技有限公司 主动式补光设备、3dof手柄、vr设备及追踪系统
CN112203076B (zh) 2020-09-16 2022-07-29 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5050256B1 (ja) * 2011-06-21 2012-10-17 オリンパス株式会社 撮像装置及び撮像方法
CN107168523A (zh) * 2017-04-10 2017-09-15 北京小鸟看看科技有限公司 一种摄像机位置调整方法和系统
CN109697002A (zh) * 2017-10-23 2019-04-30 腾讯科技（深圳）有限公司 一种在虚拟现实中对象编辑的方法、相关设备及系统
CN107948463A (zh) * 2017-11-30 2018-04-20 北京图森未来科技有限公司 一种相机同步方法、装置及系统
WO2019199612A1 (en) * 2018-04-09 2019-10-17 Facebook Technologies, Llc Systems and methods for synchronizing image sensors
CN108829627A (zh) * 2018-05-30 2018-11-16 青岛小鸟看看科技有限公司 虚拟现实设备间的同步控制方法及系统
CN109729278A (zh) * 2018-11-19 2019-05-07 魔门塔(苏州)科技有限公司 可设定各通道传输速率的远程多传感器同步接收装置
CN111355897A (zh) * 2018-12-24 2020-06-30 海信视像科技股份有限公司 一种灯光控制方法及装置
CN109889690A (zh) * 2019-03-04 2019-06-14 青岛小鸟看看科技有限公司 一种提高深度图像帧率的方法和深度相机组
CN111669479A (zh) * 2019-03-06 2020-09-15 舜宇光学（浙江）研究院有限公司 一种验证摄像头同步曝光的方法及其系统和电子设备
CN110139066A (zh) * 2019-03-24 2019-08-16 初速度（苏州）科技有限公司 一种传感器数据的传输系统、方法和装置
CN110198415A (zh) * 2019-05-26 2019-09-03 初速度（苏州）科技有限公司 一种图像时间戳的确定方法和装置
CN111476907A (zh) * 2020-04-14 2020-07-31 青岛小鸟看看科技有限公司 基于虚拟现实技术的定位及三维场景重建装置、方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多层次融合的VR真实场景建模;周晓雨;《中国优秀硕士学位论文全文数据库信息科技辑（电子期刊）》;20200131;全文 *

Also Published As

Publication number Publication date
CN112203076A (zh) 2021-01-08
EP4199510A1 (en) 2023-06-21
EP4199510A4 (en) 2024-02-28
US11962749B2 (en) 2024-04-16
US20220385884A1 (en) 2022-12-01
WO2022057834A1 (zh) 2022-03-24

Similar Documents

Publication Publication Date Title
CN112203076B (zh) Vr系统中多摄像头曝光中心点的对齐方法、系统
CN106782306B (zh) 一种oled显示面板的亮度调节方法以及亮度调节系统
US20170263198A1 (en) System and method for adjusting luminance of a display screen
CN106531049B (zh) 一种显示面板的亮度调节方法及系统
CN105141841B (zh) 摄像设备及其方法
EP2615822A2 (en) Imaging apparatus and controlling method therefor, and lens unit and controlling method therefor, and imaging system
US9456146B2 (en) Exposure control device, imaging device, image display device, and exposure control method
KR20110000293A (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
CN102802001B (zh) 一种用于降低快门式3d液晶动态串扰的方法、装置以及液晶显示器
CN101325665A (zh) 相位调整装置及数码相机
CN112949370A (zh) 眼睛事件检测
JP6525740B2 (ja) 情報処理装置、情報処理装置の制御方法、画像処理システム及びプログラム
EP3809692B1 (en) Imaging device provided with event-based camera
DE112021003347T5 (de) Bildverarbeitungsvorrichtung, bildanzeigesystem, -verfahren und -programm
US20240031551A1 (en) Image capturing apparatus for capturing a plurality of eyeball images, image capturing method for image capturing apparatus, and storage medium
US10500397B2 (en) Method for downsampling a signal outputted by an asynchronous sensor
CN104065952A (zh) 穿戴式电子设备和图像处理方法
JP2021005761A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
CN103313012A (zh) 校正视频信号的视频处理设备及系统
CN115474316A (zh) 用于控制氛围灯的方法及装置、电子设备、存储介质
US20220383512A1 (en) Tracking method for image generation, a computer program product and a computer system
JP2012080411A (ja) 撮像装置及びその制御方法
EP3442218A1 (en) Imaging apparatus and control method for outputting images with different input/output characteristics in different regions and region information, client apparatus and control method for receiving images with different input/output characteristics in different regions and region information and displaying the regions in a distinguishable manner
JP2021085936A (ja) 撮像装置、撮像装置の制御方法及びプログラム
US11743601B2 (en) Image processing device, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant