CN110087054B - 图像的处理方法、装置及系统 - Google Patents

图像的处理方法、装置及系统 Download PDF

Info

Publication number
CN110087054B
CN110087054B CN201910491414.1A CN201910491414A CN110087054B CN 110087054 B CN110087054 B CN 110087054B CN 201910491414 A CN201910491414 A CN 201910491414A CN 110087054 B CN110087054 B CN 110087054B
Authority
CN
China
Prior art keywords
eye image
buffer area
splicing
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910491414.1A
Other languages
English (en)
Other versions
CN110087054A (zh
Inventor
姚涛
杨飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201910491414.1A priority Critical patent/CN110087054B/zh
Publication of CN110087054A publication Critical patent/CN110087054A/zh
Application granted granted Critical
Publication of CN110087054B publication Critical patent/CN110087054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像的处理方法、装置及系统,通过采集用户的左眼图像和右眼图像;将左眼图像和右眼图像进行水平拼接或上下拼接,得到拼接后的图像;其中,水平拼接为将左眼图像和右眼图像沿水平线方向拼接;上下拼接为将左眼图像和右眼图像沿垂直线方向拼接;将拼接后的图像发送至上层单元。由于本申请可以根据上层单元中的检测算法的特点,选择对左眼图像和右眼图像进行水平拼接或上下拼接,使得拼接后的图像可适用于上层单元中的检测算法,进而使得检测的准确率更高,因此与现有技术相比,本申请提供的图像的处理方法适用于更多的上层单元的应用程序,能获得更高的检测准确率。

Description

图像的处理方法、装置及系统
技术领域
本发明涉及电子信息技术领域,尤其涉及一种图像的处理方法、装置及系统。
背景技术
虚拟现实(Virtual Reality,VR)设备为了提供给用户更逼真的交互体验,通常需要VR设备的采集模块采集用户的左眼图像和右眼图像,将左眼图像和右眼图像进行水平拼接,并将水平拼接的图像传给应用程序,由应用程序解析水平拼接的图像中的信息,以实现根据解析的信息提供给用户更逼真的交互体验。例如,应用程序通过检测算法检测左右眼图水平拼接图像中的上下眼皮信息,根据上下眼皮信息来提供给用户更逼真的交互体验。其中,上下眼皮信息指的是上下眼皮的位置信息,应用程序通常用与睑缘相切的水平线来表示。
然而,水平拼接的图像对一些图像处理算法处理并不适合或者某些算法对上下拼接的图像有更好的处理效果。此外某些应用程序要对左右眼图单独做图像处理,由于水平拼接的图像是左眼图右眼图逐行交织存储,要额外的处理才能从水平拼接的图像中分离出左右眼图。
发明内容
基于上述现有技术的不足,本申请提出了一种图像的处理方法、装置及系统,以实现可将左眼图像和右眼图像进行水平拼接或上下拼接。
为了实现上述目的,现提出的方案如下:
本发明第一方面公开了一种图像的处理方法,包括:
采集用户的左眼图像和右眼图像;
将所述左眼图像和所述右眼图像进行水平拼接或上下拼接,得到拼接后的图像;其中,所述水平拼接为将所述左眼图像和所述右眼图像沿水平线方向拼接;所述上下拼接为将所述左眼图像和所述右眼图像沿垂直线方向拼接;
将所述拼接后的图像发送至上层单元。
可选地,在上述图像的处理方法中,所述采集用户的左眼图像和右眼图像之前,还包括:
发送同步信号源,其中,所述同步信号源用于使传感装置同步采集所述用户的左眼图像和右眼图像。
可选地,在上述图像的处理方法中,所述将所述左眼图像和所述右眼图像进行水平拼接或上下拼接,得到拼接后的图像,包括:
将所述左眼图像存储于第一缓冲区,并将所述右眼图像存储于第二缓冲区;
将所述第一缓冲区存储的左眼图像和所述第二缓冲区存储的右眼图像进行水平拼接或上下拼接,得到拼接后的图像,并将所述拼接后的图像存储在第三缓冲区。
可选地,在上述图像的处理方法中,所述将所述左眼图像存储于第一缓冲区,并将所述右眼图像存储于第二缓冲区,包括:
在所述第一缓冲区中不断缓存采集的左眼图像数据,直到在所述第一缓冲区缓存成完整的所述左眼图像;并在所述第二缓冲区中不断缓存采集的右眼图像数据,直到在所述第二缓冲区缓存成完整的所述右眼图像;
其中,所述左眼图像数据由传感装置逐行扫描所述左眼图像并传输至所述第一缓冲区;所述右眼图像数据由所述传感装置逐行扫描所述右眼图像并传输至所述第二缓冲区。
可选地,在上述图像的处理方法中,所述将所述第一缓冲区缓存的左眼图像和所述第二缓冲区缓存的右眼图像进行水平拼接或上下拼接,得到拼接后的图像,包括:
当检测到传感装置发送的与所述用户的左眼图像相对应的场同步信号时,读取所述第一缓冲区存储的左眼图像;其中,与所述用户的左眼图像相对应的场同步信号为所述传感装置传输所述用户的左眼图像结束时发出的信号;
读取完所述第一缓冲区存储的左眼图像后,读取所述第二缓冲区存储的右眼图像;
将读取完的左眼图像和读取完的右眼图像进行水平拼接或上下拼接,得到拼接后的图像。
本发明第二方面公开了一种图像的处理装置,包括:
采集单元,用于采集用户的左眼图像和右眼图像;
拼接单元,用于将所述左眼图像和所述右眼图像进行水平拼接或上下拼接,得到拼接后的图像;其中,所述水平拼接为将所述左眼图像和所述右眼图像沿水平线方向拼接;所述上下拼接为将所述左眼图像和所述右眼图像沿垂直线方向拼接;
第一发送单元,用于将所述拼接后的图像发送至上层单元。
可选地,在上述图像的处理装置中,还包括:
第二发送单元,用于发送同步信号源,其中,所述同步信号源用于使传感装置同步采集所述用户的左眼图像和右眼图像。
可选地,在上述图像的处理装置中,所述拼接单元,包括:
第一存储单元,用于将所述左眼图像存储于第一缓冲区,并将所述右眼图像存储于第二缓冲区;
第一拼接子单元,用于将所述第一缓冲区存储的左眼图像和所述第二缓冲区存储的右眼图像进行水平拼接或上下拼接,得到拼接后的图像;
第二存储单元,用于将所述拼接后的图像存储在第三缓冲区。
可选地,在上述图像的处理装置中,所述第一存储单元,包括:
第一存储子单元,用于在所述第一缓冲区中不断缓存采集的左眼图像数据,直到在所述第一缓冲区缓存成完整的所述左眼图像;并在所述第二缓冲区中不断缓存采集的右眼图像数据,直到在所述第二缓冲区缓存成完整的所述右眼图像;
其中,所述左眼图像数据由传感装置逐行扫描所述左眼图像并传输至所述第一缓冲区;所述右眼图像数据由所述传感装置逐行扫描所述右眼图像并传输至所述第二缓冲区。
可选地,在上述图像处理装置中,所述第一拼接子单元,包括:
第一读取单元,用于当检测到传感装置发送的与所述用户的左眼图像相对应的场同步信号时,读取所述第一缓冲区存储的左眼图像;其中,与所述用户的左眼图像相对应的场同步信号为所述传感装置传输所述用户的左眼图像结束时发出的信号;
第二读取单元,用于读取完所述第一缓冲区存储的左眼图像后,读取所述第二缓冲区存储的右眼图像;
第二拼接子单元,用于将读取完的左眼图像和读取完的右眼图像进行水平拼接或上下拼接,得到拼接后的图像。
本发明第三方面公开了一种图像处理系统,包括:
第一传感装置,用于采集用户的左眼图像,将所述用户的左眼图像发送至主控单元;
第二传感装置,用于采集用户的右眼图像,将所述用户的右眼图像发送至所述主控单元;
其中,所述用户的左眼图像及所述用户的右眼图像由同步采集得到;
分别与所述第一传感单元和所述第二传感单元相连的主控单元,用于执行如上述第一方面公开的任一项的图像的处理方法。
从上述的技术方案可以看出,本申请提供的图像的处理方法中,通过采集用户的左眼图像及用户的右眼图像,将接收到的左眼图像和右眼图像进行水平拼接或上下拼接,得到拼接后的图像,然后将拼接后的图像发送至上层单元。其中,水平拼接为将左眼图像和右眼图像沿水平线方向拼接;上下拼接为将左眼图像和右眼图像沿垂直线方向拼接。由于可以根据上层单元中的检测算法的特点,选择对左眼图像和右眼图像进行水平拼接或上下拼接,使得拼接后的图像可适用于上层单元中的检测算法,进而使得检测的准确率更高,因此与现有技术相比,本申请提供的图像的处理方法适用于更多的上层单元的应用程序,能获得更高的检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种图像处理系统的结构示意图;
图2为本发明实施例公开的一种图像的处理方法的流程示意图;
图3为本发明实施例公开的左眼图像和右眼图像水平拼接的示意图;
图4为本发明实施例公开的左眼图像和右眼图像上下拼接的示意图;
图5为本发明实施例公开的一种主控单元的结构示意图;
图6为本发明实施例公开的一种图像的拼接方法的流程示意图;
图7为本发明实施例公开的另一种图像的拼接方法的流程示意图;
图8为本发明实施例公开的图像的处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先需要说明的是,参阅图1,本申请实施例公开了一种图像处理系统,包括:第一传感装置、第二传感装置及主控单元。其中,主控单元分别与第一传感装置及第二传感装置相连。
本申请实施例提供的图像处理系统,可以实现将左眼图像和右眼图像上下拼接或左右拼接,输出拼接后的图像。具体的,第一传感装置采集用户的左眼图像,将用户的左眼图像发送至主控单元。第二传感装置采集用户的右眼图像,将用户的左眼图像发送至主控单元。其中,用户的左眼图像和用户的右眼图像是同步采集得到的。可选地,第一传感装置和第二传感装置可以为图像传感器。两个传感装置可通过两线式串行总线与主控单元相连。主控单元将接收到的左眼图像和右眼图像进行处理,将左眼图像和右眼图像进行上下拼接或左右拼接,得到拼接后的图像。并将拼接后的图像发送至上层单元。其中,主控单元可以理解成具有逻辑处理能的芯片单元,上层单元可以理解成为检测用户眼图中的信息的应用程序。用户眼图中的信息可以是用户的上下眼皮位置信息等。
还需要说明的是,本申请实施例提供的图像处理系统可以应用于VR设备中,通过VR设备中的传感装置采集用户的左眼图像和右眼图像,再通过VR设备中的主控单元将左眼图像和右眼图像进行水平拼接或上下拼接,得到拼接后的图像后传至上层单元,上层单元通过检测算法检测眼图中的信息,以实现为使用VR设备的用户提供更逼真的交互体验。
其中,由于上层单元中的应用程序采用的检测算法不同,不同检测算法适用的拼接方式也不同。因此,主控单元提供了将左眼图像和右眼图像进行水平拼接或上下拼接两种模式,主控单元可以根据上层单元中的检测算法的特点来设定主控单元中对左眼图像和右眼图像的拼接方式。当然,还可以是主控单元受上层单元的控制,来设定自身对左眼图像和右眼图像的拼接方式。
例如有些上层单元采用YOLO算法检测用户的上下眼皮位置信息时,由于上下拼接的图像数据不是交织存储的,对于上层单元来说,更容易将左眼图像和右眼图像分开,使得检测准确率更高。因此,上层单元采用YOLO算法检测上下眼皮位置信息时,设定主控单元采用上下拼接的拼接方式进行拼接。
基于图1示出的系统,以下分别通过几个实施例对图像的处理方法进行说明。
参阅图2,本申请一实施例提供了一种图像的处理方法,包括以下步骤:
S201、传感装置同步采集用户的左眼图像及用户的右眼图像。
其中,用户的左眼图像中至少包括用户左眼的上下眼皮部分以及左眼睛的图像。而用户的右眼图像中至少包括用户右眼的上下眼皮部分以及右眼睛的图像。用户的传感装置包括第一传感装置和第二传感装置。第一传感装置采集用户的左眼图像,第二传感装置采集用户的右眼图像。需要说明的是,第一传感装置和第二传感装置同时采集图像,使得传感装置采集的是同一时刻下的用户的左眼图像和用户的右眼图像。其中,第一传感装置和第二传感装置可以是图像传感器。
可选地,在本申请一具体实施例中,执行步骤S201之前,还可以包括:
主控单元向传感装置发送同步信号源,其中,同步信号源用于使传感装置同步采集用户的左眼图像及用户的右眼图像。
具体地,主控单元向第一传感装置和第二传感装置分别发送了同步信号源,使得第一传感装置和第二传感装置同步。或者,主控单元向第一传感装置发送同步信号源,第二传感装置共用第一传感装置接收的同步信号源,使得第一传感装置和第二传感装置同步。第一传感装置和第二传感装置接收了同步信号源后,同步采集用户的眼睛图像。其中,同步信号源可以包括:行帧信号、像素时序信号和时钟信号。第一传感装置和第二传感装置使用主控单元发送的相同的行帧信号、像素时序信号及时钟信号后,第一传感装置和第二传感装置的帧实现准确覆盖,第一传感装置和第二传感装置可同步采集图像,且同步传输图像给主控单元。其中,行帧信号包括行有效信号和帧有效信号。行有效信号用于指示第一传感装置和第二传感装置的行的开始和结束,帧有效信号用于指示第一传感装置和第二传感装置的帧的开始和结束。
S202、主控单元接收传感装置同步采集的用户的左眼图像及用户的右眼图像。
其中,传感装置同步采集了用户的左眼图像和用户的右眼图像后,同步向主控单元发送用户的左眼图像及用户的用眼图像。传感装置执行完步骤S201之后,将采集到的图像逐行扫描传输至主控单元。
具体的,传感装置中的第一传感装置将采集到的左眼图像逐行扫描传输至主控单元,即第一传感装置每次仅传输左眼图像的一部分,直至将左眼图像全部传输至主控单元。同样的,第二传感装置将采集到的右眼图像逐行扫描传输至主控单元,即第二传感装置每次仅传输右眼图像的一部分,直至将右眼图像全部传输至主控单元。第一传感装置和第二传感装置完成了左眼图像和右眼图像的传输后,可继续采集下一时刻的用户的左眼图像和右眼图像,即再次执行步骤S201。
S203、主控单元将接收到的左眼图像和右眼图像进行水平拼接或上下拼接,得到拼接后的图像。
其中,参阅图3,水平拼接为将左眼图像和右眼图像沿水平线方向拼接。参阅图4,上下拼接为将左眼图像和右眼图像沿垂直线方向拼接。
其中,不同的拼接方式适用于不同的上层单元中的不同的检测算法。例如,水平拼接的方式使得左眼图像数据与右眼图像数据是交织存储的,对于上层单元来说,水平拼接的图像不利于分离出左眼图像与右眼图像,因此对上层单元中的部分检测算法不适用。而上下拼接的方式使得左眼图像数据与右眼图像数据不是交织存储的,易于上层单元处理,使得上层单元可以很容易地分离出左眼图像与右眼图像,进而利于上层单元中的部分检测算法对眼图进行检测,从而提高了检测数据的准确率。
因此,在具体的应用中,主控单元在执行步骤S203之前,预先针对上层单元中不同的检测算法的特点,选择设定不同的拼接方式,如此,主控单元在接收到左眼图像和右眼图像后,即可根据设定的拼接方式,对左眼图像和右眼图像进行拼接。
可选地,参阅图5,在本申请一具体实施例中,主控单元可以包括:第一缓冲区、第二缓冲区、合并单元及第三缓冲区。
其中,第一缓冲区、第二缓冲区及第三缓冲区为一种存储器,用于存储数据。具体地,第一缓冲区、第二缓冲区及第三缓冲区可以为一种先进先出(First Input FirstOutput,FIFO)存储器。
可选地,参阅图6,在本申请一具体实施例中,基于图5示出的主控单元,执行步骤S203时,包括:
S601、主控单元将左眼图像存储于第一缓冲区,并将右眼图像存储于第二缓冲区。
其中,第一缓冲区和第二缓冲区为一种存储器。可选地,第一缓冲区和第二缓冲区可以为一种FIFO存储器。左眼图像由传感装置中的第一传感装置传输至第一缓冲区,右眼图像则由传感装置中的第二传感装置传输至第二缓冲区。需要说明的是,主控单元将左眼图像存储于第一缓冲区与主控单元将右眼图像存储于第二缓冲区可以同步进行,也可以不同步进行。只需保证存储于第一缓冲区的左眼图像与存储于第二缓冲区的右眼图像是由传感装置同步采集来的即可。
可选地,在本申请一具体实施例中,主控单元执行步骤S601时,包括:
主控单元在第一缓冲区中不断缓存接收到的左眼图像数据,直到在第一缓冲区缓存成完整的所述左眼图像;并在第二缓冲区中不断缓存接收到的右眼图像数据,直到在第二缓冲区缓存成完整的右眼图像。
其中,左眼图像数据由传感装置逐行扫描左眼图像并传输至第一缓冲区;右眼图像数据由传感装置逐行扫描右眼图像并传输至第二缓冲区。
具体地,左眼图像数据由传感装置中的第一传感装置逐行扫描左眼图像,每扫描一行,则传输一部分左眼图像数据,而主控单元每次仅接收部分的左眼图像数据,并将接收的部分的左眼图像数据不断缓存在主控单元的第一缓冲区中,其中,主控单元将第一传感装置传输的每一行左眼图像进行拼接,最终形成完整的左眼图像。同理地,右眼图像信息数据的传输过程与左眼图像相同,此处不再赘述。
S602、主控单元将第一缓冲区存储的左眼图像和第二缓冲区存储的右眼图像进行水平拼接或上下拼接,得到拼接后的图像。
需要说明的是,步骤S602是由图5示出的主控单元中的合并单元来执行的。主控单元中的合并单元执行步骤S602时,第一缓冲区存储的左眼图像是通过执行步骤S601得到的完整的左眼图像,第二缓冲区存储的右眼图像则是通过执行步骤S601得到的完整的右眼图像。因此,主控单元中的合并单元是将完整的左眼图像及完整的右眼图像进行水平拼接或上下拼接,从而形成拼接后的图像。至于是选择水平拼接还是上下拼接,可根据实际应用中上层单元采用的检测方法进行选择。不同的拼接方式得到的拼接图像适用于不同的上层单元中。
可选地,在本申请一具体实施例中,主控单元中的合并单元可以是一种状态机。其中,状态机由状态寄存器和组合逻辑电路构成,能够根据控制信号按照预先设定的状态进行状态转移,是协调相关信号动作、完成特定操作的控制中心。主控单元中的状态机有三种工作状态,分别为空闲状态、读取左眼图像状态及读取右眼图像状态。
具体地,参阅图7,主控单元的状态机执行步骤S602时,包括:
S701、当主控单元检测到传感装置发送的与用户的左眼图像相对应的场同步信号时,主控单元读取第一缓冲区存储的左眼图像。
其中,与用户的左眼图像相对应的场同步信号为传感装置向主控单元传输用户的左眼图像结束时发出的信号。
具体地,传感装置中的第一传感装置传输左眼图像结束时,会发出一个脉冲信号,这一脉冲信号为场同步信号。主控单元中的状态机检测到左眼图像相对应的场同步信号的上升沿或下降沿时,进入读取左眼图像的工作状态,开始读取第一缓冲区存储的左眼图像,第一缓冲区的左眼图像因此可传输至主控单元中的状态机。
需要说明的是,主控单元执行步骤S701时也可以检测与传感装置发送的与用户的右眼图像相对应的场同步信号。当检测到与用户的右眼图像相对应的场同步信号时,读取第二缓冲区存储的右眼图像。即状态机选择先读取左眼图像还是先读取右眼图像并不影响本申请实施例的实现。
S702、主控单元读取完第一缓冲区存储的左眼图像后,读取第二缓冲区存储的右眼图像。
主控单元中的状态机将第一缓冲区中存储的数据读空之后,进入读取右眼图像的工作状态。需要说明的是,执行步骤S702的前提条件为,传感装置中的第一传感装置传输完左眼图像时,第二传感装置也已经完成了右眼图像的传输。因此,主控单元读取第二缓冲区中存储的右眼图像是完整的右眼图像。
S703、主控单元将读取完的左眼图像和读取完的右眼图像进行水平拼接或上下拼接,得到拼接后的图像。
主控单元中的状态机执行完步骤S701和步骤S702之后,将读取完的左眼图像和读取完的右眼图像采用程序进行水平拼接或上下拼接,得到拼接后的图像。
具体的,主控单元进行水平拼接的方式为:主控单元将右眼图像中的每一行数据与左眼图像中相对应的一行数据沿水平线方向进行拼接,例如,右眼图像的第一行数据和左眼图像的第一行数据进行水平拼接,右眼图像的第二行数据与左眼图像的第二行数据进行水平拼接。
主控单元进行上下拼接的方式为:右眼图像数据直接拼接在左眼图像数据的上方或下方,即将右眼图像的第一行数据与左眼图像数据的最后一行数据相拼接,或者将右眼图像的最后一行数据与左眼图像的第一行数据相拼接。
S603、将拼接后的图像存储在第三缓冲区。
其中,第三缓冲区为一种存储器。主控单元中的第三缓冲区通过通用串行总线(Universal Serial Bus,USB)模块接入上层单元,使得拼接后的图像能通过USB模块传输至上层单元。
S204、主控单元将拼接后的图像发送至上层单元。
其中,上层单元通过检测算法对拼接后的图像进行解析,以实现为使用VR设备的用户提供更逼真的交互体验。
本申请提供的图像的处理方法中,主控单元通过接收传感装置同步采集的用户的左眼图像及所述用户的右眼图像,将接收到的左眼图像和右眼图像进行水平拼接或上下拼接,得到拼接后的图像,然后将拼接后的图像发送至上层单元。其中,水平拼接为将左眼图像和右眼图像沿水平线方向拼接;上下拼接为将左眼图像和右眼图像沿垂直线方向拼接。由于主控单元可以根据上层单元中的检测算法的特点,选择对左眼图像和右眼图像进行水平拼接或上下拼接,使得拼接后的图像可适用于上层单元中的检测算法,进而使得检测的准确率更高,因此与现有技术相比,本申请提供的图像的处理方法适用于更多的上层单元的应用程序,能获得更高的检测准确率。
基于上述本申请实施例公开的图像的处理方法,本申请实施例还对应公开了一种图像处理装置。参阅图8,该图像处理装置主要包括:采集单元801、拼接单元802及第一发送单元803。
采集单元801,用于接收传感装置同步采集的用户的左眼图像及用户的右眼图像。
拼接单元802,用于将接收到的左眼图像和右眼图像进行水平拼接或上下拼接,得到拼接后的图像。其中,水平拼接为将左眼图像和右眼图像沿水平线方向拼接;上下拼接为将左眼图像和右眼图像沿垂直线方向拼接。
可选地,在本申请一具体实施例中,拼接单元802,包括:第一存储单元、第一拼接子单元以及第二存储单元。
第一存储单元,用于将左眼图像存储于第一缓冲区,并将右眼图像存储于第二缓冲区。
可选地,在本申请一具体实施例中,第一存储单元,包括:
第一存储子单元,用于在第一缓冲区中不断缓存接收到的左眼图像数据,直到在第一缓冲区缓存成完整的左眼图像;并在第二缓冲区中不断缓存接收到的右眼图像数据,直到在第二缓冲区缓存成完整的右眼图像。
其中,左眼图像数据由传感装置逐行扫描左眼图像并传输至第一缓冲区;右眼图像数据由传感装置逐行扫描右眼图像并传输至第二缓冲区。
第一拼接子单元,用于将第一缓冲区存储的左眼图像和第二缓冲区存储的右眼图像进行水平拼接或上下拼接,得到拼接后的图像。
可选地,在本申请一具体实施例中,第一拼接子单元,包括:第一读取单元、第二读取单元以及第二拼接子单元。
第一读取单元,用于当主控单元检测到传感装置发送的与用户的左眼图像相对应的场同步信号时,第一读取单元读取第一缓冲区存储的左眼图像。其中,与用户的左眼图像相对应的场同步信号为传感装置向主控单元传输用户的左眼图像结束时发出的信号。
第二读取单元,用于读取完第一缓冲区存储的左眼图像后,读取第二缓冲区存储的右眼图像。
第二拼接子单元,用于将读取完的左眼图像和读取完的右眼图像进行水平拼接或上下拼接,得到拼接后的图像。
第二存储单元,用于将拼接后的图像存储在主控单元的第三缓冲区。
可选地,在本申请一具体实施例中,图像的处理装置还包括:
第二发送单元,用于向传感装置发送同步信号源,其中,同步信号源用于使传感装置同步采集用户的左眼图像及用户的右眼图像。
上述本发明实施例公开的图像的处理装置中的各个单元具体的原理和执行过程,与上述本发明实施例公开的图像的处理方法相同,可参见上述本发明实施例公开的图像的处理方法中相应的部分,这里不再进行赘述。
本申请提供的图像的处理装置中,通过采集单元801接收传感装置同步采集的用户的左眼图像及所述用户的右眼图像,拼接单元802将接收到的左眼图像和右眼图像进行水平拼接或上下拼接,得到拼接后的图像,然后第一发送单元803将拼接后的图像发送至上层单元。其中,水平拼接为将左眼图像和右眼图像沿水平线方向拼接;上下拼接为将左眼图像和右眼图像沿垂直线方向拼接。由于图像的处理装置可以根据上层单元中的检测算法的特点,设定拼接单元802对左眼图像和右眼图像进行水平拼接或上下拼接,使得拼接后的图像可适用于上层单元中的检测算法,进而使得检测的准确率更高,因此与现有技术相比,本申请提供的图像的处理装置适用于更多的上层单元的应用程序,能获得更高的检测准确率。
专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种图像的处理方法,其特征在于,应用于VR设备中,包括:
采集用户的左眼图像和右眼图像;
对所述左眼图像和所述右眼图像,按照与检测算法对应的拼接方式进行拼接,得到拼接后的图像;其中,所述与检测算法对应的拼接方式,包括:水平拼接或上下拼接;所述水平拼接为将所述左眼图像和所述右眼图像沿水平线方向拼接;所述上下拼接为将所述左眼图像和所述右眼图像沿垂直线方向拼接;
将所述拼接后的图像发送至上层单元,由所述上层单元通过所述检测算法对所述拼接后的图像进行解析,识别所述用户的眼图信息;
所述采集用户的左眼图像和右眼图像之前,还包括:
向传感装置发送同步信号源,其中,所述同步信号源用于使所述传感装置同步采集所述用户的左眼图像和右眼图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述左眼图像和所述右眼图像,按照与检测算法对应的拼接方式进行拼接,得到拼接后的图像,包括:
将所述左眼图像存储于第一缓冲区,并将所述右眼图像存储于第二缓冲区;
将所述第一缓冲区存储的左眼图像和所述第二缓冲区存储的右眼图像,按照与检测算法对应的拼接方式进行拼接,得到拼接后的图像,并将所述拼接后的图像存储在第三缓冲区。
3.根据权利要求2所述的方法,其特征在于,所述将所述左眼图像存储于第一缓冲区,并将所述右眼图像存储于第二缓冲区,包括:
在所述第一缓冲区中不断缓存采集的左眼图像数据,直到在所述第一缓冲区缓存成完整的所述左眼图像;并在所述第二缓冲区中不断缓存采集的右眼图像数据,直到在所述第二缓冲区缓存成完整的所述右眼图像;
其中,所述左眼图像数据由传感装置逐行扫描所述左眼图像并传输至所述第一缓冲区;所述右眼图像数据由所述传感装置逐行扫描所述右眼图像并传输至所述第二缓冲区。
4.根据权利要求2所述的方法,其特征在于,所述将所述第一缓冲区存储的左眼图像和所述第二缓冲区存储的右眼图像,按照与检测算法对应的拼接方式进行拼接,得到拼接后的图像,包括:
当检测到传感装置发送的与所述用户的左眼图像相对应的场同步信号时,读取所述第一缓冲区存储的左眼图像;其中,与所述用户的左眼图像相对应的场同步信号为所述传感装置传输所述用户的左眼图像结束时发出的信号;
读取完所述第一缓冲区存储的左眼图像后,读取所述第二缓冲区存储的右眼图像;
将读取完的左眼图像和读取完的右眼图像,按照与检测算法对应的拼接方式进行拼接,得到拼接后的图像。
5.一种图像的处理装置,其特征在于,应用于VR设备中,包括:
采集单元,用于采集用户的左眼图像和右眼图像;
拼接单元,用于对所述左眼图像和所述右眼图像,按照与检测算法对应的拼接方式进行拼接,得到拼接后的图像;其中,所述与检测算法对应的拼接方式,包括:水平拼接或上下拼接;所述水平拼接为将所述左眼图像和所述右眼图像沿水平线方向拼接;所述上下拼接为将所述左眼图像和所述右眼图像沿垂直线方向拼接;
第一发送单元,用于将所述拼接后的图像发送至上层单元,由所述上层单元通过所述检测算法对所述拼接后的图像进行解析,识别所述用户的眼图信息;
第二发送单元,用于向传感装置发送同步信号源,其中,所述同步信号源用于使所述传感装置同步采集所述用户的左眼图像和右眼图像。
6.根据权利要求5所述的装置,其特征在于,所述拼接单元,包括:
第一存储单元,用于将所述左眼图像存储于第一缓冲区,并将所述右眼图像存储于第二缓冲区;
第一拼接子单元,用于将所述第一缓冲区存储的左眼图像和所述第二缓冲区存储的右眼图像,按照与检测算法对应的拼接方式进行拼接,得到拼接后的图像;
第二存储单元,用于将所述拼接后的图像存储在第三缓冲区。
7.根据权利要求6所述的装置,其特征在于,所述第一存储单元,包括:
第一存储子单元,用于在所述第一缓冲区中不断缓存采集的左眼图像数据,直到在所述第一缓冲区缓存成完整的所述左眼图像;并在所述第二缓冲区中不断缓存采集的右眼图像数据,直到在所述第二缓冲区缓存成完整的所述右眼图像;
其中,所述左眼图像数据由传感装置逐行扫描所述左眼图像并传输至所述第一缓冲区;所述右眼图像数据由所述传感装置逐行扫描所述右眼图像并传输至所述第二缓冲区。
8.根据权利要求6所述的装置,其特征在于,所述第一拼接子单元,包括:
第一读取单元,用于当检测到传感装置发送的与所述用户的左眼图像相对应的场同步信号时,读取所述第一缓冲区存储的左眼图像;其中,与所述用户的左眼图像相对应的场同步信号为所述传感装置传输所述用户的左眼图像结束时发出的信号;
第二读取单元,用于读取完所述第一缓冲区存储的左眼图像后,读取所述第二缓冲区存储的右眼图像;
第二拼接子单元,用于将读取完的左眼图像和读取完的右眼图像,按照与检测算法对应的拼接方式进行拼接,得到拼接后的图像。
9.一种图像处理系统,其特征在于,应用于VR设备中,包括:
第一传感装置,用于采集用户的左眼图像,将所述用户的左眼图像发送至主控单元;
第二传感装置,用于采集用户的右眼图像,将所述用户的右眼图像发送至所述主控单元;
其中,所述用户的左眼图像及所述用户的右眼图像由同步采集得到;
分别与所述第一传感单元和所述第二传感单元相连的主控单元,用于执行如权利要求1至4任一项所述的图像的处理方法。
CN201910491414.1A 2019-06-06 2019-06-06 图像的处理方法、装置及系统 Active CN110087054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910491414.1A CN110087054B (zh) 2019-06-06 2019-06-06 图像的处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910491414.1A CN110087054B (zh) 2019-06-06 2019-06-06 图像的处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110087054A CN110087054A (zh) 2019-08-02
CN110087054B true CN110087054B (zh) 2021-06-18

Family

ID=67423784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910491414.1A Active CN110087054B (zh) 2019-06-06 2019-06-06 图像的处理方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110087054B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115032797B (zh) * 2022-06-30 2023-12-08 恒玄科技(上海)股份有限公司 用于无线智能眼镜的显示方法和无线智能眼镜

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010182A (zh) * 2013-02-27 2014-08-27 晨星半导体股份有限公司 影像撷取方法及影像撷取装置
CN106454256A (zh) * 2016-11-03 2017-02-22 贵阳朗玛信息技术股份有限公司 一种多视频实时拼接方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033729B (zh) * 2010-10-27 2012-05-09 广东威创视讯科技股份有限公司 一种异构图像拼接方法及其系统
CN105761208B (zh) * 2016-02-03 2019-03-01 浙江科澜信息技术有限公司 一种图像融合拼接方法
CN107249096B (zh) * 2016-06-14 2021-02-26 杭州海康威视数字技术股份有限公司 全景摄像机及其拍摄方法
CN107046637A (zh) * 2017-01-05 2017-08-15 北京大学深圳研究生院 一种针对三维图像的非对称拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010182A (zh) * 2013-02-27 2014-08-27 晨星半导体股份有限公司 影像撷取方法及影像撷取装置
CN106454256A (zh) * 2016-11-03 2017-02-22 贵阳朗玛信息技术股份有限公司 一种多视频实时拼接方法及装置

Also Published As

Publication number Publication date
CN110087054A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN104412585B (zh) 用于多传感器照相机装置的同步控制器和相关同步方法
CN102780893B (zh) 图像处理设备及其控制方法
KR101719981B1 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
CN101482518A (zh) 一种运动带状材料在线质量检测系统
US20020060648A1 (en) Image-display control apparatus
CN108777766B (zh) 一种多人拍照方法、终端及存储介质
CN104469354B (zh) 一种检测mipi视频信号质量的装置
CN101237480B (zh) 3d显示多屏手机及多屏显示控制方法
CN107861651A (zh) 触控方法、主动笔、触摸屏和触控显示系统
CN110087054B (zh) 图像的处理方法、装置及系统
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN103809741A (zh) 决定3d物件影像在3d环境影像中深度的电子装置及其方法
CN102438117A (zh) 手持终端上的摄像头图像数据采集方法及手持终端
CN109525836B (zh) 基于fpga的嵌入式多模同测装置
CN104252228A (zh) 显示装置及控制显示装置的方法
CN105929939A (zh) 一种远距离手势控制终端
CN103024453B (zh) 非直接获取视频应用场合拼接视频同步播放方法及装置
CN202385229U (zh) 一种用于立体电视串扰测量的信号源
WO2015078189A1 (zh) 一种界面调整方法及移动设备
KR102254564B1 (ko) 몸짓 인식을 위한 이미지 매트릭스를 생성하기 위한 모듈, 시스템 및 방법
CN106371552B (zh) 一种在移动终端进行媒体展示的控制方法及装置
CN105807888A (zh) 一种电子设备及信息处理方法
CN113286098B (zh) 图像处理方法和图像拼接设备
CN106370883A (zh) 一种测速方法及终端
CN102316253A (zh) 一种立体数码相机及同步拍摄方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant