CN105611278B - 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 - Google Patents

防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 Download PDF

Info

Publication number
CN105611278B
CN105611278B CN201610071250.3A CN201610071250A CN105611278B CN 105611278 B CN105611278 B CN 105611278B CN 201610071250 A CN201610071250 A CN 201610071250A CN 105611278 B CN105611278 B CN 105611278B
Authority
CN
China
Prior art keywords
interpupillary distance
image data
distance value
bore hole
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610071250.3A
Other languages
English (en)
Other versions
CN105611278A (zh
Inventor
谈宝林
陆敏
马骁骐
康江辉
巫禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Euro Electronics (uk) Ltd
Shenzhen Genew Technologies Co Ltd
Original Assignee
Euro Electronics (uk) Ltd
Shenzhen Genew Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euro Electronics (uk) Ltd, Shenzhen Genew Technologies Co Ltd filed Critical Euro Electronics (uk) Ltd
Priority to CN201610071250.3A priority Critical patent/CN105611278B/zh
Publication of CN105611278A publication Critical patent/CN105611278A/zh
Application granted granted Critical
Publication of CN105611278B publication Critical patent/CN105611278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及防裸眼3D观看眩晕感的图像处理方法及系统和显示设备，其方法，其包括：缓存源3D视频图像数据；依据源3D视频图像数据，获得深度图像数据；检测观察者的瞳距，获得实际瞳距值；计算更新后的深度图像数据；根据更新后的深度图像数据，以设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流；输出所述左右两路摄像机视频数据流至裸眼3D显示屏上，用以获得3D显示效果。其可以通过实时根据观察者的眼部瞳距来调节3D显示图像的结果数据，从而使输出的3D显示图像与观察者的瞳距实时配合，使得3D显示效果能够跟随观察者的瞳距而发生改变，避免裸眼观看3D显示时产生眩晕感，延长了裸眼观看3D的时间，有利于大范围的推广应用裸眼3D技术产品。上述处理方法和系统可以应用于手机、各类电脑、广告机、液晶拼接墙、医疗显示设备等3D显示产品。

Description

防裸眼3D观看眩晕感的图像处理方法及系统和显示设备
技术领域
本发明涉及裸眼3D显示技术的改进，特别是涉及一种防裸眼3D观看眩晕感的图像处理方法及系统和一种裸眼3D显示设备。
背景技术
裸眼式3D技术的研发分两个方向，一是硬件设备的研发，二为显示内容的处理研发。第二种已经开始小范围的商业运用。大众消费者接触的不多。裸眼式3D技术最大的优势便是摆脱了眼镜的束缚，但是分辨率、可视角度和可视距离等方面还存在很多不足。当然，近几年国内又出现一种更简单的裸眼3D成像技术，也就是第二种技术。它是直接运用在特定的所要需要表现3D效果的东西上，比如广告行业的平面海报上面，电子商务的产品展示上面等等，运用这项技术的有徐克导演的3D团队在2013年推出的新电影“步步追魂”的海报上。
但是，目前3D显示技术，在图像处理进行3D显示时，无论是基于9视点差等技术来进行立体图像的显示，由于裸眼3D没有眼镜设备的视差调节，并且每个人双眼睛的瞳孔之间的距离是不同的，所以在立体显示场景(图像和视频)的获取和再现方面，都采用理论瞳距来进行立体图像的显示，因为不同的人看到同样显示效果的立体图像时，则会非常不适应，对有些观看者观看一定时间后会产生头晕，具有明显的眩晕感，从而无法长时间裸眼观看3D成像效果，从而导致裸眼3D的显示技术无法大范围的进行商业推广。
发明内容
基于现有技术中存在的问题，有必要提供一种裸眼3D显示效果的图像处理方法，其可以通过实时根据观察者的眼部瞳距来调节3D显示图像的结果数据，从而使输出的3D显示图像与观察者的瞳距实时配合，防止裸眼3D观看者产生眩晕的感觉。
一种防裸眼3D观看眩晕感的图像处理方法，其包括：
缓存源3D视频图像数据；
依据源3D视频图像数据，获得深度图像数据；
检测观察者的瞳距，获得实际瞳距值；
将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，计算更新后的深度图像数据；
根据更新后的深度图像数据，以设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流；
输出所述左右两路摄像机视频数据流至裸眼3D显示屏上，用以获得3D显示效果。
在其中一个实施例中，所述检测观察者的瞳距，获得实际瞳距值的步骤包括以下步骤之一：
采集观察者面对裸眼3D显示屏的深度图像数据，
从所述深度图像数据中提取深度信息，并基于人脸部特征分析，获得所述实际瞳距值；和
采集观察者相对参照标尺的面部图像数据，
基于人脸部特征分析，从所述面部图像数据中分析获得在标尺参照下的所述实际瞳距值。
在其中一个实施例中，所述检测观察者的瞳距，获得实际瞳距值的步骤包括：
采集多个观察者面对裸眼3D显示屏的图像数据；
判断是否存在大于一个观察者，若是，则根据所述图像数据获得每个观察者对应的测定瞳距值；
基于每个观察者对应的测定瞳距值，按照预设规则权重计算所述实际瞳距值。
在其中一个实施例中，所述按照预设规则权重计算所述实际瞳距值包括：
计算图像数据中包含的多个观察者的平均瞳距值，将该平均瞳距值作为所述实际瞳距值输出，或者，
按照图像数据中多个观察者的分布角度来设定计算权重，计算图像数据中包含的多个观察者的加权平均瞳距值，将该加权平均瞳距值作为所述实际瞳距值输出。
在其中一个实施例中，所述依据源3D视频图像数据，获得深度图像数据和将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，计算更新后的深度图像数据的步骤包括：
提取双摄像机分别采集的两组视频深度图像；
对所述两组视频深度图像进行视频解码，获得左摄像机源图像数据和右摄像机源图像数据；
基于场景深度值与视差的关系，将左摄像机源图像数据和右摄像机源图像数据中各个像素点在投影平面上的二维坐标位置，转换到三维空间坐标系下的三维坐标位置；
提取二维坐标位置对应的图像显示信息，将该图像显示信息与所述三维坐标位置进行关联，获得所述深度图像数据；
将所述实际瞳距值设定为虚拟左右摄像机的间距，并基于所述间距、双眼视差及场景深度的相互关系，重新计算三维空间坐标系下的深度图像数据，获得更新后的深度图像数据，具体计算方式如下所示：
上述公式中，(X,Y,Z)表示三维空间坐标系下的像素点位置，B表示摄像机光心间的距离；F为摄像机的焦距；dx表示双眼视差，xl表示虚拟左摄像机投影面上的横坐标，xr表示虚拟右摄像机投影面上的横坐标，y表示虚拟左摄像机和虚拟右摄像机投影面上的纵坐标。
在其中一个实施例中，一种防裸眼3D观看眩晕感的图像处理系统，其包括：
缓存模块，用于缓存源3D视频图像数据；
深度图像计算模块，依据源3D视频图像数据，获得深度图像数据；
瞳距检测模块，用于检测观察者的瞳距，获得实际瞳距值；
图像更新模块，用于将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，计算更新后的深度图像数据；
视差图像生成模块，用于根据更新后的深度图像数据，以设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流；
输出模块，用于输出所述左右两路摄像机视频数据流至裸眼3D显示屏上，用以获得3D显示效果。
在其中一个实施例中，所述瞳距检测模块还包括：
判断单元，用于采集多个观察者面对裸眼3D显示屏的图像数据，并判断是否存在大于一个观察者，若是，则根据所述图像数据获得每个观察者对应的测定瞳距值；基于每个观察者对应的测定瞳距值，按照预设规则权重计算所述实际瞳距值。
在其中一个实施例中，一种裸眼3D显示设备，其包括：
裸眼3D显示屏，用于接收左右两路摄像机视频数据流并输出显示，用以在裸眼观看下获得3D显示效果；
设置在裸眼3D显示屏上的摄像模块，用于采集观察者面对裸眼3D显示屏的图像数据；
图像处理器，所述图像处理器的数据输入端连接所述摄像模块的输出，所述图像处理器的数据输出连接所述裸眼3D显示屏的数据输入，所述图像处理器用于接收所述图像数据，根据所述图像数据获得实际瞳距值，将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，计算更新后的深度图像数据，根据更新后的深度图像数据，以设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流，输出所述左右两路摄像机视频数据流至裸眼3D显示屏上。
在其中一个实施例中，所述摄像模块为深度摄像机，或者带标尺参照的摄像机。
在其中一个实施例中，所述图像处理器还用于采集多个观察者面对裸眼3D显示屏的图像数据，并在所述图像中存在大于一个观察者时，获得每个观察者对应的测定瞳距值，并基于每个观察者对应的测定瞳距值，按照预设规则权重计算所述实际瞳距值。
本发明提供一种新的图像处理方式，其可以随着观察者自身的瞳距来自动调节3D画面的数据源，从而使得3D显示效果能够跟随观察者的瞳距而发生改变，避免裸眼观看3D显示时产生眩晕感，延长了裸眼观看3D的时间，有利于大范围的推广应用裸眼3D技术产品。
附图说明
图1为本发明一实施例中的空间结构示意图；
图2为本发明一实施例中的电路结构示意图；
图3为本发明一实施例中的方法流程示意图；
图4为本发明一实施例中的方法流程示意图；
图5和图6为双眼视差和场景深度的示意图；
图7为本发明一实施例中图像转化示意图；
图8为本发明一实施例中图像转化示意图；
图9为本发明一实施例中左右摄像机与物体的位置相对关系；
图10为本发明一实施例中左右摄像机间距与图像其他参数之间的对应关系；
图11为本发明实施例中投影图像转化示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
为了解决现有情况下裸眼观看3D显示效果时，因为观察者会有眩晕感导致无法延长持续观看时间的问题，本发明提供一种新的图像处理方式，其可以随着观察者自身的瞳距来自动调节3D画面的数据源，从而使得3D显示效果能够跟随观察者的瞳距而发生改变，避免裸眼观看3D显示时产生眩晕感，延长了裸眼观看3D的时间，有利于大范围的推广应用裸眼3D技术产品。以下将结合附图详细说明本发明的各个具体实施方式。
如图1所示，在本发明的其中一个实施例中，提供一种防止眩晕感的裸眼3D显示设备，这里的裸眼3D显示设备可以为裸眼3D显示屏的广告机、IPAD、手机等等能够实现裸眼3D观看的设备，该设备包括以下几个组件：
1、裸眼3D显示屏20。通过接收左右两路摄像机视频数据流，可以获得3D显示效果30。该显示效果，使画中事物既可凸出于画面之外，也可深藏于画面之中，色彩艳丽、层次分明、活灵活现、栩栩如生，是真正意义上的三维立体影象。
裸眼3D显示屏，利用人两眼具有视差的特性，在不需要任何辅助设备(如3d眼镜，头盔等)的情况下，即可获得具有空间、深度的逼真立体形象的显示系统。3D是three-dimensional的缩写，就是三维图形。在计算机里显示3D图形，就是说在平面里显示三维图形。裸眼立体影像以其真实生动的表现力，优美高压的环境感染力，强烈震撼的视觉冲击力，深受广大消费者的青睐。
目前裸眼3D显示主要有以下两种技术，一种是光屏障式技术。
光屏障式3D技术的实现方法是使用一个开关液晶屏、偏振膜和高分子液晶层，利用液晶层和偏振膜制造出一系列方向为90°的垂直条纹。这些条纹宽几十微米，通过它们的光就形成了垂直的细条栅模式，称之为“视差障壁”。而该技术正是利用了安置在背光模块及LCD面板间的视差障壁，在立体显示模式下，应该由左眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡右眼；同理，应该由右眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡左眼，通过将左眼和右眼的可视画面分开，使观察者看到3D影像。
另一种是柱状透镜技术。柱状透镜技术也被称为微柱透镜3D技术，使液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的像素被分成几个子像素，这样透镜就能以不同的方向投影每个子像素。于是双眼从不同的角度观看显示屏，就看到不同的子像素。
2、摄像模块21，用于采集观察者10面对裸眼3D显示屏20的图像数据。摄像模块21可以是视频摄像头，数码照相机，以及其它图像获取设备。
该摄像模块21可以是一个深度摄像机或多个深度摄像机。深度摄像模块21设置在裸眼3D显示屏20上，用于采集观察者10面对裸眼3D显示屏20的图像数据。利用深度摄像模块可以捕获更多的图像信息，利用深度摄像模块捕获的图像信息可以获得观察者距离显示屏的远近，以及更加真实简便的实时获取观察者的真实瞳距。
当然，上述摄像模块21还可以是普通摄像机，那么基于标准参照系的，利用人脸识别也可以从普通摄像机获得的图像信息中获得在标尺参照下的瞳距检测结果。例如，将观察者与参照标尺位于同一位置处，即标尺与观察者距离摄像机的距离相同，然后利用摄像机将观察者与参照标尺一同摄入图像数据中，利用该图像数据获得观察者的真实瞳距。
3、图像处理器40，可以是一个处理器或多个处理器的组合。如图2所示，图像处理器40包括瞳距计算处理器44和立体图像处理模块43，瞳距计算处理器44用于接收来自摄像模块21获得的图像数据，并根据该图像数据获得实际瞳距值，而立体图像处理模块43可以将源3D视频图像数据中虚拟左右摄像机的间距设定为瞳距计算处理器44获得的实际瞳距值，计算更新后的深度图像数据，根据更新后的深度图像数据，以设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流，输出该左右两路摄像机视频数据流至裸眼3D显示屏20上用以获得3D显示效果。
当然，在裸眼3D显示屏20与立体图像处理模块43之间还可以设置第二解码器42，用于将从左右两路摄像机视频数据流数据解码后在裸眼3D显示屏20上进行显示。而在摄像模块21与瞳距计算处理器44之间也可以设置第一解码器41，用于将摄像模块21获得图像数据进行解码后供瞳距计算处理器44进行处理。
当然，在本发明的一些实施例中，瞳距计算处理器44和立体图像处理模块43可以集成在一起由一个或多个处理器来实现，也可以将第一解码器和第二解码器也与瞳距计算处理器44和立体图像处理模块43进行集成，从而简化硬件的占用空间，使得3D显示设备的空间占用更小。
本文提到的源3D视频图像数据可以为双摄像机采集的源图像数据，也可以理解为其他多个摄像机拍摄的3D显示的源数据或是用3DMAX等三维软件制作的源图像数据。通常是利用双摄像机采集系统同时拍摄同一场景而获得的图像数据，通常双摄像机的间距在6.5毫米左右。对于此源数据还需进行一些列的处理后，才能在裸眼3D显示屏上进行显示，以下将结合附图3来详细说明，本发明的实施例中有关图像处理的方法流程。
如图3所示，在步骤S100中，缓存源3D视频图像数据。接收提前录制好的3D视频图像数据，或者实时接收来自网络上的3D视频图像数据，并缓存用于以下处理之后再输出。缓存的方式可以是放入RAM缓冲存储区中存储。
在步骤S200中，依据源3D视频图像数据，获得深度图像数据。这里的源3D视频图像数据可以是深度相机采集的图像数据，或者两个以上的相机在不同角度拍摄同一场景时获得的图像数据。
在步骤S300中，利用摄像模块21检测观察者的瞳距，获得实际瞳距值。以下提供了两种方式。
第一种是，利用深度摄像机采集观察者面对裸眼3D显示屏的深度图像数据，从所述深度图像数据中提取深度信息，并基于人脸部特征分析，获得所述实际瞳距值。例如，根据获取人脸实际位置距离深度相机模块的空间距离D，来将上述人眼图像瞳距值H1除以上述空间距离D，再乘以拍摄系统常数K，获得上述实际瞳距值L。这里的拍摄系统常数，指的是对于摄像模块而言的系统因子，可以采用定标的方式来获知。具体计算公式如下述公式所示。
这里的拍摄系统常数，指的是对于摄像模块而言的系统因子，可以采用定标的方式来获知。上述人眼图像瞳距值H1可以为在图像域中人的左右眼的瞳孔中心点之间的像素距离。
第二种是，建立参照标尺，并利用摄像机采集观察者相对参照标尺的面部图像数据，也可以理解为将参照标尺与观察者的脸部一起拍摄到图像数据中；然后基于人脸部特征分析，从所述面部图像数据中分析获得在标尺参照下的所述实际瞳距值，具体可参照以下公式获知，例如，
实际瞳距值L＝标尺的长度尺寸L。*人眼图像瞳距值H1/标尺的长度在图像中像素值L4(即图像中标尺的长度所跨过的像素距离)。
当然，本发明的其他实施例中还可以采用其他的方式来采集实际的瞳距值，比如直接测量观察者的瞳距，或者利用瞳距检测仪来检测实际瞳距值，或者还可以在系统中输入已知的瞳距值。
此外，当在裸眼观看3D显示屏时存在多个观察者时，则如图4所示，在本发明的一个实施例中，上述检测观察者的瞳距，获得实际瞳距值的步骤包括：
步骤S310，采集多个观察者面对裸眼3D显示屏的图像数据；
步骤S320，通过人脸识别分析，判断上述图像数据中是否存在大于一个观察者的情况，若是，则执行步骤S330：参照前文的方法，根据所述图像数据获得每个观察者对应的测定瞳距值；若否，则直接参照前文的方法计算单个观察者的瞳距值。
步骤S340，基于每个观察者对应的测定瞳距值，按照预设规则权重计算所述实际瞳距值。
更进一步地，上述步骤S340中按照预设规则权重计算上述实际瞳距值的步骤可以是：计算图像数据中包含的多个观察者的平均瞳距值，将该平均瞳距值作为所述实际瞳距值输出，或者，还可以是，按照图像数据中多个观察者的分布角度来设定计算权重，计算图像数据中包含的多个观察者的加权平均瞳距值，将该加权平均瞳距值作为所述实际瞳距值输出。当然，还可以采用其他的规则来设定。这种方式考虑了多个观察者同时观察裸眼3D显示屏时的情况，并通过该方式可以考量到多个观察者的情况，在降低眩晕效果的情况下增加裸眼观看3D显示效果的人数。
在步骤S400中，将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，计算更新后的深度图像数据。
在本发明的一个实施例中，在步骤S200和步骤S400中，上述依据源3D视频图像数据，获得深度图像数据和将源3D视频图像数据中虚拟左右摄像机的间距设定为上述实际瞳距值，计算更新后的深度图像数据的步骤包括以下步骤：
提取双摄像机分别采集的两组视频深度图像；
对上述两组视频深度图像进行视频解码，获得左摄像机源图像数据和右摄像机源图像数据；
基于场景深度值与视差的关系，将左摄像机源图像数据和右摄像机源图像数据中各个像素点在投影平面上的二维坐标位置，转换到三维空间坐标系下的三维坐标位置；
提取二维坐标位置对应的图像显示信息，将该图像显示信息与上述三维坐标位置进行关联，获得上述深度图像数据。
上述如图7所示，左摄像机源图像数据和右摄像机源图像数据首先基于已知的摄像机位置进行空间匹配，视差深度转换，获得图像深度值(简称景深)信息后，得到上述深度图像数据，以及2D图像信息。深度图像数据中包括像素点的空间位置，以及表征该位置的显示颜色、对比度等等2D图像信息。
其次，将上述实际瞳距值设定为虚拟左右摄像机的间距，并基于上述间距、双眼视差及场景深度的相互关系，重新计算三维空间坐标系下的深度图像数据，获得更新后的深度图像数据，具体计算方式如下所示：
上述公式中，(X,Y,Z)表示三维空间坐标系下的像素点位置，B表示摄像机光心间的距离；F为摄像机的焦距；dx表示双眼视差，xl表示虚拟左摄像机投影面上的横坐标，xr表示虚拟右摄像机投影面上的横坐标，y表示虚拟左摄像机和虚拟右摄像机投影面上的纵坐标。
人眼视差和景深的关系参见图5和图6所示，视差产生机理如图5所示，空间任意不同深度的两点，分别投射到观察者二个视网膜上不同位置，而产生的位置差；则称为视差，(该视差经过大脑视觉系统处理形成了立体图像)。
利用小角度近似，两点相对双眼视差(用角度表示)和景深，以及瞳距的关系为
这里，F点和G点的相对双眼视差η＝β-γ，和两点相对景深为δ，双眼瞳距为I，物距为D。
可见两点的相对双眼视差是与瞳距成正比关系，瞳距越大则相对双眼视差越大。因此，当相对景深和物体空间形状已知的情况下，通过设定新瞳距，可以得到新的双眼视图。
(推理tan(β/2)＝(I/2)/(D-δ)，则β≈I/(D-δ)0，以及γ≈I/D)
如图6所示，F为固定点，I表示瞳距，δ表示F与G之间的距离，γ表示对于F点双目之间的视差，β表示对于G双目之间的视差，F点与G点之间的相对视差为β-γ。如图8所示，已知2个摄像机视频和摄像机位置，推出其它视点虚拟摄像机所拍摄视频流图，获得深度图像，然后将虚拟视点，即虚拟左右摄像机位置设置为上述步骤中获得的个人用户的实际瞳距值，则就可以获得根据个人用户实际瞳距而更新得到的深度图像数据，获得所需要的虚拟左右摄像机视频数据，从而实现了让3D显示图像随着观看者的瞳距发生变化，让显示图像个性化的适应了观看用户，极大的避免了裸眼观看3D显示图像时的眩晕感。
在步骤S500中，根据更新后的深度图像数据，以按照获得的实际瞳距值所设定的间距对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流。这里步骤中主要是将深度图像数据中的空间位置，以及结合2D图像信息，逐帧将深度图像数据投影到设定间距的左右摄像机的投影面上，从而获得左右两路摄像机视频数据流。
在步骤S600中，输出上述左右两路摄像机视频数据流至裸眼3D显示屏上，用以获得3D显示效果。
以下简单说明如何根据源视频画面得到三维空间点，以及根据三维空间点如何得到虚拟视频画面。具体如何匹配两个源摄像机画面中的点，如何区分物体和背景，如何确定物体边缘，如何得到物体表面纹理等问题不讨论。
1、根据源视频画面确定物体在三维欧式空间中的位置：
当用两台摄像机在不同位置拍摄同一场景时，同一物体在两台摄像机画面上的投影位置存在一定的差异，如图9所示，空间中(X，Y，Z)点在左右摄像机画面上的坐标为(xl，yl)和(xr，yr)，两者之间的空间视差为dx＝xl-xr和dy＝yl-yr。
图9中，当该两个摄像机为水平放置是，垂直方向视差dy＝0。则深度和视差之间存在简单的转换关系。
图10中摄像机的焦距为F，摄像机光心间的距离为B，如坐标原点定为两台摄像机光心两线的中点Cw，左摄像机位置为Cl，左摄像机位置为Cr，则
因此视差为
由此可得视差图中任一点的空间坐标(即场景深度值与视差之间的转换关系)为
2把三维空间点投影到指定虚拟摄像机的成像平面。
如图11所示，空间中(X，Y，Z)点在用户所需的虚拟左右摄像机画面上的坐标为为(xl′，yl‘)和(xr′，yr‘)，这两个虚拟左右摄像机的光心连线的中点与已知左右摄像机的光心连线的中点重合，虚拟左右摄像机光心连线的距离(或间距)为B’，设定为实际瞳距值，左虚拟摄像机Cl’距离原点Cw为Bl′，右虚拟摄像机Cr’距原点Cw为Br′，B′＝B′l+Br′。
则空间同一点在虚拟左右摄像机画面上的投影(xl′，yl‘)和(xr′，yr′)，与已知左右摄像机画面上的投影点(xl，yl)和(xr，yr)的关系为
上述公式中，通过将B’设定为测得的实际瞳距值，然后根据实际瞳距值获得Bl′和Br′，则可以按照上述有关(xl′，yl‘)和(xr′，yr‘)的计算公式，逐点直至转换完成整幅画面的所有点。对于立体视频信号，在视频压缩解码后，对一帧一帧的图像做相应的计算，则可获得新的立体视频，即左右两路摄像机视频数据流，分别对应于虚拟左右摄像机画面上的投影(x′lyl‘)和(xr′，yr‘)的图像数据集。
上述所叙述的是两个摄像头的情况，对于多个摄像头(N个)获得的源视频图像数据也可以采用上述方法处理，只是在相应的位置处存在信息累加或平均。
图3为本发明一个实施例的方法的流程示意图。应该理解的是，虽然图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行，还可以调整前后顺序。
以上各个实施例在具体说明中仅只针对相应步骤的实现方式进行了阐述，然后在逻辑不相矛盾的情况下，上述各个实施例是可以相互组合的而形成新的技术方案的，而该新的技术方案依然在本具体实施方式的公开范围内。
基于上述方法，在本发明的其中一个实施例中还提供了一种防裸眼3D观看眩晕感的图像处理系统，其包括：
缓存模块，用于缓存源3D视频图像数据；
深度图像计算模块，依据源3D视频图像数据，获得深度图像数据；
瞳距检测模块，用于检测观察者的瞳距，获得实际瞳距值；
图像更新模块，用于将源3D视频图像数据中虚拟左右摄像机的间距设定为上述实际瞳距值，计算更新后的深度图像数据；
视差图像生成模块，用于根据更新后的深度图像数据，以设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流；
输出模块，用于输出上述左右两路摄像机视频数据流至裸眼3D显示屏上，用以获得3D显示效果。
在另一个实施例中，上述瞳距检测模块还包括：
判断单元，用于采集多个观察者面对裸眼3D显示屏的图像数据，并判断是否存在大于一个观察者，若是，则根据上述图像数据获得每个观察者对应的测定瞳距值；基于每个观察者对应的测定瞳距值，按照预设规则权重计算上述实际瞳距值。
当然，缓存模块，深度图像计算模块，瞳距检测模块，图像更新模块，视差图像生成模块，输出模块分别用于执行图3中的步骤S100至步骤S600，因此具体的有关步骤S100至步骤S600的相关说明可参见前文所述，在此不再累述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品承载在一个非易失性计算机可读存储载体(如ROM、磁碟、光盘，服务器存储空间)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的系统结构和方法。
当然结合硬件平台，在本发明的其中一个实施例中还提供了一种裸眼3D显示设备，其包括：
裸眼3D显示屏，用于接收左右两路摄像机视频数据流并输出显示，用以在裸眼观看下获得3D显示效果；
设置在裸眼3D显示屏上的摄像模块，用于采集观察者面对裸眼3D显示屏的图像数据；
图像处理器，上述图像处理器的数据输入端连接上述摄像模块的输出，上述图像处理器的数据输出连接上述裸眼3D显示屏的数据输入，上述图像处理器用于接收上述图像数据，根据上述图像数据获得实际瞳距值，将源3D视频图像数据中虚拟左右摄像机的间距设定为上述实际瞳距值，计算更新后的深度图像数据，根据更新后的深度图像数据，以设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流，输出上述左右两路摄像机视频数据流至裸眼3D显示屏上。
其中，所述摄像模块为深度摄像机，或者带标尺参照的摄像机。
在其中一个实施例中，所述图像处理器还用于采集多个观察者面对裸眼3D显示屏的图像数据，并在所述图像中存在大于一个观察者时，获得每个观察者对应的测定瞳距值，并基于每个观察者对应的测定瞳距值，按照预设规则权重计算所述实际瞳距值。
当然有关裸眼3D显示屏，摄像模块，和图像处理器的相关说明还可参见前文相关说明，当然，图像处理器还用于执行图3中的步骤S100至步骤S600中的图像处理和数据处理过程，因此具体步骤的执行细节可参见前文相关说明，在此不再累述。
对于某一个特定的观看者，输入该观察者的瞳距参数值(如60mm)通过发明的运算实时或非实时视频，采用的虚拟视频的产生方法为基于深度图像绘制(Depth-image BasedRendering,DIBR)的自由视点视频法。
基于深度图像绘制(Depth-image Based Rendering,DIBR)的自由视点视频可以为用户提供一定范围内的任意视点画面。当三维空间点投影到虚拟摄像机的成像平面后，物体表面的纹理图像可以根据已有的源视频图像得到。
在本发明中用到的源摄像机为两台或N台，源摄像机是水平放置，且空间位置已知，虚拟摄像机的空间位置为测量所得，通过测量得到的瞳距来设定虚拟摄像机的空间位置，从而使得输出的左右两路摄像机视频数据流能够随观看者瞳距的变化而变化，从而能够使得3D显示效果能够跟随观察者的瞳距而发生改变，避免裸眼观看3D显示时产生眩晕感，延长了裸眼观看3D的时间，有利于大范围的推广应用裸眼3D技术产品，这里的3D技术产品可以为裸眼3D显示屏的广告机、IPAD、手机等等能够实现裸眼3D观看的设备。上述处理方法和系统可以应用于手机、各类电脑、广告机、液晶拼接墙、医疗显示设备等3D显示产品。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种防裸眼3D观看眩晕感的图像处理方法，其包括：
缓存源3D视频图像数据；
依据源3D视频图像数据，获得深度图像数据；
检测观察者的瞳距，获得实际瞳距值，包括：采集观察者脸部深度图像数据，获取人脸实际位置距离深度相机模块的空间距离，将所述观察者脸部深度图像数据中的瞳距值除以所述空间距离，再乘以拍摄系统常数，获得实际瞳距值；
将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，并基于所述间距、双眼视差及场景深度的相互关系，重新计算三维空间坐标系下的更新后的深度图像数据；
根据更新后的深度图像数据，以按照获得的所述实际瞳距值设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流；
输出所述左右两路摄像机视频数据流至裸眼3D显示屏上，用以获得3D显示效果。
2.根据权利要求1所述的方法，其特征在于，所述检测观察者的瞳距，获得实际瞳距值的步骤包括以下步骤之一：
采集观察者面对裸眼3D显示屏的深度图像数据，
从所述深度图像数据中提取深度信息，并基于人脸部特征分析，获得所述实际瞳距值；和
采集观察者相对参照标尺的面部图像数据，
基于人脸部特征分析，从所述面部图像数据中分析获得在标尺参照下的所述实际瞳距值。
3.根据权利要求1所述的方法，其特征在于，所述检测观察者的瞳距，获得实际瞳距值的步骤包括：
采集多个观察者面对裸眼3D显示屏的图像数据；
判断是否存在大于一个观察者，若是，则根据所述图像数据获得每个观察者对应的测定瞳距值；
基于每个观察者对应的测定瞳距值，按照预设规则权重计算所述实际瞳距值。
4.根据权利要求3所述的方法，其特征在于，所述按照预设规则权重计算所述实际瞳距值包括：
计算图像数据中包含的多个观察者的平均瞳距值，将该平均瞳距值作为所述实际瞳距值输出，或者，
按照图像数据中多个观察者的分布角度来设定计算权重，计算图像数据中包含的多个观察者的加权平均瞳距值，将该加权平均瞳距值作为所述实际瞳距值输出。
5.根据权利要求1所述的方法，其特征在于，所述依据源3D视频图像数据，获得深度图像数据和将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，并基于所述间距、双眼视差及场景深度的相互关系，重新计算三维空间坐标系下的更新后的深度图像的步骤包括：
提取双摄像机分别采集的两组视频深度图像；
对所述两组视频深度图像进行视频解码，获得左摄像机源图像数据和右摄像机源图像数据；
基于场景深度值与视差的关系，将左摄像机源图像数据和右摄像机源图像数据中各个像素点在投影平面上的二维坐标位置，转换到三维空间坐标系下的三维坐标位置；
提取二维坐标位置对应的图像显示信息，将该图像显示信息与所述三维坐标位置进行关联，获得所述深度图像数据；
将所述实际瞳距值设定为虚拟左右摄像机的间距，并基于所述间距、双眼视差及场景深度的相互关系，重新计算三维空间坐标系下的深度图像数据，获得更新后的深度图像数据。
6.一种防裸眼3D观看眩晕感的图像处理系统，其特征在于，所述系统包括：
缓存模块，用于缓存源3D视频图像数据；
深度图像计算模块，依据源3D视频图像数据，获得深度图像数据；
瞳距检测模块，用于检测观察者的瞳距，获得实际瞳距值，包括：采集观察者脸部深度图像数据，获取人脸实际位置距离深度相机模块的空间距离，将所述观察者脸部深度图像数据中的瞳距值除以所述空间距离，再乘以拍摄系统常数，获得实际瞳距值；
图像更新模块，用于将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，并基于所述间距、双眼视差及场景深度的相互关系，重新计算三维空间坐标系下的更新后的深度图像数据；
视差图像生成模块，用于根据更新后的深度图像数据，以按照获得的所述实际瞳距值设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流；
输出模块，用于输出所述左右两路摄像机视频数据流至裸眼3D显示屏上，用以获得3D显示效果。
7.根据权利要求6所述的系统，其特征在于，所述瞳距检测模块还包括：
判断单元，用于采集多个观察者面对裸眼3D显示屏的图像数据，并判断是否存在大于一个观察者，若是，则根据所述图像数据获得每个观察者对应的测定瞳距值；基于每个观察者对应的测定瞳距值，按照预设规则权重计算所述实际瞳距值。
8.一种裸眼3D显示设备，其特征在于，所述设备包括：
裸眼3D显示屏，用于接收左右两路摄像机视频数据流并输出显示，用以在裸眼观看下获得3D显示效果；
设置在裸眼3D显示屏上的摄像模块，用于采集观察者面对裸眼3D显示屏的图像数据；
图像处理器，所述图像处理器的数据输入端连接所述摄像模块的输出，所述图像处理器的数据输出连接所述裸眼3D显示屏的数据输入，所述图像处理器用于接收所述图像数据，根据所述图像数据获得实际瞳距值，将源3D视频图像数据中虚拟左右摄像机的间距设定为所述实际瞳距值，计算更新后的深度图像数据，根据更新后的深度图像数据，以设定的间距所对应的虚拟左右摄像机位置作为视角，生成左右两路摄像机视频数据流，输出所述左右两路摄像机视频数据流至裸眼3D显示屏上。
9.根据权利要求8所述的显示设备，其特征在于，所述摄像模块为深度摄像机，或者带标尺参照的摄像机。
10.根据权利要求8所述的显示设备，其特征在于，所述图像处理器还用于采集多个观察者面对裸眼3D显示屏的图像数据，并在所述图像中存在大于一个观察者时，获得每个观察者对应的测定瞳距值，并基于每个观察者对应的测定瞳距值，按照预设规则权重计算所述实际瞳距值。
CN201610071250.3A 2016-02-01 2016-02-01 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 Active CN105611278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610071250.3A CN105611278B (zh) 2016-02-01 2016-02-01 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610071250.3A CN105611278B (zh) 2016-02-01 2016-02-01 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备

Publications (2)

Publication Number Publication Date
CN105611278A CN105611278A (zh) 2016-05-25
CN105611278B true CN105611278B (zh) 2018-10-02

Family

ID=55990780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610071250.3A Active CN105611278B (zh) 2016-02-01 2016-02-01 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备

Country Status (1)

Country Link
CN (1) CN105611278B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803065A (zh) * 2016-12-27 2017-06-06 广州帕克西软件开发有限公司 一种基于深度信息的瞳距测量方法以及系统
CN107071384B (zh) * 2017-04-01 2018-07-06 上海讯陌通讯技术有限公司 虚拟主动视差计算补偿的双目渲染方法及系统
CN108694354A (zh) * 2017-04-10 2018-10-23 上海聚虹光电科技有限公司 一种虹膜采集装置采集人脸图像的应用方法
WO2018232630A1 (zh) * 2017-06-21 2018-12-27 深圳市柔宇科技有限公司 三维影像预处理方法、装置及头戴显示设备
WO2019137272A1 (en) * 2018-01-12 2019-07-18 Sun Yat-Sen University Grating based three-dimentional display method for presenting more than one views to each pupil
CN109002164B (zh) * 2018-07-10 2021-08-24 歌尔光学科技有限公司 头戴显示设备的显示方法、装置及头戴显示设备
CN109151445B (zh) * 2018-09-26 2020-08-04 深圳市新致维科技有限公司 一种裸眼3d显示系统及其显示方法和计算机存储设备
CN109375370B (zh) * 2018-10-10 2021-03-23 京东方科技集团股份有限公司 一种近眼显示设备的调节方法、装置、设备和存储介质
CN109756723B (zh) 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
CN109819231A (zh) * 2019-01-28 2019-05-28 北京牡丹电子集团有限责任公司数字电视技术中心 一种视觉自适应裸眼3d图像处理方法及装置
CN110674715B (zh) * 2019-09-16 2022-02-18 宁波视睿迪光电有限公司 基于rgb图像的人眼跟踪方法及装置
CN112257563A (zh) * 2020-10-20 2021-01-22 海南大学 瞳孔测距方法、装置及设备
CN115776560B (zh) * 2022-12-05 2023-08-22 杭州思影奇数字科技有限公司 基于裸眼3d技术的图像拼接修复处理系统及其方法
CN115904294B (zh) * 2023-01-09 2023-06-09 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223550A (zh) * 2010-04-14 2011-10-19 索尼公司 图像处理设备、图像处理方法和程序
CN102289841A (zh) * 2011-08-11 2011-12-21 四川虹微技术有限公司 一种立体图像观众感知深度的调节方法
CN102592117A (zh) * 2011-12-30 2012-07-18 杭州士兰微电子股份有限公司 三维物体识别方法及系统
CN103402106A (zh) * 2013-07-25 2013-11-20 青岛海信电器股份有限公司 三维图像显示方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223550A (zh) * 2010-04-14 2011-10-19 索尼公司 图像处理设备、图像处理方法和程序
CN102289841A (zh) * 2011-08-11 2011-12-21 四川虹微技术有限公司 一种立体图像观众感知深度的调节方法
CN102592117A (zh) * 2011-12-30 2012-07-18 杭州士兰微电子股份有限公司 三维物体识别方法及系统
CN103402106A (zh) * 2013-07-25 2013-11-20 青岛海信电器股份有限公司 三维图像显示方法及装置

Also Published As

Publication number Publication date
CN105611278A (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN105611278B (zh) 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备
CN105704479B (zh) 3d显示系统用的测量人眼瞳距的方法及系统和显示设备
US7528830B2 (en) System and method for rendering 3-D images on a 3-D image display screen
US20150304635A1 (en) Stereoscopic depth mapping
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
US20190166360A1 (en) Binocular fixation imaging method and apparatus
US20060171028A1 (en) Device and method for display capable of stereoscopic vision
Ye et al. A practical multi-viewer tabletop autostereoscopic display
CN109870820A (zh) 针孔反射镜阵列集成成像增强现实装置及方法
CA2540538C (en) Stereoscopic imaging
TWI572899B (zh) 擴充實境成像方法及其裝置
Hands et al. True stereoscopic 3D cannot be simulated by shifting 2D content off the screen plane
Lehtimäki et al. Evaluation of perceived quality attributes of digital holograms viewed with a stereoscopic display
Ebisu et al. Realization of electronic 3D display combining multiview and volumetric solutions
Sakano et al. Psychophysical evaluations of a current multi‐view 3‐D display: Its advantages in glossiness reproduction
Sakano et al. Conditions of a multi-view 3D display for accurate reproduction of perceived glossiness
Losfeld et al. 3D Tensor Display for Non-Lambertian Content
Scheer et al. A client-server architecture for real-time view-dependent streaming of free-viewpoint video
Yang et al. Human factor study on the crosstalk of multiview autostereoscopic displays
Uyen et al. Subjective evaluation of the 360-degree projection formats using absolute category rating
Chappuis et al. Subjective evaluation of an active crosstalk reduction system for mobile autostereoscopic displays
Tan et al. A system for capturing, rendering and multiplexing images on multi-view autostereoscopic display
Richardt et al. Stereo coherence in watercolour rendering
US20220232201A1 (en) Image generation system and method
US20230239456A1 (en) Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Guangdong, Longgang, Longgang District, No. 8288 Shenzhen Road, Dayun Town, building software, building twenty-fifth, building 1

Applicant after: EURO ELECTRONICS (UK) LTD

Applicant after: Shenzhen Polytron Technologies Inc

Address before: 518000 Guangdong, Longgang, Longgang District, No. 8288 Shenzhen Road, Dayun Town, building software, building twenty-fifth, building 1

Applicant before: EURO ELECTRONICS (UK) LTD

Applicant before: SHENZHEN YINGLUN TECHNOLOGY CO., LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant