CN112650461B - 一种基于相对位置的展示系统 - Google Patents
一种基于相对位置的展示系统 Download PDFInfo
- Publication number
- CN112650461B CN112650461B CN202011484484.3A CN202011484484A CN112650461B CN 112650461 B CN112650461 B CN 112650461B CN 202011484484 A CN202011484484 A CN 202011484484A CN 112650461 B CN112650461 B CN 112650461B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- projector
- vector
- control module
- audience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 166
- 238000000034 method Methods 0.000 claims description 51
- 230000007246 mechanism Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 13
- 210000001747 pupil Anatomy 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 210000005252 bulbus oculi Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 210000004087 cornea Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011430 maximum method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
- G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
Abstract
本发明涉及一种基于相对位置的展示系统至少包括图像采集模块、投影展示模块和控制模块。所述图像采集模块至少包括摄像头。所述图像采集模块被配置为至少能够通过所述摄像头采集某一空间内的观众和物品的视频图像信息。所述投影展示模块包括至少一个投影仪。所述投影仪至少能够用于投影物品的虚拟图像信息。所述控制模块用于从所述图像采集模块得到视频图像信息获得关键帧图像并从所述关键帧图像中获取观众和物品的位置信息。在所述控制模块能够获取投影仪的位置信息的情况下，所述控制模块被配置为至少能够基于观众、物品以及所述投影仪之间的相对位置关系来控制所述投影仪随着观众的移动而进行投影。
Description
技术领域
本发明涉及数字投影显示技术领域，尤其涉及一种基于相对位置的展示系统。
背景技术
随着新技术新设备的诞生，在移动终端上通过眼动跟踪技术控制移动终端进行相应操作的研究越来越为人所熟知。眼动跟踪技术最根本的问题是要测量眼睛观察方向的变化情况。相关的入侵式眼动跟踪技术有多种，包括瞳孔-角膜反射向量法、眼电图法、虹膜-巩膜边缘法、角膜反射跟踪法、接触镜法等。比如，在人机交互场景常用的瞳孔-角膜反射向量法，该方法的原理如下：当用一红外辅助光源照射人的脸部，在眼睛角膜表面会形成反射像，此反射像被称为普尔钦斑点，人眼在观察终端屏幕上的不同位置时，眼球会发生相应的转动。假设在实验者的头部不动的情况下，由于红外发光二极管的位置是固定的，而眼球是一个近似的球体，所以当眼球转动时，可以认为普尔钦斑点的绝对位置是不变的；而瞳孔的位置要发生相应的变化，这样红外辅助光源在角膜上形成的普尔钦斑点和瞳孔之间的相对位置关系也将发生变化，这种相对位置关系的确定可以通过图像处理来实现；然后由它们之间的相对位置关系测量出眼睛观察方向的变化情况。
而目前很多商场的产品或者博物馆的物品展示大多是以实物展示为主。这种实物展示方式一方面要求提供足够的产品和/或物品陈列空间进行展示，进而导致产品展示的成本大幅上升；另一方面通常需要花费大量的人力去给顾客和/或参观者进行产品和/或物品讲解，讲解不够全面专业且人力成本较高。市场上虽然有些商家在以实物展示的同时，也在利用一些大尺寸的多媒体设备进行产品的影像展示。这种方式虽然一定程度上弥补了实物展示的不足，但这种大尺寸的多媒体设备通常价格较高，且只能进行特定影像的有序显示，不能及时有效的投影展示观众所关注的物品信息。因此，亟需一种新型的展示系统。
例如，公开号为CN107704076A的中国专利文献公开了一种动向投影物体展示系统及其方法，其中，系统包括：投影仪；摄像头，其用于跟踪采集包含观众的人眼信息的图像；控制处理模块，其分别与投影仪和摄像头连接，控制处理模块用于根据图像，确定观众的视线方向，根据视线方向，确定观众所关注的物品，获取与物品相对应的展示信息，控制投影仪投影展示信息。该发明实施例的有益效果是：区别于现有技术的情况下，本发明实施例跟踪采集包含观众的人眼信息的图像，根据图像，确定观众的视线方向，根据视线方向，确定观众所关注的物品，根据观众所关注的物品进行投影，使得观众在关注实体的物品的同时，还可以通过投影的内容了解物品的其它信息，实现实体物品与投影展示信息虚实结合，直观有效的进行物品展示，给予观众不同的视觉享受和娱乐效果，观众体验更好。该发明仍存在的技术不足为：若要真正实现捕获展品周围的所有观众的视线并跟踪，其所需的计算开销十分巨大，从而对该系统中的计算设备要求较高，所造成的能耗也较大。因此，针对现有技术不足，有必要进行改进。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对现有技术之不足，本发明提供一种基于相对位置的展示系统至少包括图像采集模块、投影展示模块和控制模块。图像采集模块至少包括摄像头。图像采集模块被配置为至少能够通过摄像头采集某一空间内的观众和物品的视频图像信息。投影展示模块包括至少一个投影仪。投影仪至少能够用于投影物品的虚拟图像信息。控制模块用于从图像采集模块得到视频图像信息获得关键帧图像并从关键帧图像中获取观众和物品的位置信息。在控制模块能够获取投影仪的位置信息的情况下，控制模块被配置为至少能够基于观众、物品以及投影仪之间的相对位置关系来控制投影仪随着观众的移动而进行投影。
根据一个优选实施方式，控制模块还能够被配置为基于去除冗余图像帧法从图像采集模块得到的视频图像信息中获得关键帧图像，其中，该过程的具体流程为：将图像采集模块获取的视频图像帧的特征值与第一阈值相比较，控制模块仅将特征值高于第一阈值的图像帧传输至下一工序；控制模块通过将前述步骤得到的每个图像帧经过深度学习模型的筛选获得至少含有一个人脸正面的图像帧，并删去其余图像帧。
根据一个优选实施方式，控制模块基于观众、物品以及投影仪之间的相对位置关系控制投影仪进行展示的具体流程为：从观众、物品以及投影仪之间的相对位置信息中获取观众的三维视线矢量、投影仪的三维光锥矢量以及物品的三维坐标；将观众的三维视线矢量、投影仪的三维光锥矢量以及物品投影至一个二维平面内，以在该二维平面内形成二维视线矢量、二维光锥矢量以及物品点；控制模块根据该二维平面内形成的二维视线矢量、二维光锥矢量以及物品点之间的相互关系控制投影仪进行工作。
根据一个优选实施方式，将观众的三维视线矢量、投影仪的三维光锥矢量以及物品投影至一个二维平面内的具体流程为：定义一个二维平面；将利用瞳孔角膜反射向量方法得到的三维视线矢量、投影仪的三维光锥矢量转换为二维平面内的二维视线矢量、二维光锥矢量，并将物品的三维坐标转换为二维平面内的点坐标。
根据一个优选实施方式，还包括通信模块。通信模块与控制模块电性连接。
根据一个优选实施方式，摄像头设置于第一运动机构，第一运动机构用于控制摄像头的取景方向，其中，摄像头和第一运动机构均能够与控制处理模块电性连接，控制处理模块还用于通过第一运动机构控制摄像头的取景方向，以使摄像头的取景方向跟随观众的位置移动而移动。
根据一个优选实施方式，还包括第二运动机构，投影仪设置于第二运动机构上，其中，控制处理模块还用于根据物品的位置向第二运动机构发送移动信号，第二运动机构用于根据移动信号调节投影仪的投影方向，以使投影仪在物品所在位置投影展示信息。
根据一个优选实施方式，本发明还提供一种展示方法。方法包括：跟踪采集包含观众人眼信息的图像；根据图像确定观众的关注点；根据关注点确定观众所关注的物品；获取与物品相对应的展示信息；控制投影仪投影展示信息。
根据一个优选实施方式，根据关注点确定观众所关注的物品包括：获取观众保持关注点不变的保持时长；判断保持时长是否大于预设时长阈值；若是，则识别位于观众的关注点上所对应的物品，将物品作为观众所关注的物品。
根据一个优选实施方式，方法还包括：若否，判断先前是否确定有观众所关注的物品；若确定有，继续控制投影仪投影先前所确定的观众所关注的物品相对应的展示信息。
本发明的有益技术效果至少包括：
1）本展示系统至少设置有图像采集模块、投影展示模块和控制模块，图像采集模块被配置为至少能够采集某一空间内的观众和物品的视频图像信息，投影展示模块，包括至少一个投影仪，投影仪至少能够用于投影物品的虚拟图像信息，控制模块用于从图像采集模块得到视频图像信息获得关键帧图像，并从关键帧图像中获取观众和物品的位置信息；在控制模块能够获取投影仪的位置信息的情况下，控制模块被配置为至少能够基于观众、物品以及投影仪之间的相对位置关系来控制投影仪随着观众的移动而进行投影；
2）通过利用快速去除冗余图像帧法去除摄像头所拍摄的冗余图像，仅保留关键帧图像以进行后续观众、物品和投影仪位置的计算，从而显著地减少计算量。
附图说明
图1是本发明的一个优选实施方式的简化示意图；
图2是本发明二维平面内二维视线矢量、二维矢量及二维光锥矢量的一个优选实施方式的简化示意图；
图3是本发明二维平面内二维视线矢量、二维矢量及二维光锥矢量的另一个优选实施方式的简化示意图；
图4是本发明的另一个优选实施方式的简化示意图。
附图标记列表
1：图像采集模块 4：投影展示模块 5：第一运动机构
6：第二运动机构 8：控制模块 9：通信模块
10：信息存储模块 11：二维平面N 12：二维视线矢量
13：二维矢量
14：二维光锥矢量
15：二维视线矢量
16：二维视线矢量
17：二维矢量
18：二维矢量
19：二维光锥矢量
20：二维光锥矢量
100：摄像头 401：投影仪
具体实施方式
下面结合附图进行详细说明。
实施例1
如图1所示，本实施例提供了一种基于相对位置的展示系统至少包括图像采集模块1、投影展示模块4和控制模块8。图像采集模块1至少包括摄像头100，图像采集模块1被配置为至少能够通过摄像头100采集某一空间内的观众和物品的视频图像信息；投影展示模块4包括至少一个投影仪401，投影仪401至少能够用于投影物品的虚拟图像信息；控制模块8用于从图像采集模块1得到视频图像信息获得关键帧图像，并从关键帧图像中获取观众和物品的位置信息；在控制模块8能够获取投影仪401的位置信息的情况下，控制模块8被配置为至少能够基于观众、物品以及投影仪401之间的相对位置关系来控制投影仪401随着观众的移动而进行投影。
根据一个优选实施方式，控制模块8还能够被配置为基于去除冗余图像帧法从图像采集模块1得到的视频图像信息中获得关键帧图像，其中，该过程的具体流程为：将图像采集模块1获取的视频图像帧的特征值与第一阈值相比较，控制模块8仅将特征值高于第一阈值的图像帧传输至下一工序；控制模块8通过将前述步骤得到的每个图像帧经过深度学习模型的筛选获得至少含有一个人脸正面的图像帧，并删去其余图像帧。优选地，第一阈值可以根据实际场景的需求而灵活地设置。
根据一个优选实施方式，控制模块8基于观众、物品以及投影仪401之间的相对位置关系控制投影仪401进行展示的具体流程为：从观众、物品以及投影仪401之间的相对位置信息中获取观众的三维视线矢量、投影仪401的三维光锥矢量以及物品的三维坐标；将观众的三维视线矢量、投影仪401的三维光锥矢量以及物品投影至一个二维平面内，以在该二维平面内形成二维视线矢量、二维光锥矢量以及物品点；控制模块8根据该二维平面内形成的二维视线矢量、二维光锥矢量以及物品点之间的相互关系控制投影仪401进行工作。
优选地，控制模块8将观众的三维视线矢量、投影仪401的三维光锥矢量以及物品投影至一个二维平面内的具体过程为：
S11：定义一个二维平面N；
S12：将利用瞳孔角膜反射向量方法得到的三维视线矢量、投影仪401的三维光锥矢量转换为二维平面N内的二维视线矢量、二维光锥矢量，并将物品的三维坐标转换为二维平面N内的点坐标；
优选地，二维平面N可以通过控制模块8来灵活地设置。优选地，二维视线矢量的方向可以视为观众眼部在二维平面N内的视线方向。优选地，二维光锥矢量的方向可以视为投影仪401在二维平面N内的投影方向。优选地，表示物品的点坐标的数量可以有一个，即代表一个被展示的物品。优选地，表示物品的点坐标的数量也可以为多个，即代表多个物品。此外，由于瞳孔角膜反射向量方法为现有技术，故在此不再对如何利用瞳孔角膜反射向量方法获取某个空间内观众的三维视线矢量进行赘述。此外，虽然在某个展览空间内的观众的身高不尽相同，但由于观众的身高差别对投影仪401根据每个观众的三维视线所进行投影的效果影响并不显著，因而本发明将每个观众的三维视线矢量投影至某个二维平面内，并将在二维平面内投影得到的观众的二维视线矢量的方向作为其在三维空间的三维视线矢量的方向，以达到显著地减少控制模块8对每个观众视线矢量计算时的开销。
根据一个优选实施方式，将观众的三维视线矢量、投影仪401的三维光锥矢量以及物品投影至一个二维平面内的具体流程为：定义一个二维平面；将利用瞳孔角膜反射向量方法得到的三维视线矢量、投影仪401的三维光锥矢量转换为二维平面内的二维视线矢量、二维光锥矢量，并将物品的三维坐标转换为二维平面内的点坐标。
根据一个优选实施方式，控制模块8根据该二维平面内形成的二维视线矢量、二维光锥矢量以及物品点之间的相互关系控制投影仪401进行工作的方式为：
S21：如图2所示，当在二维平面N内仅有一个二维视线矢量
与一个表示物品的点c时，若该唯一的二维视线矢量
与唯一的物品的二维矢量
的夹角大于第一阈值时，投影仪401均保持关闭状态；反之，控制模块8仅控制一个投影仪401开机进入工作状态，并对该观众所关注的物品的相关信息进行投影。若二维平面N内存在一个二维视线矢量
和一个二维光锥矢量
时，假设二维视线矢量
存在一个起点o。优选地，可以将点o视为观众眼部在二维平面N内的投影点。优选地，可以将二维矢量
的方向作为该物品c在二维平面N内相对于观众眼部点o的方向。优选地，由观众眼部点o到物品点c的方向可以视为物品相对于观众眼部o在二维平面N内的方位。优选地，控制模块8可以判定该情况下观众的视线视线方向不在该物品。优选地，第一阈值可以根据实际场景需求灵活地设置。优选地，第一阈值可以为五度。若该唯一的二维视线矢量
的方向与唯一的物品的二维方位矢量
夹角小于第一阈值，控制模块8仅控制一个投影仪401对该观众所关注的物品的相关信息进行投影。优选地，二维光锥矢量
的方向可以根据控制模块8发出的信号转向该物品在二维平面N内的点c。若二维视线矢量
的方向在围绕物品c转动的同时，其与该物品的二维方位矢量
的夹角一直小于第一阈值时，控制模块8控制上述投影仪401继续保持对该观众所关注的物品的相关信息进行投影。也就是说，二维光锥矢量
的方向根据控制模块8发出的信号始终转向该物品在二维平面N内的点c，从而实现该投影仪401对该观众视线的追踪而持续对其所关注的物品进行投影。
S22：当二维平面N内存在两个二维视线矢量
、
与一个表示物品的点c时，若两个二维视线矢量
、
与二维矢量
的夹角均小于第一阈值，控制模块8仅控制一个投影仪401对观众所关注的物品的相关信息进行投影。优选地，控制模块8可以将这两个二维视线矢量
、
视为同一个观众的二维视线矢量。优选地，二维光锥矢量
的方向可以根据控制模块8发出的信号转向该物品在二维平面N内的点c。通过该设置方式，从而避免多个投影仪401同时开启而影响观众的视觉体验。
S23：如图3所示，当二维平面N内存在两个二维视线矢量
、
与两个表示物品的点c和点d时，若两个二维视线矢量
、
分别与二维矢量
、
的夹角均小于第一阈值时，控制模块8控制两个投影仪401分别对两个观众所关注的物品的相关信息独立地进行投影。优选地，二维光锥矢量
的方向可以根据控制模块8发出的信号转向该物品在二维平面N内的点c；与此同时，二维光锥矢量
的方向可以根据控制模块8发出的信号转向该物品在二维平面N内的点d。当发生特殊情况时，如图3所示，例如发生两个二维视线矢量
与二维矢量
的夹角与二维视线矢量
分别与二维矢量
的夹角均小于第一阈值时，控制模块8需要继续对该两个二维视线矢量
、
的夹角进行如下比较：若该夹角大于第二阈值的范围，则控制模块8则判定观众所关注的这两个物品与二维视线矢量
、
处于一条直线之上，即二维视线矢量
、
的方向指向向物品c、d所在的同一区域。优选地，第二阈值可以根据实际场景需求灵活地设置。优选地，第二阈值可以为一百七十度至一百八十度中的任意值。优选地，为了避免多个投影仪401对多个二维视线矢量发生重合时发生交叉投影的情况，控制模块8可以继续进行如下的判断过程：首先，控制模块8分别计算得出在二维平面N内多个投影仪401与每个物品之间的距离；然后，控制模块8控制多个投影仪401中距离第一个物品较近的投影仪401甲对第一个物品进行投影；与此同时，控制模块8控制多个投影仪401中距离第二个物品较近的投影仪401乙对第二个物品进行投影，以此类推。例如，如图3所示的情形，即两个二维视线矢量
、
的夹角大于第二阈值时，二维光锥矢量
的方向可以根据控制模块8发出的信号转向二维平面N内距离投影仪甲较近的点c；与此同时，二维光锥矢量
的方向可以根据控制模块8发出的信号转向二维平面N内距离投影仪乙较近的点d，从而避免此类情况中投影仪甲对物品d投影的同时投影仪乙对物品c进行投影而发生投影交叉重合的情形。
S24：当二维平面N内存在多个二维视线矢量与多个表示物品的点时，若多个二维视线矢量分别与某一物品的夹角小于第一阈值时，控制模块8可以仅控制一个投影仪401对上述多个观众所关注的同一物品的相关信息进行投影。优选地，此时仅有的一个二维光锥矢量的方向可以根据控制模块8发出的信号转向该物品在二维平面N内的多个物品所关注的同一物品的位置。通过该设置方式，从而避免多个投影仪401同时开启对同一个物品进行相同的投影而影响观众的视觉体验。
S25：可以根据二维视线矢量与二维平面N内的基准线的夹角的大小来对人群进行分组，进而控制模块8控制一个投影仪401对该投影仪401所对应的一组观众进行投影。优选地，基准线可以为二维平面N内的任意一条直线。优选地，分组的数量可以与投影仪401的数量一致。优选地，可以根据第三阈值对多个视线矢量进行分组。优选地，第三阈值的数值可以根据具体应用场景进行调整。优选地，第三阈值可以为三十度。例如投影仪401的数量四个，因而可以同一空间内的观众按照视线矢量与基准线的夹角分为四组。例如，可以将视线矢量与基准线的夹角在三十度以内的二维视线矢量视为第一组视线；将视线矢量与基准线的夹角在三十度与六十度之间的二维视线矢量视为第二组视线；将视线矢量与基准线的夹角在六十至九十度之间的二维视线矢量视为第三组视线，以此类推。优选地，控制模块8可以依次控制多个投影仪401分别对每组观众所关注的物品的相关信息进行投影，例如，第一投影仪401对第一组观众进行投影，第二投影仪401对第二组观众进行投影，依次类推。通过该设置方式，可以达到避免相邻投影仪401之间的投影相互影响的效果。
根据一个优选实施方式，基于摄像头100与物品之间的相对位置将摄像头100设置于展品周围。相对位置包括摄像头100与物品之间方位以及相对距离。优选地，可以将摄像头100按照一百二十度的夹角间隔围绕展品，以使得每个观众的面部都有至少两部摄像头100摄录。通过该配置方式，可以使得所需的摄像头100尽量少的同时可以保证每个观众的面部在同一时间至少两部摄像头100进行摄录。优选地，摄像头100可以连接于云台或多维运动台。优选地，可以进行球面式转动。
根据一个优选实施方式，根据关键帧图像中确定观众的关注点的方法包括：
S01：通过摄像头100捕捉该固定空间内的连续帧图像并采用n帧一次比较的方式代替逐帧比较方式。优选地，n的取值可以按照实际需求灵活地设置。优选地，摄像装置可以为60Hz摄像头。优选地，可以将捕捉到的图像转换成ＲGB通道格式。通过采用n帧一次比较的方式代替逐帧比较方式，以用于减少计算量。
S02：为了最终能获取人眼部颜色较浅的眼白上的黑色瞳孔部分，需对捕捉到的图像进行灰度化预处理以消除噪声点。优选地，图像灰度化可以采用分量法。优选地，图像灰度化也可以才采用最大值法、平均值法和加权平均法中的任意一种。
S03：利用Haar特征和Adaboost分类器将人脸区域从预处理所得到的灰度化图像中提取出来。优选地，利用 Haar 特征进行搜寻人脸位于所得到的灰度化图像中的哪个位置时，可以采用积分图，以进一步降低计算量，从而提高运算效率。
S04：根据三庭五眼的原则从人脸区域进一步提取出眼球可能存在的区域。优选地，眼球区域粗略萃取过程中可以对部分区域进行单独放大灰度化处理。
S05：利用图像梯度对目标函数设定阈值进行二值化以完成精确的瞳孔和角膜反射点中心定位。优选地，可以根据最大值对目标函数设定阈值进行二值化处理。优选地，可以搜索像素值为1的连通区域并记录每块区域像素点的个数m。优选地，当m大于阈值的连通区域才被视为可能的人眼区域。优选地，上述阈值可以根据实际需要进行设置。优选地，在连通区域内选择多行多列像素值相加之后将最小的像素块中心视为瞳孔所在的坐标。
S06：基于多项式拟合的瞳孔角膜反射向量方法将瞳孔和角膜反射点中心形成的反射向量作为输入参数，通过多项式方程拟合眼睛凝视参数，建立和关注点坐标间的映射关系。
根据一个优选实施方式，如图4所示，本展示系统还可以包括通信模块9。优选地，通信模块9可以与控制处理模块电性连接。优选地，本展示系统还可以包括信息存储模块10。优选地，投影仪401所投影的展示信息可以是来自信息存储模块10的预设投影资源库中的展示信息，也可以是通过通信模块9实时传输的互联网展示信息。优选地，展示信息以视频、图片或文字的方式呈现。优选地，可以预先将物品所在的固定空间构建为3D虚拟空间。优选地，物品可以在3D虚拟空间构建为虚拟物品，并按物品在固定空间的位置确定虚拟物品在3D虚拟空间的位置。当确定观众的关注点之后，在3D虚拟空间构建虚拟视线方向，虚拟视线方向所经过的虚拟物品即为观众所看到的物品。优选地，在对展示信息进行投影时可以直接将展示信息投影到观众所关注的物品所在位置，实现实体物品和虚拟信息在同一位置展示，观众不需要移动视线即可观看展示信息。根据所获取到的视线方向来确定观众所关注的物品的过程为：首先获取观众保持视线方向不变的保持时长，然后判断保持时长是否大于预设的时长阀值，若大于时长阀值，控制处理模块将识别位于观众的关注点上所对应的物品，并将物品作为该观众所关注的物品。优选地，时长阀值可以根据实际应用场景灵活地设置。
优选地，可以通过控制处理模块对摄像头100所采集到的信息进行分析，以获取观众所关注的展品的关注点。优选地，可以通过控制处理模块控制投影仪401对观众所关注的展品的关注区域进行展示。优选地，投影展示模块4可以包括多个投影仪401。优选地，控制处理模块可以分别与投影仪401和摄像头100电性连接。优选地，物品的相关信息可以为该物品的某一模块的信息。优选地，相关信息可以来自信息存储单元的预设投影资源库中的展示信息。
根据一个优选实施方式，摄像头100设置于第一运动机构5上，第一运动机构5用于控制摄像头100的取景方向；摄像头100和第一运动机构5均与控制处理模块连接，控制处理模块还用于通过第一运动机构5控制摄像头100的取景方向，以使摄像头100的取景方向跟随观众的面部位置移动而移动。
根据一个优选实施方式，展示系统还包括第二运动机构6。投影仪401设置于第二运动机构6上。控制处理模块还用于获取物品的位置，并且根据物品的位置向第二运动机构6发送移动信号；第二运动机构6用于根据移动信号调节投影仪401的投影方向，以使投影仪401在物品所在位置投影展示信息。优选地，第二运动机构6同样可以为云台或多维运动台，且能够进行球面式转动。优选地，在进行投影时第二运动机构6可以通过进行角度转动来改变投影仪401的投影方向，从而使观众的最佳视线方向与投影镜头方向一致。优选地，也可以物品所在的固定空间中设置多个投影仪401，以使得多个投影仪401实现对固定空间没无死角投影。优选地，在确定物品的位置之后可以根据物品的位置确定投影仪401，再通过所确定的投影仪401进行投影。通过上述配置方式，可以实现将观众关注的物品的相关信息以虚拟成像的方式投影至观众关注的实体物品的周围。优选地，控制处理模块还可以运行有操作系统，例如:安卓系统或者Linux系统或IOS系统。优选地，设置操作系统后可以方便扩展软件功能。优选地，控制处理模块可以根据图像采集单元采集到的包含投影区域的图像来调整投影仪401。优选地，控制处理模块识别图像采集单元所采集到的包含投影区域的图像中投影区域的形状、颜色、凹凸、纹理和亮度。优选地，投影校正单元可以再调整投影仪401所投影画面的形状、颜色、线条和亮度。
根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
实施例2
本实施例是对实施例1的进一步改进，重复的内容不再赘述。
本实施例提供一种展示方法，展示方法包括：跟踪采集包含观众的人眼信息的图像；根据图像确定观众的关注点；根据关注点确定观众所关注的物品；获取与物品相对应的展示信息；控制投影仪401投影展示信息。
根据一个优选实施方式，根据关注点确定观众所关注的物品包括：获取观众保持关注点不变的保持时长；判断保持时长是否大于预设时长阈值；若是，则识别位于观众的关注点上所对应的物品，将物品作为观众所关注的物品。优选地，时长阈值可以根据实际场景需求灵活地设置。
根据一个优选实施方式，展示方法还包括：若否，判断先前是否确定有观众所关注的物品；若确定有，继续控制投影仪401投影先前所确定的观众所关注的物品相对应的展示信息。
优选地，可以通过控制处理模块对摄像头100所采集到的信息进行分析，以获取观众所关注的展品的关注点。优选地，可以通过控制处理模块控制投影仪401对观众所关注的展品的关注区域进行展示。优选地，投影展示模块4可以包括多个投影仪401。优选地，控制处理模块可以分别与投影仪401和摄像头100电性连接。优选地，物品的相关信息可以为该物品的某一模块的信息。优选地，相关信息可以来自信息存储单元的预设投影资源库中的展示信息。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
本发明说明书包含多项发明构思，申请人保留根据每项发明构思提出分案申请的权利。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。
Claims (6)
1.一种基于相对位置的展示系统，其特征在于，至少包括：
图像采集模块（1），至少包括摄像头（100），所述图像采集模块（1）被配置为至少能够通过所述摄像头（100）采集某一空间内的观众和物品的视频图像信息；
投影展示模块（4），包括至少一个投影仪（401），所述投影仪（401）至少能够用于投影物品的虚拟图像信息；
控制模块（8），能够用于从所述图像采集模块（1）得到的视频图像信息中获得关键帧图像，并从关键帧图像中获取观众和物品的位置信息；
其中，在所述控制模块（8）能够获取所述投影仪（401）的位置信息的情况下，所述控制模块（8）被配置为至少能够基于观众、物品以及投影仪之间的相对位置关系来控制所述投影仪（401）随着观众的移动而进行投影；
所述控制模块还能够被配置为基于去除冗余图像帧法从所述图像采集模块（1）得到的视频图像信息中获得关键帧图像，其中，所述控制模块基于去除冗余图像帧法从所述图像采集模块（1）得到的视频图像信息中获得关键帧图像的过程的具体流程为：将所述图像采集模块（1）获取的视频图像帧的特征值与第一阈值相比较，所述控制模块仅将特征值高于第一阈值的图像帧传输至下一工序；所述控制模块通过将得到的每个图像帧经过深度学习模型的筛选获得至少含有一个人脸正面的图像帧，并删去其余图像帧；
所述控制模块（8）基于观众、物品以及所述投影仪之间的相对位置关系来控制所述投影仪（401）随着观众的移动而进行投影的具体流程为：从观众、物品以及所述投影仪之间的相对位置信息中获取观众的三维视线矢量、所述投影仪的三维光锥矢量以及物品的三维坐标；将观众的三维视线矢量、所述投影仪的三维光锥矢量以及物品的三维坐标投影至一个二维平面内，以在该二维平面内形成所对应的二维视线矢量、二维光锥矢量以及物品点；所述控制模块根据该二维平面内形成的二维视线矢量、二维光锥矢量以及物品点之间的相互关系控制所述投影仪（401）进行工作；
所述控制模块（8）根据该二维平面内形成的二维视线矢量、二维光锥矢量以及物品点之间的相互关系控制所述投影仪（401）进行工作的方式为：
S21：当在二维平面内仅有一个二维视线矢量
与一个表示物品的点c时，若该唯一的二维视线矢量
与唯一的物品的二维矢量
的夹角大于第一夹角阈值时，所述投影仪（401）均保持关闭状态；反之，所述控制模块（8）仅控制一个所述投影仪（401）开机进入工作状态，并对该观众所关注的物品的相关信息进行投影；
S22：当二维平面N内存在两个二维视线矢量
、
与一个表示物品的点c时，若两个二维视线矢量
、
与二维矢量
的夹角均小于第一夹角阈值，所述控制模块（8）仅控制一个所述投影仪（401）对观众所关注的物品的相关信息进行投影；
S23：当二维平面N内存在两个二维视线矢量
、
与两个表示物品的点c和点d时，若两个二维视线矢量
、
分别与二维矢量
、
的夹角均小于第一夹角阈值时，所述控制模块（8）控制两个所述投影仪（401）分别对两个观众所关注的物品的相关信息独立地进行投影；
S24：当二维平面N内存在多个二维视线矢量与多个表示物品的点时，若多个二维视线矢量分别与某一物品的夹角小于第一夹角阈值时，所述控制模块（8）可以仅控制一个所述投影仪（401）对多个观众所关注的同一物品的相关信息进行投影；
S25：根据二维视线矢量与二维平面N内的基准线的夹角的大小来对人群进行分组，进而所述控制模块（8）控制一个所述投影仪（401）对所述投影仪（401）所对应的一组观众进行投影。
2.根据权利要求1所述的展示系统，其特征在于，所述将观众的三维视线矢量、所述投影仪的三维光锥矢量以及物品的三维坐标投影至一个二维平面内的具体流程为：定义一个二维平面；将利用瞳孔角膜反射向量方法得到的三维视线矢量、投影仪的三维光锥矢量转换为二维平面内的二维视线矢量、二维光锥矢量，并将物品的三维坐标转换为二维平面内的点坐标。
3.根据权利要求2所述的展示系统，其特征在于，还包括通信模块（9），所述通信模块（9）与所述控制模块（8）电性连接。
4.根据权利要求3所述的展示系统，其特征在于，所述摄像头（100）设置于第一运动机构（5），所述第一运动机构（1）用于控制所述摄像头（100）的取景方向，其中，所述摄像头（100）和所述第一运动机构（5）均能够与所述控制模块（8）电性连接，所述控制模块（8）还用于通过第一运动机构（5）控制所述摄像头（100）的取景方向，以使所述摄像头（100）的取景方向跟随观众的面部位置移动而移动。
5.根据权利要求4所述的展示系统，其特征在于，还包括第二运动机构（6），所述投影仪（401）设置于所述第二运动机构（6）上，其中，所述控制模块（8）能够根据物品的位置向所述第二运动机构（6）发送移动信号，所述第二运动机构（6）用于根据移动信号调节所述投影仪（401）的投影方向，以使所述投影仪（401）在物品所在位置投影展示信息。
6.一种展示方法，其特征在于，方法包括：跟踪采集包含观众人眼信息的图像；根据图像确定观众的关注点；根据关注点确定观众所关注的物品；获取与物品相对应的展示信息；控制投影仪投影展示信息；
根据关注点确定观众所关注的物品包括：获取观众保持关注点不变的保持时长；判断保持时长是否大于预设时长阈值；若是，则识别位于观众的关注点上所对应的物品，将物品作为观众所关注的物品；
方法还包括：若否，判断先前是否确定有观众所关注的物品；若确定有，继续控制投影仪投影先前所确定的观众所关注的物品相对应的展示信息；
控制模块（8）基于观众、物品以及所述投影仪之间的相对位置关系来控制投影仪（401）随着观众的移动而进行投影的具体流程为：从观众、物品以及所述投影仪之间的相对位置信息中获取观众的三维视线矢量、所述投影仪的三维光锥矢量以及物品的三维坐标；将观众的三维视线矢量、所述投影仪的三维光锥矢量以及物品的三维坐标投影至一个二维平面内，以在该二维平面内形成所对应的二维视线矢量、二维光锥矢量以及物品点；所述控制模块根据该二维平面内形成的二维视线矢量、二维光锥矢量以及物品点之间的相互关系控制所述投影仪（401）进行工作；
所述控制模块（8）根据该二维平面内形成的二维视线矢量、二维光锥矢量以及物品点之间的相互关系控制所述投影仪（401）进行工作的方式为：
S21：当在二维平面内仅有一个二维视线矢量
与一个表示物品的点c时，若该唯一的二维视线矢量
与唯一的物品的二维矢量
的夹角大于第一夹角阈值时，所述投影仪（401）均保持关闭状态；反之，所述控制模块（8）仅控制一个所述投影仪（401）开机进入工作状态，并对该观众所关注的物品的相关信息进行投影；
S22：当二维平面N内存在两个二维视线矢量
、
与一个表示物品的点c时，若两个二维视线矢量
、
与二维矢量
的夹角均小于第一夹角阈值，所述控制模块（8）仅控制一个所述投影仪（401）对观众所关注的物品的相关信息进行投影；
S23：当二维平面N内存在两个二维视线矢量
、
与两个表示物品的点c和点d时，若两个二维视线矢量
、
分别与二维矢量
、的夹角均小于第一夹角阈值时，所述控制模块（8）控制两个所述投影仪（401）分别对两个观众所关注的物品的相关信息独立地进行投影；
S24：当二维平面N内存在多个二维视线矢量与多个表示物品的点时，若多个二维视线矢量分别与某一物品的夹角小于第一夹角阈值时，所述控制模块（8）可以仅控制一个所述投影仪（401）对多个观众所关注的同一物品的相关信息进行投影；
S25：根据二维视线矢量与二维平面N内的基准线的夹角的大小来对人群进行分组，进而所述控制模块（8）控制一个所述投影仪（401）对所述投影仪（401）所对应的一组观众进行投影。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011484484.3A CN112650461B (zh) | 2020-12-15 | 2020-12-15 | 一种基于相对位置的展示系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011484484.3A CN112650461B (zh) | 2020-12-15 | 2020-12-15 | 一种基于相对位置的展示系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112650461A CN112650461A (zh) | 2021-04-13 |
| CN112650461B true CN112650461B (zh) | 2021-07-13 |
Family
ID=75354228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011484484.3A Active CN112650461B (zh) | 2020-12-15 | 2020-12-15 | 一种基于相对位置的展示系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112650461B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114286066A (zh) * | 2021-12-23 | 2022-04-05 | 深圳市火乐科技发展有限公司 | 投影校正方法、装置、存储介质以及投影设备 |
| CN115793845B (zh) * | 2022-10-10 | 2023-08-08 | 北京城建集团有限责任公司 | 一种基于全息影像的智慧展厅系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106133750A (zh) * | 2014-02-04 | 2016-11-16 | 弗劳恩霍夫应用研究促进协会 | 用于确定视线方向的3d图像分析器 |
| CN110544318A (zh) * | 2019-09-05 | 2019-12-06 | 重庆大学 | 一种基于显示窗口的场景分辨率的海量模型加载方法 |
| CN111016785A (zh) * | 2019-11-26 | 2020-04-17 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种基于人眼位置的平视显示系统调节方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100568262C (zh) * | 2007-12-29 | 2009-12-09 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
| US9658688B2 (en) * | 2013-10-15 | 2017-05-23 | Microsoft Technology Licensing, Llc | Automatic view adjustment |
| US9711072B1 (en) * | 2016-12-01 | 2017-07-18 | Varjo Technologies Oy | Display apparatus and method of displaying using focus and context displays |
| CN106779940B (zh) * | 2016-12-13 | 2020-10-27 | 中国联合网络通信集团有限公司 | 一种展示商品的确认方法及装置 |
| CN206743456U (zh) * | 2017-05-19 | 2017-12-12 | 广景视睿科技（深圳）有限公司 | 一种动向投影仪 |
| CN107704076A (zh) * | 2017-09-01 | 2018-02-16 | 广景视睿科技（深圳）有限公司 | 一种动向投影物体展示系统及其方法 |
| CN107656619A (zh) * | 2017-09-26 | 2018-02-02 | 广景视睿科技（深圳）有限公司 | 一种智能投影方法、系统及智能终端 |
| CN108830151A (zh) * | 2018-05-07 | 2018-11-16 | 国网浙江省电力有限公司 | 基于高斯混合模型的面具检测方法 |
-
2020
- 2020-12-15 CN CN202011484484.3A patent/CN112650461B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106133750A (zh) * | 2014-02-04 | 2016-11-16 | 弗劳恩霍夫应用研究促进协会 | 用于确定视线方向的3d图像分析器 |
| CN110544318A (zh) * | 2019-09-05 | 2019-12-06 | 重庆大学 | 一种基于显示窗口的场景分辨率的海量模型加载方法 |
| CN111016785A (zh) * | 2019-11-26 | 2020-04-17 | 惠州市德赛西威智能交通技术研究院有限公司 | 一种基于人眼位置的平视显示系统调节方法 |
Non-Patent Citations (1)
| Title |
|---|
| Construction for true three-dimensional imaging display system and analysis based on state-space model;Yi Yu 等;《2015 IEEE International Conference on Mechatronics and Automation (ICMA)》;20150903;第2437-2442页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112650461A (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102261020B1 (ko) | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 | |
| US10733783B2 (en) | Motion smoothing for re-projected frames | |
| CN110335292B (zh) | 一种基于图片跟踪实现模拟场景跟踪的方法、系统及终端 | |
| US20180101984A1 (en) | Headset removal in virtual, augmented, and mixed reality using an eye gaze database | |
| US20140176591A1 (en) | Low-latency fusing of color image data | |
| CN112650461B (zh) | 一种基于相对位置的展示系统 | |
| Cho et al. | Long range eye gaze tracking system for a large screen | |
| US10665034B2 (en) | Imaging system, display apparatus and method of producing mixed-reality images | |
| JP2007074731A (ja) | ３次元マルチカメラビデオ監視支援システム、３次元マルチカメラビデオ監視支援方法、３次元マルチカメラビデオ監視支援プログラム | |
| US10803618B2 (en) | Multiple subject attention tracking | |
| CN110915211A (zh) | 虚拟现实中的物理输入设备 | |
| US20090219381A1 (en) | System and/or method for processing three dimensional images | |
| Reale et al. | Viewing direction estimation based on 3D eyeball construction for HRI | |
| WO2008132741A2 (en) | Apparatus and method for tracking human objects and determining attention metrics | |
| US11831853B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US11627303B2 (en) | System and method for corrected video-see-through for head mounted displays | |
| JP2000184398A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体 | |
| US20220360753A1 (en) | Image processing device, display system, image processing method, and program | |
| Tian et al. | Multi-face real-time tracking based on dual panoramic camera for full-parallax light-field display | |
| CN112540676B (zh) | 一种基于投影系统的可变信息展示装置 | |
| US11487358B1 (en) | Display apparatuses and methods for calibration of gaze-tracking | |
| CN109309827B (zh) | 用于360°悬浮光场三维显示系统的多人实时跟踪装置和方法 | |
| KR102028726B1 (ko) | 공간 내의 물체 운동 분석 장치 및 그 제어 방법 | |
| CN114766027A (zh) | 信息处理方法、信息处理装置以及控制程序 | |
| RU2805760C1 (ru) | Способ и устройство идентификации розничных товаров |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 511400 101 and 102, building 5, No. 12, Zhufen West Street, Shiqi village, Shiqi Town, Panyu District, Guangzhou City, Guangdong Province Patentee after: Guangzhou Shuyong Intelligent Technology Co.,Ltd. Address before: 510000 111, building B, 27 Shinan Road, Shencun, Dashi street, Panyu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU SHUYONG HARDWARE PRODUCTS CO.,LTD. |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A display system based on relative position Effective date of registration: 20220609 Granted publication date: 20210713 Pledgee: Development Zone sub branch of Bank of Guangzhou Co.,Ltd. Pledgor: Guangzhou Shuyong Intelligent Technology Co.,Ltd. Registration number: Y2022980007419 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231011 Granted publication date: 20210713 Pledgee: Development Zone sub branch of Bank of Guangzhou Co.,Ltd. Pledgor: Guangzhou Shuyong Intelligent Technology Co.,Ltd. Registration number: Y2022980007419 |