CN113673479A - 基于视觉关注点识别物体的方法 - Google Patents

基于视觉关注点识别物体的方法 Download PDF

Info

Publication number
CN113673479A
CN113673479A CN202111031189.7A CN202111031189A CN113673479A CN 113673479 A CN113673479 A CN 113673479A CN 202111031189 A CN202111031189 A CN 202111031189A CN 113673479 A CN113673479 A CN 113673479A
Authority
CN
China
Prior art keywords
scene
camera
direction vector
identifying
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111031189.7A
Other languages
English (en)
Inventor
冯志全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202111031189.7A priority Critical patent/CN113673479A/zh
Publication of CN113673479A publication Critical patent/CN113673479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种基于视觉关注点识别物体的方法，所述的方法包括：S1：采用眼动仪设备获取人眼视线方向向量(a,b,c)；S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；S3：把P点周围的局部图像IM进行放大；S4：在IM的所有原始子图像中发现识别对象。本发明结合视觉关注技术和人工智能技术，解决在人机交互、智能监控与行为评价等应用系统中场景物体的识别率问题。

Description

基于视觉关注点识别物体的方法
技术领域
本发明涉及VR/AR技术领域，具体涉及基于视觉关注点识别物体的方法。
背景技术
在VR/AR系统中，操作者识别物体的方式，完全取决于操作者的视角，而操作者的视角等同于摄像头的视角，操作者离物体的距离越远，摄像头的视角范围就越大，视角范围内的可识别物体就会越多，这就导致当操作者远离识别物体时，无法精准识别场景中的物体。
现有技术中，对于上述远距离物体的识别，一般采用以下两种方式：
1)将视角范围内的全部物体显示出来，由操作者进行手动选择；
2)不显示距离过远的物体，操作者只能主动靠近识别物体后才能识别。
上述两种方式，均不能直接读取操作者的识别意图，将识别物体直接标注出来。
发明内容
为了解决上述问题，本申请提供了AR系统中增强呈现方式的方法，通过视线方向向量获取人对交互场景中的关注点，再将该关注点所在的局部图像放大进行识别。本发明公开了如下技术方案：
本发明实施例提供了基于视觉关注点识别物体的方法，所述的方法包括：
S1：获取人眼视线方向向量(a,b,c)；
S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；
S3：把P点周围的局部图像IM进行放大；
S4：在IM的所有原始子图像中发现识别对象。
进一步的，步骤S2的具体实现过程为：
构建视线方向向量(a,b,c)在场景图像中位置的映射关系；
分别计算x、y的坐标。
进一步的，采用眼动仪设备或者现有公知的眼球视线跟踪方法来获取人眼视线方向向量。
进一步的，视线方向向量(a,b,c)在场景图像中位置的映射关系为：
Figure BDA0003245321450000021
其中，fx、fy分别表示场景摄像机沿水平和垂直方向的焦距，m、n分别表示场景摄像机沿水平和垂直方向的偏移量,R是相机的旋转矩阵，t是相机的平移向量，T代表转置矩阵。fx、fy、m、n是场景摄像机的内部参数，R、t是场景摄像机的外部参数，可以通过张正友相机标定方法获取摄像机的内部参数和外部参数。
进一步的，x、y的坐标为：
Figure BDA0003245321450000022
Figure BDA0003245321450000023
进一步的，步骤S3的具体实现方法为：
把场景图像分为M×N个子图像块；
依次选取P所在图像块的8k(k＝1,2,…)邻域作为原始子图像进行缩放。
进一步，步骤S4中发现识别对象的原理为：对IM的所有原始子图像采用深度卷积神经网络进行训练，对原始子图像中感兴趣的对象进行识别。
本发明的有益效果：
相比于现有技术中不能识别或识别对象过多的问题，本申请可以将视角方向的关注点直接转换为场景图像中的位置坐标，将视角变成视点，实现对物体的精准定位，对于识别对象与操作者距离过远的问题，本申请可以将视点周围的局部图像IM进行放大，从放大的图像中精准获取识别对象。
附图说明
图1为本发明方法实施例的流程图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。
如图1所示，本发明实施例提供了基于视觉关注点识别物体的方法，所述的方法包括以下步骤：
1)采用眼动仪设备获取人眼视线方向向量(a,b,c)。
该步骤具体操作时，可以在室内设置一个固定摄像机获取场景图像；在戴在头上的支架上设置一个微型摄像机获取眼动数据，采用公知的视线跟踪软件或方法获取人眼视线方向向量。
2)计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)。
为了实现P(x,y)的计算，首先要构建视线方向向量(a,b,c)在场景图像中位置的映射关系为：
Figure BDA0003245321450000031
其中，fx、fy分别表示场景摄像机沿水平和垂直方向的焦距，m、n分别表示场景摄像机沿水平和垂直方向的偏移量,R是相机的旋转矩阵，t是相机的平移向量，T代表转置矩阵。fx、fy、m、n是场景摄像机的内部参数，R、t是场景摄像机的外部参数，可以通过张正友相机标定方法获取摄像机的内部参数和外部参数。
然后，分别计算x、y的坐标为：
Figure BDA0003245321450000041
Figure BDA0003245321450000042
3)把P点周围的局部图像IM进行放大。
对于图像的放大处理，一种优选的实现方法为：
把场景图像分为M×N个子图像块；
依次选取P所在图像块的8k(k＝1,2,…)邻域作为原始子图像进行缩放。
4)在IM的所有原始子图像中发现识别对象。
结合人工智能技术发现识别对象的原理为：对IM的所有原始子图像采用深度卷积神经网络进行训练，对原始子图像中感兴趣的对象进行识别。
例如，可以把场景图像分为25×25的子块，采用8邻域生成原始子图像，利用目标检测深度学习卷积神经网络(CNN)Yolov5对原始子图像分别放大到5倍、20倍进行训练，构建识别模型。
以上为本申请实现的技术原理，在具体操作时，可以利用场景摄像机和人眼摄像机分别获取人操作的场景图像和人眼图像等信息，摄像机数据通过有线或无线(云处理)方式传输到计算设备进行实时处理。
场景摄像机既可以设置于支架上，也可以固定于实验场景中，还可以将人眼摄像机和场景摄像机布置在一个环形支架上，该环形支架可以戴在额头上。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明的具体结构，但不以任何方式限制本发明创造。因此，尽管说明书及附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换；而一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造专利的保护范围当中。

Claims (8)

1.基于视觉关注点识别物体的方法，其特征在于，所述的方法包括：
S1：获取人眼视线方向向量(a,b,c)；
S2：计算视线方向向量(a,b,c)在场景图像中的位置P(x,y)；
S3：把P点周围的局部图像IM进行放大；
S4：在IM的所有原始子图像中发现识别对象。
2.根据权利要求1所述的基于视觉关注点识别物体的方法，其特征在于，步骤S2的具体实现过程为：
构建视线方向向量(a,b,c)在场景图像中位置的映射关系；
分别计算x、y的坐标。
3.根据权利要求1所述的基于视觉关注点识别物体的方法，其特征在于，采用眼动仪设备获取人眼视线方向向量。
4.根据权利要求1所述的基于视觉关注点识别物体的方法，其特征在于，采用现有公知的眼球视线跟踪方法获取人眼视线方向向量。
5.根据权利要求2所述的基于视觉关注点识别物体的方法，其特征在于，视线方向向量(a,b,c)在场景图像中位置的映射关系为：
Figure FDA0003245321440000011
其中，fx、fy分别表示场景摄像机沿水平和垂直方向的焦距，m、n分别表示场景摄像机沿水平和垂直方向的偏移量,R是相机的旋转矩阵，t是相机的平移向量，T代表转置矩阵。
6.根据权利要求5所述的基于视觉关注点识别物体的方法，其特征在于，x、y的坐标为：
Figure FDA0003245321440000021
Figure FDA0003245321440000022
7.根据权利要求1所述的基于视觉关注点识别物体的方法，其特征在于，步骤S3的具体实现方法为：
把场景图像分为M×N个子图像块；
依次选取P所在图像块的8k(k＝1,2,…)邻域作为原始子图像进行缩放。
8.根据权利要求1所述的基于视觉关注点识别物体的方法，其特征在于，步骤S4中发现识别对象的原理为：对IM的所有原始子图像采用深度卷积神经网络进行训练，对原始子图像中感兴趣的对象进行识别。
CN202111031189.7A 2021-09-03 2021-09-03 基于视觉关注点识别物体的方法 Pending CN113673479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111031189.7A CN113673479A (zh) 2021-09-03 2021-09-03 基于视觉关注点识别物体的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111031189.7A CN113673479A (zh) 2021-09-03 2021-09-03 基于视觉关注点识别物体的方法

Publications (1)

Publication Number Publication Date
CN113673479A true CN113673479A (zh) 2021-11-19

Family

ID=78548198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111031189.7A Pending CN113673479A (zh) 2021-09-03 2021-09-03 基于视觉关注点识别物体的方法

Country Status (1)

Country Link
CN (1) CN113673479A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058694A (zh) * 2019-04-24 2019-07-26 腾讯科技（深圳）有限公司 视线追踪模型训练的方法、视线追踪的方法及装置
CN111007939A (zh) * 2019-11-25 2020-04-14 华南理工大学 一种基于深度感知的虚拟现实系统空间定位方法
KR20200043786A (ko) * 2018-10-18 2020-04-28 주식회사 토비스 화면 제어 방법 및 표시 장치
US20200311416A1 (en) * 2019-03-29 2020-10-01 Huazhong University Of Science And Technology Pose recognition method, device and system for an object of interest to human eyes
KR20200114838A (ko) * 2019-03-29 2020-10-07 경북대학교 산학협력단 전자 장치 및 제어 방법
CN111753168A (zh) * 2020-06-23 2020-10-09 广东小天才科技有限公司 一种搜题的方法、装置、电子设备及存储介质
WO2021023315A1 (zh) * 2019-08-06 2021-02-11 华中科技大学 一种基于人眼凝视点的手眼协调抓取方法
CN112507799A (zh) * 2020-11-13 2021-03-16 幻蝎科技(武汉)有限公司 基于眼动注视点引导的图像识别方法、mr眼镜及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200043786A (ko) * 2018-10-18 2020-04-28 주식회사 토비스 화면 제어 방법 및 표시 장치
US20200311416A1 (en) * 2019-03-29 2020-10-01 Huazhong University Of Science And Technology Pose recognition method, device and system for an object of interest to human eyes
KR20200114838A (ko) * 2019-03-29 2020-10-07 경북대학교 산학협력단 전자 장치 및 제어 방법
CN110058694A (zh) * 2019-04-24 2019-07-26 腾讯科技（深圳）有限公司 视线追踪模型训练的方法、视线追踪的方法及装置
WO2021023315A1 (zh) * 2019-08-06 2021-02-11 华中科技大学 一种基于人眼凝视点的手眼协调抓取方法
CN111007939A (zh) * 2019-11-25 2020-04-14 华南理工大学 一种基于深度感知的虚拟现实系统空间定位方法
CN111753168A (zh) * 2020-06-23 2020-10-09 广东小天才科技有限公司 一种搜题的方法、装置、电子设备及存储介质
CN112507799A (zh) * 2020-11-13 2021-03-16 幻蝎科技(武汉)有限公司 基于眼动注视点引导的图像识别方法、mr眼镜及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨学文 等: "结合手势主方向和类-Hausdorff 距离的手势识别", 计算机辅助设计与图形学学报, vol. 28, no. 1, pages 75 - 81 *
龚秀锋 等: "基于标记点检测的视线跟踪注视点估计", 计算机工程, vol. 37, no. 6, pages 289 - 290 *

Similar Documents

Publication Publication Date Title
US10684681B2 (en) Neural network image processing apparatus
US11798237B2 (en) Method for establishing a common reference frame amongst devices for an augmented reality session
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
CN108229284B (zh) 视线追踪及训练方法和装置、系统、电子设备和存储介质
JP5443134B2 (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
WO2020125499A1 (zh) 一种操作提示方法及眼镜
KR20180050702A (ko) 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체
US20210041945A1 (en) Machine learning based gaze estimation with confidence
US10665034B2 (en) Imaging system, display apparatus and method of producing mixed-reality images
WO2022267653A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN112489138B (zh) 一种基于可穿戴式装备的目标态势信息智能获取系统
JPWO2017187694A1 (ja) 注目領域画像生成装置
JP6221292B2 (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
WO2023071381A1 (zh) 虚实融合方法、装置、设备、存储介质及程序产品
CN111552292A (zh) 基于视觉的移动机器人路径生成与动态目标跟踪方法
Tepencelik et al. Body and head orientation estimation with privacy preserving LiDAR sensors
CN113850245A (zh) 图像处理方法、装置、电子设备及存储介质
Kang et al. Event Camera-Based Pupil Localization: Facilitating Training With Event-Style Translation of RGB Faces
CN115994911B (zh) 一种基于多模态视觉信息融合的游泳馆目标检测方法
CN113673479A (zh) 基于视觉关注点识别物体的方法
US11610385B2 (en) Information processing apparatus, control method, and non-transitory storage medium
JP6210447B2 (ja) 視線計測装置、注視点の表示方法、注視領域の表示方法および注視点のガウス分布の表示方法
US10482641B2 (en) Virtual reality display
CN112114659B (zh) 用于确定用户的精细的注视点的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination