CN111801700A - 支付过程中防止偷窥的方法及电子设备 - Google Patents

支付过程中防止偷窥的方法及电子设备 Download PDF

Info

Publication number
CN111801700A
CN111801700A CN201980010281.XA CN201980010281A CN111801700A CN 111801700 A CN111801700 A CN 111801700A CN 201980010281 A CN201980010281 A CN 201980010281A CN 111801700 A CN111801700 A CN 111801700A
Authority
CN
China
Prior art keywords
payment
pupils
payment interface
pupil
sensing range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980010281.XA
Other languages
English (en)
Other versions
CN111801700B (zh
Inventor
艾静雅
柳彤
朱大卫
汤慧秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haifu Yitong Technology Co ltd
Original Assignee
Shenzhen Haifu Yitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haifu Yitong Technology Co ltd filed Critical Shenzhen Haifu Yitong Technology Co ltd
Publication of CN111801700A publication Critical patent/CN111801700A/zh
Application granted granted Critical
Publication of CN111801700B publication Critical patent/CN111801700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

一种支付过程中防止偷窥的方法及电子设备(100)，其中应用于电子设备(100)的支付过程中防止偷窥的方法包括：首先在支付过程中启用摄像头进行瞳孔检测与眼球追踪(S10)，进而提取摄像头的感测范围内瞳孔数量与瞳孔位置(S20)，然后根据感测范围内瞳孔数量与瞳孔位置确定注视电子设备的支付界面的人数(S30)，进而若确定出注视支付界面的人数为两人或以上进行提示和或中止支付过程(S40)，从而当用户(40)在商场，门店等人员众多，支付环境复杂的环境下，防止陌生人偷窥，提高了支付操作的安全性，使用户的财产安全得到很好的保障。

Description

支付过程中防止偷窥的方法及电子设备
技术领域
本申请涉及移动支付技术领域，尤其涉及一种支付过程中防止偷窥的方法及电子设备。
背景技术
随着电子设备技术的不断发展，智能手机、智能手环、智能手表等电子设备被加入了各种各样的便捷功能，移动支付就是其中一项较为实用的功能应用。在没有显示屏的电子设备上，一般采用NFC(Near Field Communication，近场通信模块)来实现支付操作，而在设置有显示屏的电子设备上，不仅可以通过NFC来实现，还可以通过扫描或者显示支付二维码的方式来实现支付操作。
在实现本申请的过程中，申请人发现相关技术至少存在以下问题：当用户在商场，门店等人员众多，支付环境复杂的环境下进行支付时，容易造成陌生人偷窥，用户的财产安全得不到很好的保障。
发明内容
为了解决上述技术问题，本申请实施例提供一种在用户在支付过程中防止陌生人偷窥，提高支付安全性的支付过程中防止偷窥的方法及电子设备。
为解决上述技术问题，本申请实施例提供以下技术方案：一种支付过程中防止偷窥的方法，应用于电子设备，其特征在于，所述方法包括：
支付过程中启用摄像头进行瞳孔检测与眼球追踪；
提取所述摄像头的感测范围内瞳孔数量与瞳孔位置；
根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数；
若确定出注视所述支付界面的人数为两人或以上进行提示和/或中止所述支付过程。
可选地，所述根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，包括：
若提取出所述摄像头的感测范围内所述瞳孔数量在两个或以上，计算各个瞳孔间的间距；
若所述间距在阈值范围内，判断所述间距两端的瞳孔是否聚焦所述支付界面；若是，则注视所述支付界面的人数增加1人。
可选地，所述根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，还包括：
若所述摄像头的感测范围内的其中一个瞳孔与其余瞳孔的间距均不在所述阈值范围内，判断所述其中一个瞳孔是否聚焦于所述支付界面；若是，则注视所述支付界面的人数增加1人。
可选地，所述电子设备通过显示屏显示所述支付界面，所述显示屏外设置有实现指向性光源的膜材，所述膜材将所述感测范围分为可视区域和干扰区域；所述方法还包括：
对所述支付界面的内容进行重排，使得在所述可视区域注视所述支付界面时图像清晰可见，在所述干扰区域注视所述支付界面时出现图像串扰。
可选地，所述在所述干扰区域注视所述支付界面时出现图像串扰，包括：
更改所述支付界面的像素排布，将进入左眼和右眼的图像指向不同的位置，以使所述支付界面出现图像串扰。
可选地，所述可视区域由所述显示屏向外延伸，所述干扰区域环绕所述可视区域。
可选地，所述膜材为柱状棱镜膜。
可选地，所述中止所述支付过程，包括：
将所述电子设备上的人脸识别功能、指纹输入功能或密码输入功能作失效处理。
为解决上述技术问题，本申请实施例还提供以下技术方案：一种电子设备。所述电子设备包括：至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行如上所述的支付过程中防止偷窥的方法。
为解决上述技术问题，本申请实施例还提供以下技术方案：一种非暂态计算机可读存储介质。所述非暂态计算机可读存储介质包括：所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的方法。
与现有技术相比较，本申请实施例的提供支付过程中防止偷窥的方法可以通过首先在支付过程中启用摄像头进行瞳孔检测与眼球追踪，进而提取所述摄像头的感测范围内瞳孔数量与瞳孔位置，然后根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，进而若确定出注视所述支付界面的人数为两人或以上进行提示和/或中止所述支付过程，从而当用户在商场，门店等人员众多，支付环境复杂的环境下，防止陌生人偷窥，提高了支付操作的安全性，使用户的财产安全得到很好的保障。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本申请实施例的应用环境示意图；
图2为本申请实施例提供的支付过程中防止偷窥的方法的流程示意图；
图3是图2中S30其中一实施例的流程示意图；
图4是图2中S30另一实施例的流程示意图；
图5为本申请实施例提供的防止偷窥装置的结构框图；
图6为本申请实施例提供的电子设备的结构框图。
具体实施方式
为了便于理解本申请，下面结合附图和具体实施例，对本申请进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本申请。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本申请不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请实施例提供了一种支付过程中防止偷窥的方法，应用于电子设备，所述方法可以通过首先在支付过程中启用摄像头进行瞳孔检测与眼球追踪，进而提取所述摄像头的感测范围内瞳孔数量与瞳孔位置，然后根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，进而若确定出注视所述支付界面的人数为两人或以上进行提示和/或中止所述支付过程，从而当用户在商场，门店等人员众多，支付环境复杂的环境下，防止陌生人偷窥，提高了支付操作的安全性，使用户的财产安全得到很好的保障。
以下举例说明所述支付过程中防止偷窥的方法的应用环境。
图1是本申请实施例提供的支付过程中防止偷窥的方法的应用环境的示意图；如图1所示，所述应用场景包括电子设备10、无线网络20、付费终端30及用户40。用户40可通过无线网络20操作所述电子设备10与付费终端30进行交互，以完成相应的支付操作。
所述电子设备10可以是任何类型，例如智能手机、智能手环、智能手表或者平板电脑等。该电子设备10可以装配有一种或者多种不同的用户40交互装置，用以采集用户40指令或者向用户40展示和反馈信息。
这些交互装置包括但不限于：按键、显示屏、触摸屏、扬声器以及遥控操作杆。例如，电子设备10可以装配有触控显示屏，用户40可利用所述触控显示屏进行指纹输入及密码输入等支付执行操作。又例如，电子设备10可以装配有摄像装置，用户40可利用所述摄像装置进行人脸识别及唇语识别等支付操作。同时，在本实施例中，所述摄像装置还包括摄像头，所述摄像头可以用于进行瞳孔检测与眼球追踪。
所述无线网络20可以是基于任何类型的数据传输原理，用于建立两个节点之间的数据传输信道的无线通信网络，例如位于不同信号频段的蓝牙网络、WiFi网络、无线蜂窝网络或者其结合。
所述付费终端30可为商场自助收费装置及银行自助收费系统等等，所述付费终端30具有显示显示屏，用户40可以使用电子设备10通过扫描所述显示显示屏显示的支付二维码的方式来实现支付操作。在没有所述显示显示屏的付费终端30上，可以采用NFC(NearField Communication，近场通信模块)来实现支付操作。
图2为本申请实施例提供的支付过程中防止偷窥的方法的实施例。如图2所示，该支付过程中防止偷窥的方法包括如下步骤：
S10、支付过程中启用摄像头进行瞳孔检测与眼球追踪。
其中，所述支付过程是指用户通过指纹输入、密码输入及人脸识别等支付执行操作。
具体地，所述眼球追踪技术是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。
具体的，可通过人脸图像采集装置获取所述显示屏前方的图形信息，在获取到所述图像信息之后，进一步地，通过Harr特征分类识别算法对所述图像信息进行瞳孔检测。所述Harr特征分类识别算法利用对矩形图像区域的和或差闽值化,提取类Harr小波特征生成对应的弱分类器,引入Adaboost算法选择最优的弱分类器,并将其优化姐合训练成强分类器,通过将若干个强分类器进行筛选式级联,最终生成多层级联强分类器。采用Harr特征分类识别算法的人脸和人眼分类器具有识别速度快,目标识别率高和非目标错误接受率低等特点。
S20、提取所述摄像头的感测范围内瞳孔数量与瞳孔位置。
其中，所述摄像头的感测范围即为所述摄像头监控范围或拍摄范围，具体地，可通过根据所述摄像头的图形传感器型号、摄像头焦距及摄像头的视角范围，计算得到所述摄像头的感测范围。
具体地，可通过上述眼球追踪技术获取眼动跟踪校准数据，根据眼动跟踪校准数据获取瞳孔的数量与位置。其中，眼动跟踪校准数据为预设的眼动校准模型中的数据，所述眼动跟踪校准数据可以实时根据电子设备状态信息和瞳孔状态信息进行校准。终端状态信息可以通过电子设备内置传感器或者电子设备10的应用软件进行检测得到。其中，瞳孔状态信息包括但不局限于：瞳孔数量、瞳孔位置、注视点，注视时间、注视次数、眼跳距离或瞳孔大小。
具体地，在一些实施例中，可通过电子设备10的人脸采集装置实时获取人脸图像，通过人脸图像识别模型检测到眼睛图像，再对眼睛图像进行灰度值、边缘化等处理，从而得到瞳孔的数量与位置。
所述人脸采集装置设置于电子设备10，作为所述电子设备10的前置摄像头，用于获取所述显示屏前方的图像信息，所述人脸图像采集装置包括图像采集单元、第一通信总线、传感器单元、第二通信总线、控制处理单元和人脸检测识别单元。图像采集单元用于采集目标区域内目标对象的图像。所述目标区域指的是图像采集单元的图像采集区域，或者用于进行人脸采集/识别的人脸识别区域。所述目标对象例如为待进行人脸识别的人。图像采集单元可以为摄像机、各种图像采集端，或者诸如平板都电子设备的相机单元或摄像头。图像采集单元通过第一通信总线与控制处理单元连接，以将所采集的图像发送至控制处理单元进行处理，或者接受来自控制处理单元的命令或信号。
图像采集单元可为数字摄像头，具体地，所述数字摄像头包括装置本体、底座、支撑杆、伸缩杆、补光圈、外壳、拆卸板、信号线、USB端口和保护圈，所述装置本体的底部设有底座，所述底座的上部位置设有支撑杆，所述支撑杆的上部位置设有伸缩杆，所述伸缩杆的上部位置设有外壳，所述外壳的右侧位置设有补光圈，所户补光圈与外壳之间的连接方式为转动连接，所述外壳的左侧位置设有拆卸板，所述拆卸板的左侧中部位置通过信号线与USB端口连接，所述信号线的右侧与装置本体内部的芯片连接，所述芯片的右侧与信号转换器连接，所述信号转换器的右侧设有驱动装置。所述补光圈的内部设有保护圈，所述保护圈与补光圈之间的连接方式为固定连接，所述保护圈的材质为高强度抗压玻璃，方便了补光圈的补光，提高了装置本体的使用性能，同时防止了CMOS镜4头的磨损，提高了装置本体的使用寿命。
其中，瞳孔位置可为所述瞳孔在坐标系中的瞳孔位置坐标，也可为与预设基准点的角度和距离所述参考点的长度。例如，电子设备10的摄像装置在感测范围内获取到所述显示屏前方的图像信息，进而可根据所述图像信息得到所述图形信息上的瞳孔数量和每天瞳孔对应的瞳孔位置信息。若瞳孔数量有多个，即可计算出每两个瞳孔之间的间距和每个瞳孔在所述图形信息中的位置坐标或每个瞳孔距离图形基准点的距离及每个瞳孔与基准点的角度。
S30、根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数。
其中，所述支付界面是指用户在通过指纹输入、密码输入及人脸识别等支付过程中电子设备上出现的所有界面。
具体地，可根据所述摄像头感测范围内的瞳孔数量确定感测范围内出现的人数，进一步根据所述瞳孔位置从在感测范围内出现的人中筛选出注视所述电子设备的支付界面的人数，
S40、若确定出注视所述支付界面的人数为两人或以上进行提示和/或中止所述支付过程。
可以理解的是，若确定出注视所述支付界面的人数为两人或以上，则表明当前用户40的支付环境不安全，继续进行支付操作可能存在潜在的危险，用户40的支付信息可能会被窃取，进而生成警示信息，用于提醒用户40注意周围情况。例如，所述警示信息可为“继续支付存在安全风险，请注意查看周围情况”等，或将电子设备10的相关支付功能作失效处理，进而中止所述支付过程。例如，将所述移动终端10的摄像装置锁定，使之无法开启摄像装置，进而无法使用人脸识别功能，或将移动终端10上的指纹输入区域进行锁定，使之无法感应用户40的指纹输入操作，或将移动终端10上的密码输入区域进行锁定，使用户40无法正常输入密码。
本申请实施例提供了一种支付过程中防止偷窥的方法，所述方法可以通过首先在支付过程中启用摄像头进行瞳孔检测与眼球追踪，进而提取所述摄像头的感测范围内瞳孔数量与瞳孔位置，然后根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，进而若确定出注视所述支付界面的人数为两人或以上进行提示和/或中止所述支付过程，从而当用户在商场，门店等人员众多，支付环境复杂的环境下，防止陌生人偷窥，提高了支付操作的安全性，使用户的财产安全得到很好的保障。
为了更好的根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，在一些实施例中，请参阅图3，S30包括如下步骤：
S31:若提取出所述摄像头的感测范围内的所述瞳孔数量在两个或以上，计算各个瞳孔间的间距。
具体地，通过Harr特征分类识别算法对所述图像信息进行瞳孔检测，进而得到在感测范围内的各个瞳孔位置。进而根据所述瞳孔位置计算出各个瞳孔间的间距。
具体地，所述Harr特征分类识别算法利用对矩形图像区域的和或差闽值化,提取类Harr小波特征生成对应的弱分类器,引入Adaboost算法选择最优的弱分类器,并将其优化姐合训练成强分类器,通过将若干个强分类器进行筛选式级联,最终生成多层级联强分类器。采用Harr特征分类识别算法的人脸和人眼分类器具有识别速度快,目标识别率高和非目标错误接受率低等特点。
S32:若所述间距在阈值范围内，判断所述间距两端的瞳孔是否聚焦于所述支付界面；若是，则注视所述支付界面的人数增加1人。
具体地，例如，当所述瞳孔数量为2个，阈值范围为55mm-65mm，若两个所述瞳孔间的距离(间距)在为58mm,则确定两个所述瞳孔的间距在所述阈值范围内。
其中，所述支付界面是指用户在通过指纹输入、密码输入及人脸识别等支付过程中电子设备上出现的所有界面。
具体地，所述判断所述间距两端的瞳孔是否聚焦于所述支付界面可首先利用USB摄像头实时采集动态图像信息作为输入,提取视频中每一顿图像信息,利用基于Harr特征的分类识别学习算法检测定位顿图像信息中人脸和人眼位置,提取人眼感兴趣区域,并在该区域上采用改进的SUSAN角点检测算法定位人眼外眼角坐标,同时通过目标跟踪技术实时跟踪人眼瞳孔运动轨迹,利用瞳孔中屯、位置和人眼角点坐标作为视线特征参数构建视线方向计算模型,确定所述间距两端的瞳孔的聚焦区域，进而根据所述瞳孔的聚焦区域判断所述间距两端的瞳孔是否聚焦于所述支付界面。
具体地，所述利用基于Harr特征的分类识别学习算法检测定位顿图像信息中人脸和人眼位置,提取瞳孔的聚焦区域包括如下步骤：
(1)利用Haar分类器对实时图像进行人眼检测；
(2)获取用户所处的位置信息；
(3)利用人眼检测结果和用户所处的位置信息计算用户视觉注意力区域。
所述步骤(1)中，对图像信息进行人眼检测的具体步骤如下：
(1.1)计算人眼部位的矩形特征：
V＝R1-R2 (1)
其中，V为矩形特征在该图像区域的计算值，R1和R2分别代表矩形特征中白色区域特征和黑色区域特征，其中Ri的计算公式为：
Ri＝Σm,n∈Ri,i＝{1,2}r(m,n) (2)
其中，r(m,n)为白色区域或黑色区域中像素点的值，m和n分别代表矩形特征区域的竖坐标和横坐标；
(1.2)采用和面积表来计算矩形特征图的值，其中对于整幅图像中的某一块区域，和面积表的计算方公式为：
SABCD＝E(A)+E(C)-E(B)-E(D) (3)
其中，E(A)、E(B)、E(C)、E(D)分别代表所求区域左上点、右上点、左下点、右下点的和面积表；
(1.3)在眼睛矩形特征的基础上生成10-20个弱分类器，然后使用
AdaBoost将其级联为强分类器，具体步骤包括如下：
先从初始训练数据集训练出一个基本分类器；再根据基本分类器的性能对训练样本分部进行调整，增加上一轮迭代时被误分类样本的权重；基于调整后的样本权重训练下一个分类器；重复上述步骤，直到分类器数量达到预先设置的数量。
设训练数据集T＝{(x1,y1),(x2,y2)…,(xn,yn)}，其中，最终强分类器为G(x)。
初始化训练数据集权值分布：
D1＝(W11，...,W1i,...,W1n),Wli＝1/N, i＝1,2,...,N (4)
对于迭代次数m＝1,2,···,M；使用具有权值分布Dm的训练数据集学习，得到基本分类器：
GM(x):χ→{-1,+1}(5)
计算Gm(x)在训练数据集上的分类误差率：
Figure BDA0002603026250000101
计算Gm(x)的系数
Figure BDA0002603026250000102
更新训练数据集的权值分布
Dm+1＝(Wm+1,1,···,Wm+1,i,···,Wm+1,N) (8)
Wm+1,i＝Wmi/Zmexp(-amyiGm(xi)), i＝1,2,...,N (9)
Zm是规范化因子
构建基本分类器的线性组合
Figure BDA0002603026250000111
得到最终强分类器
Figure BDA0002603026250000112
所述步骤(2)中，通过头部支架和摄像头的位置确定用户40所处的空间信息，其具体步骤包括如下：
(2.1)将摄像装置固定于移动终端10的显示屏旁边可以清晰拍摄用户40面部的位置，本实施例中将摄像装置固定于移动终端10的显示屏的上方；
(2.2)用头部将用户40的头部固定好，使得用户40的头部与摄像装置的距离固定，并记录下该距离；
(2.3)在移动终端10的显示屏上随机产生若干个点4；
(2.4)用户40的头部保持不动，只转动眼睛去观察电脑显示屏上随机产生的点，记录每个点的坐标和瞳孔的坐标。
所述步骤(3)中，计算用户40感兴趣区域的具体步骤包括如下：
匹配公式为：
S(x,y)/P(x,y)＝S(x,y)/Sw*(Sr-Sl)/P(x,y)-Sl (13)
其中，S(x,y)为显示屏上点的坐标，P(x,y)为瞳孔坐标，Sw为电
脑显示屏宽，Sl与Sr分别为用户40观察显示屏时坐标左、右方向极大值；通过公式(13)和步骤(2.4)中所记录的坐标数据计算出瞳孔所对应的显示屏坐标，即求得S(x,y)的值。在具体求得S(x,y)值时，先通过步骤(2.4)中记录的显示屏坐标S(x,y)与瞳孔P(x,y)坐标，计算出Sl与Sr，得出这两个未知数之后，公式(13)中就只有P(x,y)和S(x,y)两个未知数了，当有一个新的P(x,y)时，就可以计算S(x,y)的值了，即求得所述瞳孔的聚焦区域。
为了更好的根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，在一些实施例中，请参阅图4，S30还包括如下步骤：
S33:若所述摄像头的感测范围内的其中一个瞳孔与其余瞳孔的间距均不在所述阈值范围内，判断所述其中一个瞳孔是否聚焦于所述支付界面；若是，则注视所述支付界面的人数增加1人。
具体地，例如，若所述摄像头的感测范围内有3个瞳孔，阈值范围为55mm-65mm，若其中一个瞳孔与其余两个瞳孔的间距分别为40mm和70mm,则可确定所述瞳孔与其余瞳孔的间距40mm和70mm均不在所述阈值范围内55mm-65mm。进一步判断所述瞳孔是否聚焦于所述支付界面；若是，则注视所述支付界面的人数增加1人。
其中，所述支付界面是指用户在通过指纹输入、密码输入及人脸识别等支付过程中电子设备上出现的所有界面。
具体地，所述判断所述间距两端的瞳孔是否聚焦于所述支付界面可首先利用USB摄像头实时采集动态图像信息作为输入,提取视频中每一顿图像信息,利用基于Harr特征的分类识别学习算法检测定位顿图像信息中人脸和人眼位置,提取人眼感兴趣区域,并在该区域上采用改进的SUSAN角点检测算法定位人眼外眼角坐标,同时通过目标跟踪技术实时跟踪人眼瞳孔运动轨迹,利用瞳孔中屯、位置和人眼角点坐标作为视线特征参数构建视线方向计算模型,确定所述间距两端的瞳孔的聚焦区域，进而根据所述瞳孔的聚焦区域判断所述间距两端的瞳孔是否聚焦于所述支付界面。
在一些实施例中，当用户在进行支付时，为了避免陌生人偷窥，更好的保障用户的财产安全，在根据所述支付环境信息，执行相应的安全操作之后，所述方法还包括：
对所述支付界面的内容进行重排，使得在所述可视区域注视所述支付界面时图像清晰可见，在所述干扰区域注视所述支付界面时出现图像串扰。
其中，所述电子设备通过显示屏显示所述支付界面，所述显示屏外设置有实现指向性光源的膜材，所述膜材将所述感测范围分为可视区域和干扰区域。所述可视区域由所述显示屏向外延伸，所述干扰区域环绕所述可视区域。
具体地，通过更改所述支付界面的像素排布，将进入左眼和右眼的图像指向不同的位置，以使所述支付界面出现图像串扰，从而使得在所述可视区域注视所述支付界面时图像清晰可见，在所述干扰区域注视所述支付界面时图像模糊或不可见。
具体工作原理为：举例说明，若所述显示屏为具有自发光显示单元的显示屏，比如OLED显示屏或者微型发光二极管(Micro-LED)显示屏。
显示屏存在一定的视角，从垂直于显示平面的方向(可视区域)观测电子设备10，亮度较高；但从偏离法线一定角度观测(干扰区域)，所述棱镜膜可将所述支付界面的图像进行重新排布，使干扰区域内的所述图像形成一个暗条以及部分区域会产生重影，导致严重的视场损失和畸变，使所述图像在所述干扰区域内不可见。
其中，所述所述膜材为柱状棱镜膜。所述柱状棱镜膜包括第一透光基材以及多个棱镜结构，这些棱镜结构配置于第一透光基材之远离第一扩散层的表面，且这些棱镜结构接收来自投影机的影像光束并导引影像光束沿第一方向传递。第一透光基材的材质可以是聚对苯二甲酸乙二酯(polyethylene terephthalate,PET)或其它透光材质。各棱镜结构内可设置扩散粒子，以扩散影像光束。本实施例的棱镜结构例如为三角柱，这些棱镜结构沿着第二方向彼此平行排列，且各棱镜结构沿着第三方向延伸，亦即各棱镜结构的长轴平行于第三方向。在本实施例中，第一方向、第二方向及第三方向例如是彼此相互垂直。此外，本申请并不限制棱镜结构的具体形状及排列方式，举例来说，棱镜结构例如是以同心圆状分布的菲涅耳透镜(Fresnel lens)结构。
需要说明的是，在上述各个实施例中，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本申请实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
作为本申请实施例的另一方面，本申请实施例提供一种防止偷窥装置50。请参阅图5，该防止偷窥装置50包括：瞳孔追踪模块51、瞳孔信息提取模块52、人数计算模块53及安全支付模块54。
所述瞳孔追踪模块51用于支付过程中启用摄像头进行瞳孔检测与眼球追踪。
所述瞳孔信息提取模块52用于提取所述摄像头的感测范围内瞳孔数量与瞳孔位置。
所述人数计算模块53用于根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数。
所述安全支付模块54用于若确定出注视所述支付界面的人数为两人或以上进行提示和/或中止所述支付过程。
所述防止偷窥装置50通过首先在支付过程中启用摄像头进行瞳孔检测与眼球追踪，进而提取所述摄像头的感测范围内瞳孔数量与瞳孔位置，然后根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，进而若确定出注视所述支付界面的人数为两人或以上进行提示和/或中止所述支付过程，从而当用户在商场，门店等人员众多，支付环境复杂的环境下，防止陌生人偷窥，提高了支付操作的安全性，使用户的财产安全得到很好的保障。
其中，所述人数计算模块53包括瞳孔间距计算单元及人数判断单元；
所述瞳孔间距计算单元用于若提取出所述摄像头的感测范围内所述瞳孔数量在两个或以上，计算各个瞳孔间的间距。
所述人数判断单元用于若所述间距在阈值范围内，判断所述间距两端的瞳孔是否聚焦所述支付界面；若是，则注视所述支付界面的人数增加1人。所述人数判断单元还用于若所述摄像头的感测范围内的其中一个瞳孔与其余瞳孔的间距均不在所述阈值范围内，判断所述瞳孔是否聚焦于所述支付界面；若是，则注视所述支付界面的人数增加1人。
在一些实施例中，所述防止偷窥装置50还包括图像重排模块，所述图像重排模块用于对所述支付界面的内容进行重排，使得在所述可视区域注视所述支付界面时图像清晰可见，在所述干扰区域注视所述支付界面时出现图像串扰。
具体地，通过更改所述支付界面的像素排布，将进入左眼和右眼的图像指向不同的位置，以使所述支付界面出现图像串扰。
其中，所述电子设备通过显示屏显示所述支付界面，所述显示屏外设置有实现指向性光源的膜材，所述膜材将所述感测范围分为可视区域和干扰区域。其中，所述可视区域由所述显示屏向外延伸，所述干扰区域环绕所述可视区域。其中，所述膜材为柱状棱镜膜。
需要说明的是，上述防止偷窥装置可执行本申请实施例所提供的支付过程中防止偷窥的方法，具备执行方法相应的功能模块和有益效果。未在防止偷窥装置实施例中详尽描述的技术细节，可参见本申请实施例所提供的支付过程中防止偷窥的方法。
图6为本申请实施例提供的电子设备100的结构框图。该电子设备100可以用于实现所述主控芯片中的全部或者部分功能模块的功能。该电子设备100可以包括：棱镜膜、处理器110、存储器120以及通信模块130。
所述棱镜膜包括第一透光基材以及多个棱镜结构，这些棱镜结构配置于第一透光基材之远离第一扩散层的表面，且这些棱镜结构接收来自投影机的影像光束并导引影像光束沿第一方向传递。第一透光基材的材质可以是聚对苯二甲酸乙二酯(polyethyleneterephthalate，PET)或其它透光材质。各棱镜结构内可设置扩散粒子，以扩散影像光束。本实施例的棱镜结构例如为三角柱，这些棱镜结构沿着第二方向彼此平行排列，且各棱镜结构沿着第三方向延伸，亦即各棱镜结构的长轴平行于第三方向。在本实施例中，第一方向、第二方向及第三方向例如是彼此相互垂直。此外，本申请并不限制棱镜结构的具体形状及排列方式，举例来说，棱镜结构例如是以同心圆状分布的菲涅耳透镜(Fresnel lens)结构。所述处理器110、存储器120以及通信模块130之间通过总线的方式，建立任意两者之间的通信连接。
处理器110可以为任何类型，具备一个或者多个处理核心的处理器110。其可以执行单线程或者多线程的操作，用于解析指令以执行获取数据、执行逻辑运算功能以及下发运算处理结果等操作。
存储器120作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本申请实施例中的支付过程中防止偷窥的方法对应的程序指令/模块(例如，附图5所示的瞳孔追踪模块51、瞳孔信息提取模块52、人数计算模块53及安全支付模块54)。处理器110通过运行存储在存储器120中的非暂态软件程序、指令以及模块，从而执行防止偷窥装置50的各种功能应用以及数据处理，即实现上述任一方法实施例中支付过程中防止偷窥的方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据防止偷窥装置50的使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至电子设备100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述存储器120存储有可被所述至少一个处理器110执行的指令；所述至少一个处理器110用于执行所述指令，以实现上述任意方法实施例中支付过程中防止偷窥的方法，例如，执行以上描述的方法步骤10、20、30、40等等，实现图5中的模块51-54的功能。
通信模块130是用于建立通信连接，提供物理信道的功能模块。通信模块130以是任何类型的无线或者有线通信模块130，包括但不限于WiFi模块或者蓝牙模块等。
进一步地，本申请实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器110执行，例如，被图6中的一个处理器110执行，可使得上述一个或多个处理器110执行上述任意方法实施例中支付过程中防止偷窥的方法，例如，执行以上描述的方法步骤10、20、30、40等等，实现图5中的模块51-54的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序产品中的计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非暂态计算机可读取存储介质中，该计算机程序包括程序指令，当所述程序指令被相关设备执行时，可使相关设备执行上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
上述产品可执行本申请实施例所提供的支付过程中防止偷窥的方法，具备执行支付过程中防止偷窥的方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的支付过程中防止偷窥的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种支付过程中防止偷窥的方法，应用于电子设备，其特征在于，所述方法包括：
支付过程中启用摄像头进行瞳孔检测与眼球追踪；
提取所述摄像头的感测范围内瞳孔数量与瞳孔位置；
根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数；
若确定出注视所述支付界面的人数为两人或以上进行提示和/或中止所述支付过程。
2.根据权利要求1所述的方法，其特征在于，所述根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，包括：
若提取出所述摄像头的感测范围内所述瞳孔数量在两个或以上，计算各个瞳孔间的间距；
若所述间距在阈值范围内，判断所述间距两端的瞳孔是否聚焦所述支付界面；若是，则注视所述支付界面的人数增加1人。
3.根据权利要求2所述的方法，其特征在于，所述根据所述感测范围内所述瞳孔数量与所述瞳孔位置确定注视所述电子设备的支付界面的人数，还包括：
若所述摄像头的感测范围内的其中一个瞳孔与其余瞳孔的间距均不在所述阈值范围内，判断所述其中一个瞳孔是否聚焦于所述支付界面；若是，则注视所述支付界面的人数增加1人。
4.根据权利要求1所述的方法，其特征在于，所述电子设备通过显示屏显示所述支付界面，所述显示屏外设置有实现指向性光源的膜材，所述膜材将所述感测范围分为可视区域和干扰区域；所述方法还包括：
对所述支付界面的内容进行重排，使得在所述可视区域注视所述支付界面时图像清晰可见，在所述干扰区域注视所述支付界面时出现图像串扰。
5.根据权利要求4所述的方法，其特征在于，所述在所述干扰区域注视所述支付界面时出现图像串扰，包括：
更改所述支付界面的像素排布，将进入左眼和右眼的图像指向不同的位置，以使所述支付界面出现图像串扰。
6.根据权利要求4所述的方法，其特征在于，所述可视区域由所述显示屏向外延伸，所述干扰区域环绕所述可视区域。
7.根据权利要求4所述的方法，其特征在于，所述膜材为柱状棱镜膜。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述中止所述支付过程，包括：
将所述电子设备上的人脸识别功能、指纹输入功能或密码输入功能作失效处理。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够用于执行如权利要求1-8中任一项所述的支付过程中防止偷窥的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-8任一项所述的方法。
CN201980010281.XA 2019-08-28 2019-08-28 支付过程中防止偷窥的方法及电子设备 Active CN111801700B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/103066 WO2021035575A1 (zh) 2019-08-28 2019-08-28 支付过程中防止偷窥的方法及电子设备

Publications (2)

Publication Number Publication Date
CN111801700A true CN111801700A (zh) 2020-10-20
CN111801700B CN111801700B (zh) 2022-04-19

Family

ID=72805801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010281.XA Active CN111801700B (zh) 2019-08-28 2019-08-28 支付过程中防止偷窥的方法及电子设备

Country Status (2)

Country Link
CN (1) CN111801700B (zh)
WO (1) WO2021035575A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818418A (zh) * 2021-01-20 2021-05-18 深圳市商汤科技有限公司 信息安全管理方法和装置
CN113221699A (zh) * 2021-04-30 2021-08-06 杭州海康威视数字技术股份有限公司 一种提高识别安全性的方法、装置、识别设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139804A (zh) * 2021-05-11 2021-07-20 支付宝(杭州)信息技术有限公司 一种结算设备
CN114564098B (zh) * 2022-02-22 2022-10-25 广州思涵信息科技有限公司 基于计算机视觉识别技术的电脑屏幕显示控制系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992730A (zh) * 2017-11-28 2018-05-04 宇龙计算机通信科技(深圳)有限公司 一种屏幕信息保护方法和装置
CN108416235A (zh) * 2018-03-30 2018-08-17 百度在线网络技术（北京）有限公司 显示界面防偷窥的方法、装置、存储介质及终端设备
CN108595278A (zh) * 2018-04-13 2018-09-28 Oppo广东移动通信有限公司 防偷窥提示方法及相关产品
CN109284640A (zh) * 2018-10-17 2019-01-29 深圳超多维科技有限公司 一种防窥的方法、装置、电子设备及立体显示设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128778A (ja) * 2008-11-27 2010-06-10 Sony Ericsson Mobilecommunications Japan Inc 情報表示装置、情報表示装置の覗き見防止方法及び覗き見防止プログラム
US8973149B2 (en) * 2013-01-14 2015-03-03 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
CN105303091A (zh) * 2015-10-23 2016-02-03 广东小天才科技有限公司 一种基于眼球追踪技术的隐私保护方法和系统
CN107194288A (zh) * 2017-04-25 2017-09-22 上海与德科技有限公司 显示屏的控制方法及终端
CN108470131B (zh) * 2018-03-27 2021-11-02 百度在线网络技术（北京）有限公司 用于生成提示信息的方法和装置
CN109543473A (zh) * 2018-11-13 2019-03-29 Oppo（重庆）智能科技有限公司 终端的防偷窥方法、装置、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992730A (zh) * 2017-11-28 2018-05-04 宇龙计算机通信科技(深圳)有限公司 一种屏幕信息保护方法和装置
CN108416235A (zh) * 2018-03-30 2018-08-17 百度在线网络技术（北京）有限公司 显示界面防偷窥的方法、装置、存储介质及终端设备
CN108595278A (zh) * 2018-04-13 2018-09-28 Oppo广东移动通信有限公司 防偷窥提示方法及相关产品
CN109284640A (zh) * 2018-10-17 2019-01-29 深圳超多维科技有限公司 一种防窥的方法、装置、电子设备及立体显示设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818418A (zh) * 2021-01-20 2021-05-18 深圳市商汤科技有限公司 信息安全管理方法和装置
CN113221699A (zh) * 2021-04-30 2021-08-06 杭州海康威视数字技术股份有限公司 一种提高识别安全性的方法、装置、识别设备
CN113221699B (zh) * 2021-04-30 2023-09-08 杭州海康威视数字技术股份有限公司 一种提高识别安全性的方法、装置、识别设备

Also Published As

Publication number Publication date
CN111801700B (zh) 2022-04-19
WO2021035575A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN111801700B (zh) 支付过程中防止偷窥的方法及电子设备
US11995774B2 (en) Augmented reality experiences using speech and text captions
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US20220375174A1 (en) Beacons for localization and content delivery to wearable devices
CN105659200B (zh) 用于显示图形用户界面的方法、设备和系统
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
KR102098277B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN106104650A (zh) 经由凝视检测进行远程设备控制
US11302077B2 (en) Augmented reality guidance that generates guidance markers
US10254831B2 (en) System and method for detecting a gaze of a viewer
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
US20160232399A1 (en) System and method of detecting a gaze of a viewer
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
KR102134476B1 (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11741679B2 (en) Augmented reality environment enhancement
EP3640840B1 (en) Tracking method and apparatus for smart glasses, smart glasses and storage medium
US11729573B2 (en) Audio enhanced augmented reality
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US20240045494A1 (en) Augmented reality with eyewear triggered iot
CN117274383A (zh) 视点预测方法及装置、电子设备和存储介质
US11719931B2 (en) Augmented reality gaming using virtual eyewear beams
US20220103745A1 (en) Image capture eyewear with context-based sending

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant