CN110375588B - 一种射击打靶智能评分系统及方法 - Google Patents
一种射击打靶智能评分系统及方法 Download PDFInfo
- Publication number
- CN110375588B CN110375588B CN201910505482.9A CN201910505482A CN110375588B CN 110375588 B CN110375588 B CN 110375588B CN 201910505482 A CN201910505482 A CN 201910505482A CN 110375588 B CN110375588 B CN 110375588B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- point
- impact point
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
- F41J5/00—Target indicating systems; Target-hit or score detecting systems
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
- F41J5/00—Target indicating systems; Target-hit or score detecting systems
- F41J5/14—Apparatus for signalling hits or scores to the shooter, e.g. manually operated, or for communication between target and shooter; Apparatus for recording hits or scores
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种射击打靶智能评分系统及方法,打靶视觉采集,图像采集处理,对热能摄像头获取的原始数据处理,生成方便检测和观察的图像;着弹点检测处理,根据生成的图像,识别出着弹点在图像中的位置;着弹点映射处理,将着弹点在图像位置与着弹点在靶上位置作映射处理,最终计算还原得到子弹打到靶上的实际位置;评分处理,根据定义评分成绩。本设计方案把子弹的热能分析作为靶标识别的重要参考因素,利用热能成像的原理,同时采用热能相机原始数据对其进行数据重建,通过相关映射算法,对子弹的着弹点进行准确、高精度定位,最终得到高精确的智能评分效果,大大提升射击训练成效。
Description
技术领域
本发明涉及智能处理装置及技术领域,具体是指一种射击打靶智能评分系统及方法。
背景技术
目前,国内外现有的射击训练系统的报靶方法有实际弹着点的光电定位方法或者纸屏的人工报靶方法。这两种方法一种要在靶的内部或周边安装有光电定位探头,既增加了靶纸自身加工的难度,又使日常的维护比较复杂。现有的靶纸有可多次使用的橡胶材质的靶纸,可多次重复使用,实弹直接穿透,人工报靶根本无法实现。
目前具有自闭性能的橡胶靶纸(因有自闭性能,子弹穿过后仅留下一个很小的弹着点,直径约1mm左右),当训练次数增多时,密集的弹着点采用常规的方法分辨是很困难,对子弹的弹着点很难进行定位,无法实现对射击结果的精准检测及智能输出,影响射击训练。
发明内容
本发明的目的在于提供一种射击打靶智能评分系统及方法,对子弹的着弹点进行准确、高精度定位,最终得到高精确的智能评分效果。
为了达成上述目的,本发明的解决方案是:
一种射击打靶智能评分系统,包括:
图像采集处理模块,对热能摄像头获取的原始数据处理,生成方便检测和观察的图像;
着弹点检测模块,根据生成的图像,识别出着弹点在图像中的位置;
着弹点映射模块,将着弹点在图像位置与着弹点在靶上位置作映射处理,最终计算还原得到子弹打到靶上的实际位置;
评分模块,根据定义评分成绩。
所述图像采集处理模块,使用原始数据进行处理,通过图像映射算法,最终生成方便检测观察且着弹点突出显示的图像;所述图像映射算法是通过设置温度阈值定义映射关系,图像中大于Y℃的温度点就当Y℃处理,相应地低于X℃的温度点当X℃处理,把X℃-Y℃的温度范围分若干个范围映射到0-255数值中,所述Y取值范围100-110,X取值范围10-20。
所述图像采集处理模块,使用原始数据进行处理,根据实际数据动态调节映射关系,对获得的原始数据进行统计或者对原始数据中感兴趣区域进行数据统计,根据统计结果找到区域中温度集中的范围;映射数值设置中将该温度范围对应的图像色阶区域作拓广设置。
所述着弹点检测模块,对生成的图像先采用图像掩码算法对靶之外的图像作屏蔽处理,再进行着弹点检测;着弹点检测完后,对所有的检测结果再进行温度对比过滤排除靶内可能出现的噪点,最终准确地识别出着弹点在图像中的位置。
所述着弹点映射模块的映射处理算法如下:
获取数据,获取靶设计模型正向图像的对应设计图轮廓的信息数据;获取实际拍摄的侧向图像中对应实拍图轮廓的信息数据;
映射关系建立,实拍图轮廓与设计图轮廓间建立X方向缩放映射关系;设计图轮廓与靶设计模型间一一对应映射关系;
靶上实际着弹点计算,基于识别出的着弹点在图像中的位置信息,根据映射计算得到着弹点在靶上的实际位置,并于对应靶设计模型上标记出着弹点。
所述着弹点映射模块的映射处理算法如下:
获取数据,获取靶的三维模型数据;
获取映射表,在靶上做标记点,通过着弹点检测算法识别出此标记点在图像上的位置,记录下靶上一点P(Px,Py,Pz)与图像上一点P(Pu,Pv)的对应关系;对所有位置进行标记完成之后,得到一个P(Px,Py,Pz)P(Pu,Pv)的映射表,把映射表存入系统;
实际着弹点位置计算,基于识别出的着弹点在图像中的位置P(Pu,Pv),通过查找表找到相应的点P(Px,Py,Pz),即得出子弹打到靶上的实际位置为P(Px,Py,Pz);
着弹点显示,根据靶的三维数据使用正交投影矩阵计算出靶在二维图像上的点数据,于对应二维靶设计模型上标记出着弹点。
所述着弹点映射模块的映射处理算法如下:
获取数据,获取靶的三维模型数据,热能摄像头的参数,热能摄像头与靶的相对位置关系,以此得出虚拟拍摄图像;
实际着弹点位置计算,基于识别出的着弹点在图像中的位置信息,以此位置作为着弹点在虚拟图像中的位置,进而计算出相应的靶的三维数据上的该点;
着弹点显示,根据靶的三维数据计算出靶正面的正交投影及着弹点在靶正面的正交投影,于对应二维靶设计模型上标记出着弹点。
所述系统还包括打靶视觉采集模块,通过热能摄像头拍摄打靶图片获取原始数据。
所述打靶视觉采集模块包括热能摄像头单元和对象识别单元;
热能摄像头单元,拍摄打靶图片采集原始数据,并将采集的原始数据发送;
对象识别单元,人脸识别训练人员基本信息,以及判断训练人员的射击姿势。
所述系统还包括终端显示模块,对评分结果进行存储并显示。
一种射击打靶智能评分方法,主要包括以下步骤:
图像采集处理,对热能摄像头获取的原始数据处理,生成方便检测和观察的图像;
着弹点检测处理,根据生成的图像,识别出着弹点在图像中的位置;
着弹点映射处理,将着弹点在图像位置与着弹点在靶上位置作映射处理,最终计算还原得到子弹打到靶上的实际位置;
评分处理,根据定义评分成绩。
所述图像采集处理,使用原始数据进行处理,通过图像映射算法,最终生成方便检测观察且着弹点突出显示的图像;所述图像映射算法是通过设置温度阈值定义映射关系,图像中大于Y℃的温度点就当Y℃处理,相应地低于X℃的温度点当X℃处理,把X℃-Y℃的温度范围分若干个范围映射到0-255数值中,所述Y取值范围100-110,X取值范围10-20。
所述图像采集处理,使用原始数据进行处理,根据实际数据动态调节映射关系,对获得的原始数据进行统计或者对原始数据中感兴趣区域进行数据统计,根据统计结果找到区域中温度集中的范围;映射数值设置中将该温度范围对应的图像色阶区域作拓广设置。
所述着弹点检测处理,对生成的图像先采用图像掩码算法对靶之外的图像作屏蔽处理,再进行着弹点检测;着弹点检测完后,对所有的检测结果再进行温度对比过滤排除靶内可能出现的噪点,最终准确地识别出着弹点在图像中的位置。
所述着弹点映射处理的映射处理算法如下:
获取数据,获取靶设计模型正向图像的对应设计图轮廓的信息数据;获取实际拍摄的侧向图像中对应实拍图轮廓的信息数据;
映射关系建立,实拍图轮廓与设计图轮廓间建立X方向缩放映射关系;设计图轮廓与靶设计模型间一一对应映射关系;
靶上实际着弹点计算,基于识别出的着弹点在图像中的位置信息,根据映射计算得到着弹点在靶上的实际位置,并于对应靶设计模型上标记出着弹点。
所述着弹点映射处理的映射处理算法如下:
获取数据,获取靶的三维模型数据;
获取映射表,在靶上做标记点,通过着弹点检测算法识别出此标记点在图像上的位置,记录下靶上一点P(Px,Py,Pz)与图像上一点P(Pu,Pv)的对应关系;对所有位置进行标记完成之后,得到一个P(Px,Py,Pz)P(Pu,Pv)的映射表,把映射表存入系统;
实际着弹点位置计算,基于识别出的着弹点在图像中的位置P(Pu,Pv),通过查找表找到相应的点P(Px,Py,Pz),即得出子弹打到靶上的实际位置为P(Px,Py,Pz);
着弹点显示,根据靶的三维数据使用正交投影矩阵计算出靶在二维图像上的点数据,于对应二维靶设计模型上标记出着弹点。
所述着弹点映射处理的映射处理算法如下:
获取数据,获取靶的三维模型数据,热能摄像头的参数,热能摄像头与靶的相对位置关系,以此得出虚拟拍摄图像;
实际着弹点位置计算,基于识别出的着弹点在图像中的位置信息,以此位置作为着弹点在虚拟图像中的位置,进而计算出相应的靶的三维数据上的该点;
着弹点显示,根据靶的三维数据计算出靶正面的正交投影及着弹点在靶正面的正交投影,于对应二维靶设计模型上标记出着弹点。
所述评分方法还包括打靶视觉采集步骤,通过热能摄像头拍摄打靶图片采集原始数据,并将采集的原始数据发送。
所述打靶视觉采集步骤,包括:
热能摄像头采集,通过热能摄像头拍摄打靶图片采集原始数据,并将采集的原始数据发送;
对象识别采集,人脸识别训练人员基本信息,以及判断训练人员的射击姿势。
所述智能评分方法还包括终端显示步骤,对评分结果进行存储并显示。
采用上述方案后,本发明一种射击打靶智能评分系统及方法,相对于现有技术的有益效果在于:本设计方案把子弹的热能分析作为靶标识别的重要参考因素,利用热能成像的原理,同时采用热能相机原始数据对其进行数据重建,进而实现高像素,高对比度的画面还原,通过相关映射算法,对子弹的着弹点进行准确、高精度定位,最终得到高精确的智能评分效果,本案特别地适用于具有自闭性能的橡胶靶纸的打靶射击,大大提升射击训练成效。
附图说明
图1本发明射击打靶智能评分系统的原理示意图;
图2本发明射击打靶智能评分方法的原理流程图;
图3是着弹点在拍摄靶图像中的位置显示的示意图;
图4是着弹点在实际靶中的位置显示的示意图;
图5-1是靶的正面图像的示意图;
图5-2是靶正面图像的整体轮廓处理图;
图5-3是拍摄到的靶侧向图像的示意图;
图5-4是拍摄到的靶侧向图像的轮廓处理图;
图5-5是轮廓重合调整示意图;
图5-6是生成对应左轮廓、中线数据的示意图;
图5-7是生成对应右轮廓、中线数据的示意图;
图5-8是X方向缩放计算得示意图;
图5-9是靶图像映射示意图;
图6-1是图像A和图像B示意图;
图6-2是图像A和图像C示意图。
标号说明
打靶视觉采集模块100,图像采集处理模块200,着弹点检测模块300,
着弹点映射模块400,评分模块500。
具体实施方式
下面结合具体实施方式对本案作进一步详细的说明。
本案涉及一种射击打靶智能评分系统,如图1所示,系统主要包括图像采集处理模块200、着弹点检测模块300、着弹点映射模块400及评分模块500。优选的还包括打靶视觉采集模块100,为图像采集处理模块200提供原始数据。
打靶视觉采集模块100,通过热能摄像头拍摄打靶图片获取原始数据,并将采集数据发送给图像采集处理模块200。所述热能摄像头主要为红外摄像头,负责拍摄子弹击中靶位置。优选的,所述打靶视觉采集模块100包括热能摄像头单元和对象识别单元。热能摄像头单元如上面所述,用于拍摄打靶图片采集原始数据,并将采集的原始数据发送。对象识别单元用于人脸识别训练人员基本信息,以及判断训练人员的射击姿势,以此来实现对射击姿势矫正。
因在实弹操作过程中采集图像的热能摄像头无法正向面对靶面,因此具体设计中,热能摄像头进行拍摄可以采用单侧向单相机拍摄(作为本案具体实施例)、双侧向双相机拍摄,以及室内顶部悬吊相机拍摄模式、野外底部仰角拍摄模式。因无法正面拍摄其拍摄图片,故而在与实体的位置坐标对应上会采用新颖的映射软件算法(具体参见后续阐述)进行一一匹配。热能摄像头距离橡胶靶纸有一定的距离(常规距离一般小于2m)和角度(一般在45-70度之间)。每款相机都会选择合适的分辨率和匹配的镜头,但必须保证弹着点的成像大小至少含有2-3个像素单元,这样可以避免数据跳动可能造成假阳性的结果,很好的保证成像位置的判别,不会引起误差。在本案中调用热能摄像头本身的Y16的数据对图像进行在处理,可以很好地呈现出弹着点的位置。
子弹的温度来源于两个方面,一是火药燃烧作用,二是与空气高速磨擦产生热能;子弹出膛的温度取决于两个因素,一个是发射药的爆燃温度,再一个是子弹与枪膛内壁的摩擦。弹头出膛时会有几十度,步枪子弹弹头温度会有100多度。子弹在有效射程内击中物体时的温度会因与物体本身摩擦产生温度,从而在击中物体的局部产生温度升高。某个物体发出的能量通过光学镜头聚焦在探测器上。探测器向传感器电子元件发送信息,进行图像处理。热成像是一种热辐射图像的技术,该技术可从图像中读取温度值。因此,热辐射图像中的各个像素实际上都是一个温度测量点。热能相机内置了复杂的算法来完成温度测量工作,对于这种具有自闭性能的橡胶靶纸而降,子弹穿过后留下的热能是一个很好的判定凭借,而且随着时间变化,温度也发生变化,这对于射击顺序的判定有很好的辅助左右,因此本案采用热能摄像头来精准判定弹着点,是实现精准智能评分的基础。
图像采集处理模块200用于对热能摄像头拍摄获取的原始数据处理,生成方便检测和观察的图像。对本案基于热能图像识别着弹点的技术,图像数据采集是最关键的。而现在的摄像头接口中一般会给两种类型的数据,一种是原始数据,其数据形式有raw数据或转换后的温度数据等。这类数据一般比较大,无法用图像直观显示;另外一种是伪彩图,其数据是转换成一般的图像数据,可以直观地显示出来。由于打靶训练的环境温度是不确定的,伪彩图像呈现的数据中,不能把着弹点和靶很好区分开,这时数据压缩的过程中导致的一些信息丢失,无法适用于复杂环境下靶场打靶的情景。为了避免这一现象,采用原始数据进行处理,通过一系列算法处理,使之能适应于复杂环境下靶场打靶的图像信息获取,使之成为既能不丢失重要信息,又能直观显示出来的图像。
所述图像采集处理模块200其数据处理的具体方法一,使用原始数据进行处理,通过图像映射算法,最终生成方便检测观察且着弹点突出显示的图像。所述图像映射算法是通过设置温度阈值定义映射关系,图像中大于Y℃的温度点就当Y℃处理,相应地低于X℃的温度点当X℃处理,把X℃-Y℃的温度范围分若干个范围映射到0-255数值中,所述Y取值范围100-110,X取值范围10-20。具体实施例中,Y取值105,X取值15。
具体来讲,所述数据处理的具体方法一,将原始数据看成是一个二维数组,数组中每个元素对应图像中一个像素,一个数组元素的数据长度是216,把这个长度数据转换成一般可见的图像数据就需要一定的映射关系。以原始数据转为一般格式灰度图为例:一般灰度图像的像素大小为28。而原始数据对应的每个像素的数据长度是216,要把216数据映射到28中,就要丢弃一些数据。这里就针对本系统的特点设置合理阈值作映射。经过实际测量,子弹打到温度在15℃左右的硅胶靶上时,能产生105℃以上的温度。而一般打靶训练的温度在15℃以上(即靶的温度大概是15℃)。因此,图像中大于105℃的温度点就当105℃处理,相应地低于15℃的温度点当15℃处理。对于人的肉眼而言,在灰度图中,像素值低于一定大小时(如120),肉眼基本会认为是黑色,因此实际处理的时候会把15℃-105℃的温度范围分几个范围映射到0-255数值中。例如:温度在15℃-35℃的像素点映射到灰度图中,其值为0-120之间,而温度在35-65℃的像素点映射到灰度图中的值为120-150之间,如此类推;具体分几个范围及范围阈值可以自行设定调整。
所述图像采集处理模块200其数据处理的具体方法二,使用原始数据进行处理,根据实际数据动态调节映射关系,对获得的原始数据进行统计或者对原始数据中感兴趣区域进行数据统计(类似图像处理中的颜色直方图统计),根据统计结果找到区域中温度集中的范围;映射数值设置中将该温度范围对应的图像色阶区域作拓广设置,即设置广一些,这样处理就能丰富图像中的色彩层次关系,相应的细节保留的更多,对应着弹点会非常突出地显示出来。
所述着弹点检测模块300用于根据图像采集处理模块200生成的图像,识别出着弹点在图像中的位置。具体来说,对生成的图像先采用图像掩码算法对靶之外的图像作屏蔽处理,再进行着弹点检测;着弹点检测完后,对所有的检测结果再进行温度对比过滤排除靶内可能出现的噪点,最终准确地识别出着弹点在图像中的位置。由于子弹在穿透硅胶靶的时候会产生大量的热,把击中的点的硅胶温度加热到105℃以上。利用摄像头拍摄硅胶靶的图像中,着弹点的在图像中为一个异常的亮点。检测中,使用传统的斑点检测算法(或者霍夫圆检测等)可以检测出来,但是同时也会存在一些噪点被误检测为着弹点的现象。这些误检测出来的噪点中,大部分是在靶外面的坏境因素造成的。故在检测之前加上图像掩码算法,对靶之外的图像不予运行斑点检测。具体做法是固定摄像头拍摄位置(相对靶的位置)之后,先对拍摄出图像对靶进行检测,检测完成之后记录下靶在图像中的成像位置,之后在对着弹点进行检测的时候就按检测好的靶的位置对图像进行相应的操作。在检测完着弹点后,对所有的检测结果再进行温度对比过滤,这样就很好地排除了一些靶内可能出现的噪点。检测完成后,对检测结果进行保存即可。
所述着弹点映射模块400,用于将着弹点在图像位置(弹点检测模块300识别得到的)与着弹点在靶上位置作映射处理,最终计算还原得到子弹打到靶上的实际位置。为了使整个系统设备小型化便于运输搬运使用等,本系统热能摄像头与靶间采用超近距(比如500mm)高仰角设置,于此为了利于有效拍摄,热能摄像头的放置位置是靶的侧边,所拍摄出来的硅胶靶的图像是“侧脸照”,而统计成绩和显示结果的时候是用“正面照”(靶的设计三维数据的正面的正交投影)。拍摄的图像经过着弹点检测步骤后,确定着弹点在图像(侧向)中的位置,然后通过映射处理算法计算得到子弹打在靶(正向)上的位置。如图3为热能摄像头直接拍摄的图像,图像上对应的点为着弹点检测算法检测出位置后在原图上做的标记。图4为经过映射处理最终检测到的着弹点在硅胶靶的“正面照”的位置。所述映射处理算法是决定着弹点位置定位精准性的关键所在,下面通过三个映射处理算法来进一步阐述。
实施例一,所述着弹点映射模块400的映射处理算法如下:
S411获取数据,获取靶设计模型正向图像的对应设计图轮廓的信息数据;获取实际拍摄的侧向图像中对应实拍图轮廓的信息数据;
所述靶设计模型正向图像的对应设计图轮廓的信息数据获取,具体为,根据厂商对靶的设计,得到靶的正面图像(如图5-1);之后对该图像进行处理,算出图像的整体轮廓及轮廓图在设计图中的起始位置(如图5-2)。
所述实际拍摄的侧向图像中对应实拍图轮廓的信息数据获取,具体为,获取热相机拍摄到的图像,该图像包含实际靶中的左边轮廓,中线,右边轮廓的标记线(参见图5-3)。由于遮挡关系,靶远离热相机一端的标记线会无法拍摄到,而离热相机近的一端会拍摄到标记线以外的东西(靶的背面,对于靶正面投影是看不到的)。对于左边的标记线,以拍到图像的边缘近似看做是标记线。通过算法获取左、中、右轮廓线数据(参见图5-4),保存好数据。
在热相机拍摄到的图像中画上轮廓图,通过调整轮廓图的大小,起始位置,最大限度使之与热相机拍摄到的图像的轮廓重合(参见图5-5)。位置大小调整好以后,记录下此时轮廓图的缩放比例及在热相机拍摄到的图中的起始位置,并生成左轮廓、中线、右轮廓的数据(参见图5-6、5-7)。生成图5-6、5-7的数据算法,就是计算的轮廓的点数据,每一行保留两个点,最左边的点和最右边的点,再根据两个点算出中间的点。
S412映射关系建立,实拍图轮廓与设计图轮廓间建立X方向缩放映射关系;设计图轮廓与靶设计模型间一一对应映射关系。即,S311获取数据中,得到实拍图轮廓的信息数据(图5-4)和设计图轮廓的信息数据(图5-5),把实拍图轮廓近似看成是设计图轮廓在X方向进行缩放所得。
映射关系计算时,把实拍图轮廓的左轮廓点映射到设计图轮廓中相应Y值大小的左轮廓点,把实拍图轮廓的中轮廓点映射到设计图轮廓中相应Y值大小的中轮廓点,它们之间的点也使用一定的方法进行映射(图5-8)。为了简化计算,在实施的时候采用线性插值方法进行插值映射。对于轮廓的右半部分采用同样的方法映射。
S413靶上实际着弹点计算并显示,基于识别出的着弹点在图像中的位置信息,根据所述映射计算得到着弹点在靶上的实际位置,然后再通过映射到设计图轮廓后的点再次映射到设计模型图像中,并于对应靶设计模型图上标记出着弹点(图5-9)。为了方便观察,标记时尽量使用反差比较大的颜色。
本实施例一着弹点映射模块400映射处理算法,其采用的是一幅图像到另一幅图像的映射关系,实施上可以大大简化操作和计算问题,是一个非常实用的方法之一。具体原理为,有图像A和图像B,两幅图像中存在一相同的物像,且两物像的宽高比例是相同的。故有物像A上任意一点PA(XA,YA)与物像B中对应的点PB(XB,YB)存在关系PA(XA,YA)=PB(XB,YB)*Sab+(Xoffset,Yoffset);如图6-1所示,图像A和图像B两幅图大小不同,背景不同,两幅图中都有同样的物像(笑脸),两幅图中的物像大小不同,物像A对应到物像B的关系遵从:PA(XA,YA)=PB(XB,YB)*Sab+(Xoffset,Yoffset)。
有大小相同的图像A和图像C,两图像中存在一相同物体的投影,但物体在A中的投影和在B中的投影在Y方向上没有差别,在X方向上C图像存在一定的压缩关系。故有物像A上任意一点PA(XA,YA)与物像C中对应的点PC(XC,YC)存在关系 如图6-2所示,图像A和图像C两幅图大小不同,背景不同,两幅图中都有同样的物像(笑脸),两幅图中的物像大小在Y方向上相同,X方向上存在一定比例关系。即物像A的高度等于物像C的高度,物像A的宽度是物像C宽度的Sac倍。因此物像A上的点跟物像C中的点的关系是: 其中 是物像A在图像A中的起始位置。是物像C在图像C中的起始位置。
实施例二,所述着弹点映射模块400的映射处理算法如下:
S421获取数据,获取靶的三维模型数据;
获取靶在三维模型数据,靶在制作时有相应的设计图,可以使用设计的模型数据直接使用(这个数据可以根据靶的生产商直接获取)。
S422获取映射表,在靶上做标记点,通过着弹点检测算法识别出此标记点在图像上的位置,记录下靶上一点P(Px,Py,Pz)与图像上一点P(Pu,Pv)的对应关系;对所有位置进行标记完成之后,得到一个P(Px,Py,Pz)P(Pu,Pv)的映射表,把映射表存入系统;
在靶上做标记点具体操作,可以使用高温物体在靶上做标记,如烧红的铁丝插入靶,靶上就留下一个点。实施中可以根据摄像头分辨率的大小、靶的大小及靶和摄像头(热相机)的相对距离调整标记点的间隔。如目前使用的摄像头只能识别到靶上半径为5mm的大小(一个像素点对应的物体实际大小为半径5mm),故实施的时候可以通过10mm去标记一个点。对所有位置进行标记完成之后,得到一个P(Px,Py,Pz)P(Pu,Pv)的映射表。
S423实际着弹点位置计算,基于识别出的着弹点在图像中的位置P(Pu,Pv),通过查找表找到相应的点P(Px,Py,Pz),即得出子弹打到靶上的实际位置为P(Px,Py,Pz)。
S424着弹点显示,根据靶的三维数据使用正交投影矩阵计算出靶在二维图像上的点数据,于对应二维靶设计模型上标记出着弹点。
最后在系统中显示该着弹点,显示方法跟显示靶像一样,根据靶的三维数据使用正交投影矩阵计算出靶在二维图像上的点数据。可以简单地理解为,以靶的三维数据中最左边点的X值和最上边点的Y值为图像坐标原点P(0,0),图像大小为靶的三维数据中最右边点的X值最下方点的Y值靶上任意点P(Px,Py,Pz)在图像上的投影则为P(Px,Py)。把着弹点在图像中的成像标记成特殊的颜色(如靶的成像使用灰色,着弹点标记为红色),这样方便使用者观察使用。
本实施例二着弹点映射模块400映射处理算法,相当于创建一个实际位置与图像像素点的映射关系表,检测到图像中的着弹点后,根据映射表查找到相对应于图像该点的实际靶上的位置。具体原理为,在靶的位置跟摄像头相对位置固定时,拍摄到的靶在图像上的位置同样是固定的。故有靶的表面上一点P(Px,Py,Pz)在图像上的成像位置P(Pu,Pv)是固定的。反过来,在图像上一点P(Pu,Pv)必能在实际物体中找到一个以上的点Pi(Px,Py,Pz)使之相对应。对应摄像头坐标系而言,Pi集合中(P1,P2,……Pi)中的值是相同的,不同的值是 其中最小值(离摄像头最近的点)决定成像P(Pu,Pv)。其它点即为盲点(摄像头无法拍摄的点)。盲点是本系统中无法识别的点(不作讨论),对于非盲点,系统先做预处理。使用中,根据预处理的数据进行实际处理计算。
实施例三、所述着弹点映射模块400的映射处理算法如下:
S431获取数据,获取靶的三维模型数据,热相机的参数,热相机与靶的相对位置关系,以此得出虚拟拍摄图像;
1.1先获取靶在三维模型数据,靶在制作时有相应的设计数据,可以使用设计的模型数据直接使用(这个数据可以根据靶的生产商直接获取),也可以通过三维重建等方式重建出靶的三维数据;
1.2获取热相机(摄像头)的参数,摄像头在出厂的时候是经过标定的;因此可以直接使用厂商提供的摄像头内参;另外一种获取方式是自己进行标定,从而获取摄像头内参(这种标定已经有现有的技术,摄像头的标定跟普通摄像头标定原理是一样的,一般都是使用张氏标定法或张氏标定法的变种);
1.3获取摄像头跟靶的相对位置关系,以摄像头坐标系为参考,测量出摄像头离靶的距离,靶相对于摄像头的旋转角度,水平方向上平移的距离,垂直方向上平移的距离等。相当于摄像头外参也知道。
1.4用摄像头拍摄一张靶的图像。
1.5根据1.1、1.2和1.3获取的数据,计算出靶在摄像头的成像。根据1.1、1.2和1.3的数据,相当于虚拟出一个场景(靶),一个虚拟摄像头,可以得出一个虚拟的拍摄图像。对比1.4拍摄的图像,理论上虚拟的场景中使用的参数跟实际上的完全一模一样的话,虚拟图像跟实际图像是完全可以重合在一起的,如果对比发现图像不能重合,可以根据理论值对内参、外参距离等参数进行微调,使之两图像能完全重合。此时的参数认为是准确的参数,记录并保存在程序中。
S432实际着弹点位置计算,基于识别出的着弹点在图像中的位置信息,以此位置作为着弹点在虚拟图像中的位置,进而计算出相应的靶的三维数据上的该点。
S433着弹点显示,根据靶的三维数据计算出靶正面的正交投影及着弹点在靶正面的正交投影,于对应二维靶设计模型上标记出(使用特殊颜色标记)着弹点。
本实施例三着弹点映射模块400映射处理算法,直接根据摄像头成像原理进行计算,通过调节虚拟场景、虚拟摄像头的参数,使虚拟计算出来的图像接近于真实的
图像,从而找到图像点与实际靶上的点的关系。具体原理为,摄像头在拍摄物体时,实际上是把物体上位置信息转化为摄像头传感器相应位置上的数据。对于物体上任意一点Pw[Xw Yw Zw]T,转换为摄像头坐标系一点Pc[Xc Yc Zc]T中有其中为物体相对于摄像头坐标系的正交旋转矩阵,T=[tx ty tz]T是平移矩阵。R跟T是摄像头外参。拍不同的物体因为相对位置不一样,外参也不一样。
物体的物理投影转换为图像的像素就是投影平面坐标系的点Pp(Xp,Yp)转换为像素坐标系的一点Ppix(Xpix,Ypix)。设sx表示Xpix方向上单位mm的像素数;sy
表示Ypix方向上单位mm的像素数;x0,y0表示投影平面中心在像素坐标系中的坐标。
根据上述的公式,可以推导出:
即确定,Zc、已知,可以求解出同样地,在摄像头内参、外参确定的情况下,由一幅图像的一个点,可以反算出一系列相对于相机位置确定的模型的点。这些点中,相对于摄像头坐标系而言,Xc、Yc是一样的,Zc的值不同,取Zc值最小的一个点,这个点就是摄像头真正能拍摄到的点。即
上述已有的一些原理和公式中可以得出,在一定条件下,图像上一点Ppix(Xpix,Ypix)跟物体模型数据中一点Pw(Xw,Yw,Zw)(这里指Zw总是取值为离摄像头最近的解)是可以相互计算得出的。由此可知,在实际图像中检测到着弹点的位置可
以计算得知它在靶中的位置,进而可以映射到靶的正面正交投影的位置。
所述评分模块500,根据定义评分成绩。具体来讲,根据射击训练需求定义评分成绩,并统计总成绩,最后保存数据。根据训练要求不同,可以选择多种评分方式。下面给出两种实施方式。
方式一:粗略统计子弹打中靶的次数,该系统中,除了图像处理流程外,还采用触发控制(声音触发单元),如根据开枪时的声音作为一次打枪的触发;如果训练员开枪了,且图像上检测出着弹点,则判定为是打中靶了,成绩统计为该枪打中目标;如果脱靶了,则图像上无法检测出着弹点,则判定为未命中;具体逻辑判断参见下表格所示。最后保存显示的图像做为该训练人的成绩档案。
声音 | Y | N | Y |
图像(IR) | Y | Y | N |
判定结果 | Y(有效) | N(无效) | N(脱靶) |
方式二:动态选择评分标准;与传统环形靶训练统计成绩类似,不过可以根据实际训练要求选择靶心位置;如训练射击心脏位置,则以靶的心脏部位定为10环,然后根据离定义位置的距离远近关系分别定义环数大小,然后计算着弹点位置跟目标位置的距离来确定得分;确定得分后,根据训练人的信息,实时把得分数据传输到服务器,存储到数据库中,使用者可以通过网络随时访问到训练的情况。这种方式的好处是对训练人要求更高,训练与实战更加相似,教练可以随意在电脑上定义一个点作为靶心,而训练人在真实的靶上无法看到明显的标记物;在改变射击目标时,只需要简单地在运行软件上点一个点,无需复杂的操作即可统计出相应的成绩。
本申请射击打靶智能评分系统是一款射击训练评分设备,特别地适用于具有自闭性能的橡胶靶纸(因有自闭性能,子弹穿过后仅留下一个很小的弹着点,当训练次数增多时,密集的弹着点常规的方法分辨很是困难),利用热能成像的原理,并设计相适应的打靶智能判定算法,对子弹的着弹点进行准确、高精度定位。可适用于单人射击实弹弹着点定位、多人射击弹着点定位及识别,射击姿势的识别等,可以进行静态射击也可以进行运动目标的射击。实现对训练训练成绩进行精准有效管理,适合单元或小组进行战术射击训练,实现对多人参训过程中每一位成员的射击成绩进行准确的识别和判定,有效提高射击训练的成果。
进一步,本申请主要强调单相机大仰角近距离的射击报靶评分,具有小型化易操作等性能。同时采用热能相机原始数据对其进行数据重建,进而实现高像素,高对比度的画面还原,适应晴天,阴天等不同的环境状况。尤其是晴天由于阳光直射的原因,人像靶会呈现出局部的温度不均,进而对弹着点判定会有一定的动态调整,本案算法会根据弹着点的位置进行图像的动态调整,进而使报靶的位置更加的精确。
优选的,所述系统还包括终端显示模块,负责对评分结果进行存储并显示。
基于同一发明构思,本案还涉及一种射击打靶智能评分方法(以下作简要阐述,每个步骤的具体技术参见上述系统对应部分的描述),如图2所示,主要包括以下步骤:
S100打靶视觉采集,通过热能摄像头获取原始数据;
S200图像采集处理,对原始数据处理,生成方便检测和观察的图像;
S300着弹点检测处理,根据生成的图像,识别出着弹点在图像中的位置;
S400着弹点映射处理,将着弹点在图像位置与着弹点在靶上位置作映射处理,最终计算还原得到子弹打到靶上的实际位置;
S500评分处理,根据定义评分成绩。
优选的,所述S200图像采集处理步骤,第一实施例,使用原始数据进行处理,通过图像映射算法,最终生成方便检测观察且着弹点突出显示的图像;所述图像映射算法是通过设置温度阈值定义映射关系,图像中大于Y℃的温度点就当Y℃处理,相应地低于X℃的温度点当X℃处理,把X℃-Y℃的温度范围分若干个范围映射到0-255数值中,所述Y取值范围100-110,X取值范围10-20。
优选的,所述S200图像采集处理步骤,第二实施例,使用原始数据进行处理,根据实际数据动态调节映射关系,对获得的原始数据进行统计或者对原始数据中感兴趣区域进行数据统计,根据统计结果找到区域中温度集中的范围;映射数值设置中将该温度范围对应的图像色阶区域作拓广设置。
优选的,所述S300着弹点检测处理步骤,对生成的图像先采用图像掩码算法对靶之外的图像作屏蔽处理,再进行着弹点检测;着弹点检测完后,对所有的检测结果再进行温度对比过滤排除靶内可能出现的噪点,最终准确地识别出着弹点在图像中的位置。
优选的,所述S400着弹点映射处理步骤,其映射处理算法实施例一如下:
S411获取数据,获取靶设计模型正向图像的对应设计图轮廓的信息数据;获取实际拍摄的侧向图像中对应实拍图轮廓的信息数据;
S412映射关系建立,实拍图轮廓与设计图轮廓间建立X方向缩放映射关系;设计图轮廓与靶设计模型间一一对应映射关系;
S413靶上实际着弹点计算,基于识别出的着弹点在图像中的位置信息,根据映射计算得到着弹点在靶上的实际位置,并于对应靶设计模型上标记出着弹点。
优选的,所述S400着弹点映射处理步骤,其映射处理算法实施例二如下:
S421获取数据,获取靶的三维模型数据;
S422获取映射表,在靶上做标记点,通过着弹点检测算法识别出此标记点在图像上的位置,记录下靶上一点P(Px,Py,Pz)与图像上一点P(Pu,Pv)的对应关系;对所有位置进行标记完成之后,得到一个P(Px,Py,Pz)P(Pu,Pv)的映射表,把映射表存入系统;
S423实际着弹点位置计算,基于识别出的着弹点在图像中的位置P(Pu,Pv),通过查找表找到相应的点P(Px,Py,Pz),即得出子弹打到靶上的实际位置为P(Px,Py,Pz)。
S424着弹点显示,根据靶的三维数据使用正交投影矩阵计算出靶在二维图像上的点数据,于对应二维靶设计模型上标记出着弹点。
优选的,所述S400着弹点映射处理步骤,其映射处理算法实施例三如下:
S431获取数据,获取靶的三维模型数据,热能摄像头的参数,热能摄像头与靶的相对位置关系,以此得出虚拟拍摄图像;
S432实际着弹点位置计算,基于识别出的着弹点在图像中的位置信息,以此位置作为着弹点在虚拟图像中的位置,进而计算出相应的靶的三维数据上的该点;
S433着弹点显示,根据靶的三维数据计算出靶正面的正交投影及着弹点在靶正面的正交投影,于对应二维靶设计模型上标记出着弹点。
优选的,所述S100打靶视觉采集步骤,包括:
热能摄像头采集,通过热能摄像头拍摄打靶图片采集原始数据,并将采集的原始数据发送;
对象识别采集,人脸识别训练人员基本信息,以及判断训练人员的射击姿势。
优选的,所述智能评分方法还包括终端显示步骤,对评分结果进行存储并显示。
以上所述仅为本发明的优选实施例,凡跟本发明权利要求范围所做的均等变化和修饰,均应属于本发明权利要求的范围。
Claims (4)
1.一种射击打靶智能评分系统,其特征在于,包括:
图像采集处理模块,对热能摄像头获取的原始数据处理,生成方便检测和观察的图像;使用原始数据进行处理,通过图像映射算法,最终生成方便检测观察且着弹点突出显示的图像;所述图像映射算法是通过设置温度阈值定义映射关系,图像中大于Y℃的温度点就当Y℃处理,相应地低于X℃的温度点当X℃处理,把X℃-Y℃的温度范围分若干个范围映射到0-255数值中,所述Y取值范围100-110,X取值范围10-20;
着弹点检测模块,根据生成的图像,识别出着弹点在图像中的位置;对生成的图像先采用图像掩码算法对靶之外的图像作屏蔽处理,再进行着弹点检测;着弹点检测完后,对所有的检测结果再进行温度对比过滤排除靶内可能出现的噪点,最终准确地识别出着弹点在图像中的位置;
着弹点映射模块,将着弹点在图像位置与着弹点在靶上位置作映射处理,最终计算还原得到子弹打到靶上的实际位置;
评分模块,根据定义评分成绩;
所述着弹点映射模块的映射处理算法如下:
获取数据,获取靶设计模型正向图像的对应设计图轮廓的信息数据;获取实际拍摄的侧向图像中对应实拍图轮廓的信息数据;
映射关系建立,实拍图轮廓与设计图轮廓间建立X方向缩放映射关系;设计图轮廓与靶设计模型间建立一一对应映射关系;
靶上实际着弹点计算,基于识别出的着弹点在图像中的位置信息,根据映射计算得到着弹点在靶上的实际位置,并于对应靶设计模型上标记出着弹点;
或者,所述着弹点映射模块的映射处理算法如下:
获取数据,获取靶的三维模型数据;
获取映射表,在靶上做标记点,通过着弹点检测算法识别出此标记点在图像上的位置,记录下靶上一点P(,,)与图像上一点P(,)的对应关系;对所有位置进行标记完成之后,得到一个P(,,)P(,)的映射表,把映射表存入系统;
着弹点显示,根据靶的三维数据使用正交投影矩阵计算出靶在二维图像上的点数据,于对应二维靶设计模型上标记出着弹点;
或者,所述着弹点映射模块的映射处理算法如下:
获取数据,获取靶的三维模型数据,热能摄像头的参数,热能摄像头与靶的相对位置关系,以此得出虚拟拍摄图像;
实际着弹点位置计算,基于识别出的着弹点在图像中的位置信息,以此位置作为着弹点在虚拟图像中的位置,进而计算出相应的靶的三维数据上的该点;
着弹点显示,根据靶的三维数据计算出靶正面的正交投影及着弹点在靶正面的正交投影,于对应二维靶设计模型上标记出着弹点。
2.如权利要求1所述的一种射击打靶智能评分系统,其特征在于,所述系统还包括打靶视觉采集模块,该打靶视觉采集模块包括热能摄像头单元和对象识别单元;
热能摄像头单元,拍摄打靶图片获取原始数据,并将获取的原始数据发送;
对象识别单元,人脸识别训练人员基本信息,以及判断训练人员的射击姿势。
3.一种射击打靶智能评分方法,其特征在于,主要包括以下步骤:
图像采集处理,对热能摄像头获取的原始数据处理,生成方便检测和观察的图像;
着弹点检测处理,根据生成的图像,识别出着弹点在图像中的位置;
着弹点映射处理,将着弹点在图像位置与着弹点在靶上位置作映射处理,最终计算还原得到子弹打到靶上的实际位置;
评分处理,根据定义评分成绩;
所述图像采集处理步骤,使用原始数据进行处理,通过图像映射算法,最终生成方便检测观察且着弹点突出显示的图像;所述图像映射算法是通过设置温度阈值定义映射关系,图像中大于Y℃的温度点就当Y℃处理,相应地低于X℃的温度点当X℃处理,把X℃-Y℃的温度范围分若干个范围映射到0-255数值中,所述Y取值范围100-110,X取值范围10-20;
所述着弹点检测处理步骤,对生成的图像先采用图像掩码算法对靶之外的图像作屏蔽处理,再进行着弹点检测;着弹点检测完后,对所有的检测结果再进行温度对比过滤排除靶内可能出现的噪点,最终准确地识别出着弹点在图像中的位置;
所述着弹点映射处理的映射处理算法如下:
获取数据,获取靶设计模型正向图像的对应设计图轮廓的信息数据;获取实际拍摄的侧向图像中对应实拍图轮廓的信息数据;
映射关系建立,实拍图轮廓与设计图轮廓间建立X方向缩放映射关系;设计图轮廓与靶设计模型间建立一一对应映射关系;
靶上实际着弹点计算,基于识别出的着弹点在图像中的位置信息,根据映射计算得到着弹点在靶上的实际位置,并于对应靶设计模型上标记出着弹点;
或者,所述着弹点映射处理的映射处理算法如下:
获取数据,获取靶的三维模型数据;
获取映射表,在靶上做标记点,通过着弹点检测算法识别出此标记点在图像上的位置,记录下靶上一点P(,,)与图像上一点P(,)的对应关系;对所有位置进行标记完成之后,得到一个P(,,)P(,)的映射表,把映射表存入系统;
着弹点显示,根据靶的三维数据使用正交投影矩阵计算出靶在二维图像上的点数据,于对应二维靶设计模型上标记出着弹点;
或者,所述着弹点映射处理的映射处理算法如下:
获取数据,获取靶的三维模型数据,热能摄像头的参数,热能摄像头与靶的相对位置关系,以此得出虚拟拍摄图像;
实际着弹点位置计算,基于识别出的着弹点在图像中的位置信息,以此位置作为着弹点在虚拟图像中的位置,进而计算出相应的靶的三维数据上的该点;
着弹点显示,根据靶的三维数据计算出靶正面的正交投影及着弹点在靶正面的正交投影,于对应二维靶设计模型上标记出着弹点。
4.如权利要求3所述的一种射击打靶智能评分方法,其特征在于,所述评分方法还包括打靶视觉采集步骤,该打靶视觉采集步骤包括:
热能摄像头采集,通过热能摄像头拍摄打靶图片以获取原始数据,并将获取的原始数据发送;
对象识别采集,人脸识别训练人员基本信息,以及判断训练人员的射击姿势。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910505482.9A CN110375588B (zh) | 2019-06-12 | 2019-06-12 | 一种射击打靶智能评分系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910505482.9A CN110375588B (zh) | 2019-06-12 | 2019-06-12 | 一种射击打靶智能评分系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110375588A CN110375588A (zh) | 2019-10-25 |
CN110375588B true CN110375588B (zh) | 2021-07-27 |
Family
ID=68250168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910505482.9A Active CN110375588B (zh) | 2019-06-12 | 2019-06-12 | 一种射击打靶智能评分系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110375588B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114383473B (zh) * | 2022-02-08 | 2023-08-25 | 神州凯业(广东)科技有限公司 | 一种热成像报靶系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2264358A (en) * | 1992-02-20 | 1993-08-25 | Sector Limited | System for detecting position of impact of a projectile |
CN1702423A (zh) * | 2005-05-23 | 2005-11-30 | 中国人民解放军总参谋部第六十研究所 | 热成像型互动射击训练系统 |
CN207570413U (zh) * | 2017-12-19 | 2018-07-03 | 北京君盾装备技术有限公司 | 一种探测雷达与热红外复合精确定位的报靶装置 |
CN109827474A (zh) * | 2019-03-04 | 2019-05-31 | 中国人民武装警察部队工程大学 | 一种基于高清摄像头的训练场多靶位自动报靶方法及系统 |
-
2019
- 2019-06-12 CN CN201910505482.9A patent/CN110375588B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2264358A (en) * | 1992-02-20 | 1993-08-25 | Sector Limited | System for detecting position of impact of a projectile |
CN1702423A (zh) * | 2005-05-23 | 2005-11-30 | 中国人民解放军总参谋部第六十研究所 | 热成像型互动射击训练系统 |
CN207570413U (zh) * | 2017-12-19 | 2018-07-03 | 北京君盾装备技术有限公司 | 一种探测雷达与热红外复合精确定位的报靶装置 |
CN109827474A (zh) * | 2019-03-04 | 2019-05-31 | 中国人民武装警察部队工程大学 | 一种基于高清摄像头的训练场多靶位自动报靶方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110375588A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110360877B (zh) | 一种射击训练智能辅助系统及方法 | |
EP3446065B1 (en) | Flight parameter measuring apparatus and flight parameter measuring method | |
DK1509781T3 (en) | The flight parameter measurement system | |
CN106168853B (zh) | 一种自由空间头戴式视线跟踪系统 | |
CN106408527B (zh) | 一种基于视频分析的自动报靶方法 | |
CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
CN104809424B (zh) | 一种基于虹膜特征实现视线追踪的方法 | |
US20040032970A1 (en) | Flight parameter measurement system | |
JP5932059B2 (ja) | ゴルフクラブヘッド測定装置 | |
US20060008116A1 (en) | Flight parameter measurement system | |
CN109919975B (zh) | 一种基于坐标标定的广域监控运动目标关联方法 | |
Ellmauthaler et al. | A novel iterative calibration approach for thermal infrared cameras | |
CN109839035B (zh) | 一种报靶系统的精确定位方法及报靶系统 | |
CN109341427A (zh) | 一种激光枪靶系统 | |
TW201643819A (zh) | 移動球體的感測裝置及感測方法 | |
CN110087049A (zh) | 自动调焦系统、方法以及投影仪 | |
CN113240726A (zh) | 一种内窥镜下光学目标尺寸实时测量方法 | |
CN115388706B (zh) | 一种具有自动校准功能的激光靶机 | |
CN110375588B (zh) | 一种射击打靶智能评分系统及方法 | |
CN110298864B (zh) | 一种高尔夫推杆设备的视觉感测方法及装置 | |
JP2011069797A (ja) | 変位量測定装置及び変位量測定方法 | |
CN117474996A (zh) | 一种基于图像识别的射击打靶识别方法及系统 | |
CN112950511A (zh) | 一种检测850nm附近不可见激光光斑位置的方法 | |
JP3711053B2 (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
KR102050970B1 (ko) | 사진을 이용한 그린정보 제공방법 및 그 단말 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |