CN107734223A - 基于图像识别的定位装置 - Google Patents

基于图像识别的定位装置 Download PDF

Info

Publication number
CN107734223A
CN107734223A CN201710988756.5A CN201710988756A CN107734223A CN 107734223 A CN107734223 A CN 107734223A CN 201710988756 A CN201710988756 A CN 201710988756A CN 107734223 A CN107734223 A CN 107734223A
Authority
CN
China
Prior art keywords
image
equipment
definition
distortion
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710988756.5A
Other languages
English (en)
Other versions
CN107734223B (zh
Inventor
孙景芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huang Zhenwu
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710988756.5A priority Critical patent/CN107734223B/zh
Publication of CN107734223A publication Critical patent/CN107734223A/zh
Application granted granted Critical
Publication of CN107734223B publication Critical patent/CN107734223B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及基于图像识别的定位装置，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。

Description

基于图像识别的定位装置
本发明是申请号为201710076717.8、申请日为2017年2月13日、发明名称为“全景视频直播服务装置”的专利的分案申请。
技术领域
本发明涉及视频领域，尤其涉及一种基于图像识别的定位装置。
背景技术
当前，即时回放系统的使用费用昂贵，其研发成本虽高，但经济回馈规模可观。以网球赛事为例，一块网球场地布置即时回放系统的各项费用共计16万美元，利润非常丰厚。即时回放系统的核心难点在于如何进行适当的软硬件搭配，以及如何对球体目标进行精确跟踪。如果克服上述难题，将很容易在即时回放系统的市场上占据一席之地。
当前，即时回放系统精度仍需进一步提高，以适应更多球类运动，其中，关键在于如何提高各种图像处理技术的精度和自适应程度，从而在保持设备规模、维持现有成本的同时提升即时回放系统的性能，另外，即时回放系统的功能仍比较单一，控制水平仍比较低下，无法满足现场运动员和裁判员的各种需求，更谈不上去维持比赛现场环境和秩序了。
发明内容
为了解决上述问题，本发提供一种基于图像识别的定位装置，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。
采用本发明的基于图像识别的定位装置，针对现有技术即时回放系统精度低且功能不够完善的技术问题，通过集成各种高精度的图像预处理设备提高图像处理的性能，通过集成准确的回放启动控制设备，提高即时回放系统的自动化水准。
具体实施方式
下面将对本发明的实施方案进行详细说明。
为了克服上述不足，本发明提供一种基于图像识别的定位装置，引入高自适应能力的畸变消除设备和高精度的图像滤波设备提高预处理图像的精度，保证后续球类目标识别和运动轨迹判断的准确性，引入回放启动的自动化控制机制，方便运动员和裁判员的操作。
因此，本发明提供一种基于图像识别的定位装置，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。
在一方面，显示设备包括液晶显示器。
在二方面，闪光灯位置提取设备包括鱼眼摄像头和闪光灯检测设备。
在三方面，所述装置包括：
鱼眼摄像头，用于对乒乓球场地的观众席进行全景拍摄以获得全景观众席图像；
闪光灯检测设备，与鱼眼摄像头连接，用于基于预设闪光灯亮度范围在全景观众席图像中检测是否存在闪光动作，如果存在闪光动作，则确定闪光动作在全景观众席图像中的相对位置，并发出存在闪光拍照信号；其中，预设闪光灯亮度范围由预设闪光灯上限亮度和预设闪光灯下限亮度组成；
闪光灯定位设备，与闪光灯检测设备连接，用于基于预设座位编号图案和闪光动作在全景观众席图像中的相对位置确定距离闪光动作最近的座位编号；
高清摄像机阵列，由多个高清摄像机组成，多个高清摄像机分别设置在乒乓球场地的不同位置，每一个高清摄像机包括亮度补偿设备、CMOS传感设备、直方图均衡设备、边缘增强设备、小波滤波设备、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；
摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CMOS传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于乒乓球场地的相对位置以及高清摄像机的拍摄方向；
坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；
三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出乒乓球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出；
环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对乒乓球场地进行环境重建，以获得并输出乒乓球场地的虚拟场景；
场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将乒乓球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；
现场回放设备，与场景融合设备连接以接收并回放融合图像帧，现场回放设备包括液晶显示器、显示驱动器和显示缓存；
动作识别设备，位于现场回放设备的正下方，对现场回放设备的正下方场景进行图像采集以获得下方图像，基于下方图像检测乒乓球场地上的运动员的姿态以确定运动员是否发出挑战动作，在确定运动员发出挑战动作时，输出启动挑战信号，在确定运动员未发出挑战动作时，输出未启动挑战信号；
有球轨迹检测设备，位于现场回放设备中，用于与场景融合设备连接以接收融合图像帧，对融合图像帧进行逐个检测，将存在运动球体的融合图像帧按照时间段进行组合以获得多个有球视频，每一个有球视频对应一个有球时间段；
其中，预设座位编号图案的获得过程如下：对无观众状态下乒乓球场地的观众席进行预先拍摄以获得无观众图像，再对无观众图像中观众席上的每一个座位完成编号以获得预设座位编号图案。
在四方面，其中，显示驱动器还分别与闪光灯检测设备和闪光灯定位设备连接，用于在接收到闪光拍照信号时，将距离闪光动作最近的座位编号推送到显示缓存中以便于液晶显示器进行相应显示，还将禁止闪光灯拍照警示信息推送到显示缓存中以便于液晶显示器进行相应显示；
其中，在每一个高清摄像机中，亮度补偿设备与CMOS传感设备连接，用于接收CMOS传感设备采集的高清图像，基于高清图像中各个像素的灰度值确定高清图像的平均亮度，并将高清图像的平均亮度与预设亮度进行比较，当高清图像的平均亮度大于等于预设亮度时，对高清图像进行亮度降低调整以获得亮度调整图像，当高清图像的平均亮度小于预设亮度，对高清图像进行亮度提升调整以获得亮度调整图像；CMOS传感设备用于对乒乓球场地进行高清数据采集以输出高清图像；直方图均衡设备与亮度补偿设备连接，用于接收亮度调整图像，并对亮度调整图像进行直方图均衡处理以获得均衡图像；边缘增强设备与直方图均衡设备连接，用于接收均衡图像，并对均衡图像进行边缘增强处理以获得增强图像；小波滤波设备与边缘增强设备连接，用于接收增强图像，并对增强图像进行小波滤波处理以获得滤波图像；
其中，在每一个高清摄像机中，畸变类型检测设备与小波滤波设备连接，用于接收滤波图像，确定滤波图像的外形尺寸，基于滤波图像的外形尺寸与基准参考图像的外形尺寸确定滤波图像的畸变类型，畸变类型包括扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变，基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变的高清图像；畸变处理设备与畸变类型检测设备连接，当接收到的畸变类型为扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时，基于不同的畸变类型对滤波图像进行不同的预定几何变换处理，以输出几何校准图像。
在五方面，其中，在每一个高清摄像机中，参考点选择设备与畸变类型检测设备连接，用于在接收到的畸变类型为投影变换畸变时，选择乒乓球场地中的8个位置作为校准参考点，8个位置分别为乒乓球场地中乒乓球桌上的8个基准点；畸变坐标映射设备分别与参考点选择设备和畸变类型检测设备连接，用于确定滤波图像中8个位置的坐标，确定基准参考图像中8个位置的坐标，基于滤波图像中8个位置的坐标以及基准参考图像中8个位置的坐标确定几何坐标变换矩阵，并基于几何坐标变换矩阵对滤波图像的所有像素点进行几何坐标变换以获得对应的多个新像素点，滤波图像的所有像素点的水平坐标和垂直坐标都为整数，而新像素点的水平坐标或垂直坐标不一定为整数；
其中，在每一个高清摄像机中，畸变灰度映射设备与畸变坐标映射设备连接，用于接收多个新像素点，当新像素点的水平坐标和垂直坐标都为整数时，新像素点的灰度值为滤波图像中相同坐标位置的像素点的灰度值，当新像素点的水平坐标或垂直坐标为非整数时，基于滤波图像中相同坐标位置周围的多个像素点的灰度值计算新像素点的灰度值，基于多个新像素点的灰度值输出几何校准图像。
在六方面，其中，在每一个高清摄像机中，目标识别设备分别与畸变处理设备和畸变灰度映射设备连接，用于接收几何校准图像，并基于预设基准乒乓球图案在几何校准图像中识别出乒乓球目标；目标坐标提取设备与目标识别设备连接，用于基于识别出的乒乓球目标在整个几何校准图像中的相对位置，确定乒乓球目标的平面坐标参数；
其中，显示驱动器分别与动作识别设备、有球轨迹检测设备和显示缓存连接，用于在接收到启动挑战信号时，将最近的有球视频推送到显示缓存以便于液晶显示器进行回放显示。
在七方面，高清摄像机阵列中，多个高清摄像机的数量为偶数个。
在八方面，高清摄像机阵列中，多个高清摄像机的数量为8个。
在九方面，将高清摄像机阵列中的多个高清摄像机均匀设置在乒乓球场地的不同位置。
在十方面，将高清摄像机阵列中的多个高清摄像机非均匀式地设置在乒乓球场地的不同位置。
另外，小波(Wavelet)这一术语，顾名思义，“小波”就是小的波形。所谓“小”是指他具有衰减性；而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。与Fourier变换相比，小波变换是时间(空间)频率的局部化分析，他通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了Fourier变换的困难问题，成为继Fourier变换以来在科学方法上的重大突破。有人把小波变换称为“数学显微镜”。
小波分析的应用是与小波分析的理论研究紧密地结合在一起地。他已经在科技信息产业领域取得了令人瞩目的成就。电子信息技术是六大高新技术中重要的一个领域，他的重要方面是图像和信号处理。现今，信号处理已经成为当代科学技术工作的重要部分，信号处理的目的就是：准确的分析、诊断、编码压缩和量化、快速传递或存储、精确地重构(或恢复)。从数学地角度来看，信号与图像处理可以统一看作是信号处理(图像可以看作是二维信号)，在小波分析地许多分析的许多应用中，都可以归结为信号处理问题。对于其性质随时间是稳定不变的信号，处理的理想工具仍然是傅立叶分析。但是在实际应用中的绝大多数信号是非稳定的，而特别适用于非稳定信号的工具就是小波分析。
采用本发明的基于图像识别的定位装置，针对现有技术即时回放系统精度低且功能不够完善的技术问题，通过集成各种高精度的图像预处理设备提高图像处理的性能，通过集成准确的回放启动控制设备，提高即时回放系统的自动化水准。
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.基于图像识别的定位装置，其特征在于，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。
2.根据权利要求1所述的基于图像识别的定位装置，其特征在于，显示设备包括液晶显示器。
3.根据权利要求2所述的基于图像识别的定位装置，其特征在于，闪光灯位置提取设备包括鱼眼摄像头和闪光灯检测设备。
4.根据权利要求3所述的基于图像识别的定位装置，其特征在于，所述装置包括：
鱼眼摄像头，用于对乒乓球场地的观众席进行全景拍摄以获得全景观众席图像；
闪光灯检测设备，与鱼眼摄像头连接，用于基于预设闪光灯亮度范围在全景观众席图像中检测是否存在闪光动作，如果存在闪光动作，则确定闪光动作在全景观众席图像中的相对位置，并发出存在闪光拍照信号；其中，预设闪光灯亮度范围由预设闪光灯上限亮度和预设闪光灯下限亮度组成；
闪光灯定位设备，与闪光灯检测设备连接，用于基于预设座位编号图案和闪光动作在全景观众席图像中的相对位置确定距离闪光动作最近的座位编号；
高清摄像机阵列，由多个高清摄像机组成，多个高清摄像机分别设置在乒乓球场地的不同位置，每一个高清摄像机包括亮度补偿设备、CMOS传感设备、直方图均衡设备、边缘增强设备、小波滤波设备、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；
摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CMOS传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于乒乓球场地的相对位置以及高清摄像机的拍摄方向；
坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；
三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出乒乓球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出；
环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对乒乓球场地进行环境重建，以获得并输出乒乓球场地的虚拟场景；
场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将乒乓球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；
现场回放设备，与场景融合设备连接以接收并回放融合图像帧，现场回放设备包括液晶显示器、显示驱动器和显示缓存；
动作识别设备，位于现场回放设备的正下方，对现场回放设备的正下方场景进行图像采集以获得下方图像，基于下方图像检测乒乓球场地上的运动员的姿态以确定运动员是否发出挑战动作，在确定运动员发出挑战动作时，输出启动挑战信号，在确定运动员未发出挑战动作时，输出未启动挑战信号；
有球轨迹检测设备，位于现场回放设备中，用于与场景融合设备连接以接收融合图像帧，对融合图像帧进行逐个检测，将存在运动球体的融合图像帧按照时间段进行组合以获得多个有球视频，每一个有球视频对应一个有球时间段；
其中，预设座位编号图案的获得过程如下：对无观众状态下乒乓球场地的观众席进行预先拍摄以获得无观众图像，再对无观众图像中观众席上的每一个座位完成编号以获得预设座位编号图案；
其中，显示驱动器还分别与闪光灯检测设备和闪光灯定位设备连接，用于在接收到闪光拍照信号时，将距离闪光动作最近的座位编号推送到显示缓存中以便于液晶显示器进行相应显示，还将禁止闪光灯拍照警示信息推送到显示缓存中以便于液晶显示器进行相应显示；
其中，在每一个高清摄像机中，亮度补偿设备与CMOS传感设备连接，用于接收CMOS传感设备采集的高清图像，基于高清图像中各个像素的灰度值确定高清图像的平均亮度，并将高清图像的平均亮度与预设亮度进行比较，当高清图像的平均亮度大于等于预设亮度时，对高清图像进行亮度降低调整以获得亮度调整图像，当高清图像的平均亮度小于预设亮度，对高清图像进行亮度提升调整以获得亮度调整图像；CMOS传感设备用于对乒乓球场地进行高清数据采集以输出高清图像；直方图均衡设备与亮度补偿设备连接，用于接收亮度调整图像，并对亮度调整图像进行直方图均衡处理以获得均衡图像；边缘增强设备与直方图均衡设备连接，用于接收均衡图像，并对均衡图像进行边缘增强处理以获得增强图像；小波滤波设备与边缘增强设备连接，用于接收增强图像，并对增强图像进行小波滤波处理以获得滤波图像；
其中，在每一个高清摄像机中，畸变类型检测设备与小波滤波设备连接，用于接收滤波图像，确定滤波图像的外形尺寸，基于滤波图像的外形尺寸与基准参考图像的外形尺寸确定滤波图像的畸变类型，畸变类型包括扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变，基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变的高清图像；畸变处理设备与畸变类型检测设备连接，当接收到的畸变类型为扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时，基于不同的畸变类型对滤波图像进行不同的预定几何变换处理，以输出几何校准图像。
5.根据权利要求4所述的基于图像识别的定位装置，其特征在于，
其中，在每一个高清摄像机中，参考点选择设备与畸变类型检测设备连接，用于在接收到的畸变类型为投影变换畸变时，选择乒乓球场地中的8个位置作为校准参考点，8个位置分别为乒乓球场地中乒乓球桌上的8个基准点；畸变坐标映射设备分别与参考点选择设备和畸变类型检测设备连接，用于确定滤波图像中8个位置的坐标，确定基准参考图像中8个位置的坐标，基于滤波图像中8个位置的坐标以及基准参考图像中8个位置的坐标确定几何坐标变换矩阵，并基于几何坐标变换矩阵对滤波图像的所有像素点进行几何坐标变换以获得对应的多个新像素点，滤波图像的所有像素点的水平坐标和垂直坐标都为整数，而新像素点的水平坐标或垂直坐标不一定为整数；
其中，在每一个高清摄像机中，畸变灰度映射设备与畸变坐标映射设备连接，用于接收多个新像素点，当新像素点的水平坐标和垂直坐标都为整数时，新像素点的灰度值为滤波图像中相同坐标位置的像素点的灰度值，当新像素点的水平坐标或垂直坐标为非整数时，基于滤波图像中相同坐标位置周围的多个像素点的灰度值计算新像素点的灰度值，基于多个新像素点的灰度值输出几何校准图像。
6.根据权利要求5所述的基于图像识别的定位装置，其特征在于，
其中，在每一个高清摄像机中，目标识别设备分别与畸变处理设备和畸变灰度映射设备连接，用于接收几何校准图像，并基于预设基准乒乓球图案在几何校准图像中识别出乒乓球目标；目标坐标提取设备与目标识别设备连接，用于基于识别出的乒乓球目标在整个几何校准图像中的相对位置，确定乒乓球目标的平面坐标参数；
其中，显示驱动器分别与动作识别设备、有球轨迹检测设备和显示缓存连接，用于在接收到启动挑战信号时，将最近的有球视频推送到显示缓存以便于液晶显示器进行回放显示。
7.根据权利要求6所述的基于图像识别的定位装置，其特征在于，
高清摄像机阵列中，多个高清摄像机的数量为偶数个。
8.根据权利要求7所述的基于图像识别的定位装置，其特征在于，
高清摄像机阵列中，多个高清摄像机的数量为8个。
9.根据权利要求8所述的基于图像识别的定位装置，其特征在于，
将高清摄像机阵列中的多个高清摄像机均匀设置在乒乓球场地的不同位置。
10.根据权利要求9所述的基于图像识别的定位装置，其特征在于，
将高清摄像机阵列中的多个高清摄像机非均匀式地设置在乒乓球场地的不同位置。
CN201710988756.5A 2017-02-13 2017-02-13 基于图像识别的定位装置 Expired - Fee Related CN107734223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710988756.5A CN107734223B (zh) 2017-02-13 2017-02-13 基于图像识别的定位装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710076717.8A CN107094232B (zh) 2017-02-13 2017-02-13 基于图像识别的定位装置
CN201710988756.5A CN107734223B (zh) 2017-02-13 2017-02-13 基于图像识别的定位装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710076717.8A Division CN107094232B (zh) 2017-02-13 2017-02-13 基于图像识别的定位装置

Publications (2)

Publication Number Publication Date
CN107734223A true CN107734223A (zh) 2018-02-23
CN107734223B CN107734223B (zh) 2018-06-12

Family

ID=59646157

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710988756.5A Expired - Fee Related CN107734223B (zh) 2017-02-13 2017-02-13 基于图像识别的定位装置
CN201710076717.8A Active CN107094232B (zh) 2017-02-13 2017-02-13 基于图像识别的定位装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710076717.8A Active CN107094232B (zh) 2017-02-13 2017-02-13 基于图像识别的定位装置

Country Status (1)

Country Link
CN (2) CN107734223B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876849A (zh) * 2018-04-24 2018-11-23 哈尔滨工程大学 基于辅助标识的深度学习目标识别及定位方法
CN109238238A (zh) * 2018-09-05 2019-01-18 浙江大丰实业股份有限公司 舞台表演者自动定位系统
CN109917908A (zh) * 2019-02-01 2019-06-21 谷东科技有限公司 一种ar眼镜的图像获取方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1479252A (zh) * 2003-07-22 2004-03-03 中国科学院计算技术研究所 三维人体运动仿真结果与录像同屏对比方法
CN101067866A (zh) * 2007-06-01 2007-11-07 哈尔滨工程大学 基于鹰眼技术的网球赛仿真装置及其仿真处理方法
CN101458434A (zh) * 2009-01-08 2009-06-17 浙江大学 精确测量和预测乒乓球轨迹系统与系统运行方法
CN101833232A (zh) * 2010-04-20 2010-09-15 浙江大学 乒乓球比赛视觉支持和比赛分析系统与系统运行方法
EP2620917A1 (en) * 2012-01-30 2013-07-31 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
CN104537800A (zh) * 2015-01-19 2015-04-22 无锡桑尼安科技有限公司 用于动物园舞台的闪光灯警告系统
CN204734936U (zh) * 2015-06-10 2015-11-04 中国计量学院 一种网球击球点记录仪
CN105169644A (zh) * 2014-06-23 2015-12-23 南京专创知识产权服务有限公司 夜晚比赛型发光足球及足球门框

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051887A (zh) * 2013-01-23 2013-04-17 河海大学常州校区 仿鹰眼智能视觉传感节点及其工作方法
CN104888442B (zh) * 2015-06-10 2017-10-03 中国计量学院 网球击球点记录仪
CN105516688B (zh) * 2016-01-20 2017-04-26 北京航空航天大学 一种可分辨率变换的仿鹰眼视觉成像装置及其成像方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1479252A (zh) * 2003-07-22 2004-03-03 中国科学院计算技术研究所 三维人体运动仿真结果与录像同屏对比方法
CN101067866A (zh) * 2007-06-01 2007-11-07 哈尔滨工程大学 基于鹰眼技术的网球赛仿真装置及其仿真处理方法
CN101458434A (zh) * 2009-01-08 2009-06-17 浙江大学 精确测量和预测乒乓球轨迹系统与系统运行方法
CN101833232A (zh) * 2010-04-20 2010-09-15 浙江大学 乒乓球比赛视觉支持和比赛分析系统与系统运行方法
EP2620917A1 (en) * 2012-01-30 2013-07-31 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
US20130194256A1 (en) * 2012-01-30 2013-08-01 Harman Becker Automotive Systems Gmbh Viewing system and method for displaying an environment of a vehicle
CN105169644A (zh) * 2014-06-23 2015-12-23 南京专创知识产权服务有限公司 夜晚比赛型发光足球及足球门框
CN104537800A (zh) * 2015-01-19 2015-04-22 无锡桑尼安科技有限公司 用于动物园舞台的闪光灯警告系统
CN204734936U (zh) * 2015-06-10 2015-11-04 中国计量学院 一种网球击球点记录仪

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876849A (zh) * 2018-04-24 2018-11-23 哈尔滨工程大学 基于辅助标识的深度学习目标识别及定位方法
CN108876849B (zh) * 2018-04-24 2021-11-23 哈尔滨工程大学 基于辅助标识的深度学习目标识别及定位方法
CN109238238A (zh) * 2018-09-05 2019-01-18 浙江大丰实业股份有限公司 舞台表演者自动定位系统
CN109917908A (zh) * 2019-02-01 2019-06-21 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
CN109917908B (zh) * 2019-02-01 2023-03-24 谷东科技有限公司 一种ar眼镜的图像获取方法及系统

Also Published As

Publication number Publication date
CN107094232B (zh) 2018-02-02
CN107734223B (zh) 2018-06-12
CN107094232A (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
KR101518857B1 (ko) 고정된 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적의 투사 이미지를 획득하기 위한 방법 및 시스템
US20190200003A1 (en) System and method for 3d space-dimension based image processing
CN103150715B (zh) 图像拼接处理方法及装置
Theobalt et al. Pitching a baseball: tracking high-speed motion with multi-exposure images
CN107094232B (zh) 基于图像识别的定位装置
WO2019140945A1 (zh) 一种应用于飞行模拟器的混合现实方法
EP2742485A1 (en) Ball trajectory and bounce position detection
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
CN106875341B (zh) 畸变图像校正方法及其定位方法
CN108596942A (zh) 一种利用单摄像机精准判断球类落点的系统和方法
CN104584032A (zh) 混合式精确跟踪
CN107330942A (zh) 一种标定模板、标定方法、标定操作方法及标定系统
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
JP2018005913A (ja) ボールの画像の明るさを補正するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
TWM610371U (zh) 動作識別系統
CN106530226A (zh) 获取高分辨率高清晰工业图像的实现方法
CN107560637A (zh) 头戴显示设备校准结果验证方法及头戴显示设备
CN117795553A (zh) 信息采集系统及其标定方法、装置及计算机可读存储介质
CN110910489B (zh) 一种基于单目视觉的智能球场运动信息采集系统与方法
CN107087219B (zh) 人体姿势识别装置
CN106713960B (zh) 一种基于人脸识别的智能视频监控系统
CN107680619A (zh) 基于指纹识别和动作识别的支付装置
CN107094264A (zh) 智能网络播放器
CN113506210A (zh) 一种篮球比赛自动生成运动员点位图的方法和视频拍摄装置
CN107770586A (zh) 云计算机装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Huang Zhenwu

Inventor before: Sun Jingzhi

TA01 Transfer of patent application right

Effective date of registration: 20180516

Address after: 210000 4, Zhongshan North Road 99, Gulou District, Nanjing, Jiangsu.

Applicant after: NANJING RUICHI DINGXIN TECHNOLOGY CO.,LTD.

Address before: 201203 Gauss Road, Zhangjiang Development Zone, Pudong New Area, Shanghai 568

Applicant before: Sun Jingzhi

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211130

Address after: 210000 Room 501, unit 3, No. 5, Dinghuaimen, Gulou District, Nanjing, Jiangsu Province

Patentee after: Huang Zhenwu

Address before: 210000 4, Zhongshan North Road 99, Gulou District, Nanjing, Jiangsu.

Patentee before: NANJING RUICHI DINGXIN TECHNOLOGY CO.,LTD.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180612