CN109001721A - 三维轨迹侦测系统 - Google Patents

三维轨迹侦测系统 Download PDF

Info

Publication number
CN109001721A
CN109001721A CN201711191673.XA CN201711191673A CN109001721A CN 109001721 A CN109001721 A CN 109001721A CN 201711191673 A CN201711191673 A CN 201711191673A CN 109001721 A CN109001721 A CN 109001721A
Authority
CN
China
Prior art keywords
mobile object
signal
image
displacement amount
pixel displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711191673.XA
Other languages
English (en)
Other versions
CN109001721B (zh
Inventor
洪子圣
叶家宏
王复康
唐牧群
陈建纶
林旻慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Publication of CN109001721A publication Critical patent/CN109001721A/zh
Application granted granted Critical
Publication of CN109001721B publication Critical patent/CN109001721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明涉及一种三维轨迹侦测系统包含影像捕获设备、雷达装置及计算模块，该影像捕获设备用以捕获动态影像并根据该动态影像计算移动物体影像的X方向像素位移量及Y方向像素位移量，同时该雷达装置发射无线信号至移动物体，并由该移动物体接收反射信号，且该雷达装置根据该反射信号的多普勒相移量计算该移动物体的Z轴方向位移，该计算模块根据该移动物体的该X方向像素位移量、该Y方向像素位移量及该移动物体的该Z轴方向位移建立该移动物体的三维轨迹。

Description

三维轨迹侦测系统
技术领域
本发明是关于一种三维轨迹侦测系统，特别是关于一种混合计算机视觉(Computer vision)及多普勒雷达(Doppler radar)的三维轨迹侦测系统。
背景技术
随着行动装置的快速发展，其具备的功能及应用越来越广泛，其中扩增实境(Augmented reality,AR)的应用潜力极高而成为目前行动装置的发展重点。手势辨识(Hand gesture recognition,HGR)为扩增实境的一个相当重要的互动技术，行动装置借由手势辨识能让使用者在显示器中观察到自己直接地与虚拟的影像进行互动，目前手势辨识的主流技术是以3D摄像机(3D camera)进行辨识，如Microsoft Kinect、Intel RealSence及Lead Motion，由于3D摄像机是以RGB摄像机拍摄一图像，再搭配一红外线摄像机取得该图像的深度信息，而得以进行手势辨识，使得行动装置须另外加装红外线摄像机才能具备有手势辨识的功能，这不但会将让行动装置的售价更高，还会造成电池电量消耗过快的情形发生，此外，在光线充足的户外环境红外线摄像机的深度侦测能力将大幅降低，这些问题均导致行动装置于手势辨识上的困难。
发明内容
本发明的主要目的在于以影像捕获设备捕获动态影像并计算移动物体影像的X方向像素位移量及Y方向像素位移量，并以雷达装置侦测同一移动物体的Z轴方向位移，最后计算模块根据X方向像素位移量、Y方向像素位移量及Z轴方向位移进行计算而得到该移动物体的三维轨迹。
本发明的目的及解决其技术问题是采用以下的技术方案来实现的。
依据本发明的一种三维轨迹侦测系统包含影像捕获设备、雷达装置及计算模块，该影像捕获设备用以捕获动态影像，该动态影像中具有移动物体影像，该影像捕获设备根据该移动物体影像计算该移动物体影像的X方向像素位移量及Y方向像素位移量，该雷达装置发射无线信号至移动物体，并由该移动物体接收反射信号，且该雷达装置根据该反射信号的多普勒相移量得到该移动物体的Z轴方向位移，该计算模块耦接该影像捕获设备及该雷达装置，且该计算模块根据该移动物体影像的该X方向像素位移量、该Y方向像素位移量及该移动物体的该Z轴方向位移计算该移动物体的三维轨迹。
本发明的目的及解决其技术问题还可以采用以下的技术措施来进一步实现。
所述的三维轨迹侦测系统，其中该影像捕获设备是以背景减去法(Backgroundsubtraction)计算该移动物体影像的该X方向像素位移量及该Y方向像素位移量。
所述的三维轨迹侦测系统，其中该影像捕获设备根据该动态影像建立背景模型，以借由比对该动态影像的多个像素与该背景模型的多个像素计算该移动物体影像的该X方向像素位移量及该Y方向像素位移量。
所述的三维轨迹侦测系统，其中该雷达装置为被动式雷达(Passive radar)。
所述的三维轨迹侦测系统，其中该雷达装置具有耦合器、天线、注入锁定振荡器(Injection-locked oscillator)、放大器及解调电路，该耦合器接收该无线信号，且该耦合器将该无线信号耦合至该天线及该注入锁定振荡器，使该注入锁定振荡器处于注入锁定状态(Injection-locked state)，该天线将该无线信号发射至该移动物体，且该天线由该移动物体接收反射信号，该反射信号传送至该耦合器，该耦合器将该反射信号耦合至该放大器，该解调电路耦接该注入锁定振荡器及该放大器，以对该注入锁定振荡器输出的锁相信号及该放大器输出的射频放大信号进行正交相位解调。
所述的三维轨迹侦测系统，其中该雷达装置具有信号处理单元，该信号处理单元耦接该解调电路以接收同相信号及正交信号，且该信号处理单元根据该同相信号及该正交信号计算该移动物体的该Z轴方向位移。
所述的三维轨迹侦测系统，其中该解调电路具有90度相差功率分配器、功率分配器、第一混波器、第二混波器、第一低通滤波器及第二低通滤波器，该90度相差功率分配器耦接注入锁定振荡器以接收该锁相信号，该90度相差功率分配器输出同相本地振荡信号及正交本地振荡信号，该功率分配器耦接该放大器以接收该射频放大信号，且该功率分配器将该射频放大信号分为两个路径，该第一混波器接收该同相本地振荡信号及其中的一路径的该射频放大信号以进行混波，该第二混波器接收该正交本地振荡信号及另一路径的该射频放大信号以进行混波，该第一低通滤波器接收该第一混波器的第一混波信号以进行滤波而输出该同相信号，该第二低通滤波器接收该第二混波器的第二混波信号以进行滤波而输出该正交信号。
所述的三维轨迹侦测系统，其中该计算模块具有校正程序，该校正程序为该移动物体沿着XZ平面上的第一夹角做直线运动，以及该移动物体沿着YZ平面上的第二夹角做直线运动，且该第一夹角与该第二夹角为已知固定的夹角，其中该计算模块根据直线运动的该移动物体影像的该X方向像素位移量、该Y方向像素位移量、及该移动物体的该Z轴方向位移计算该移动物体的X轴方向位移与该移动物体影像的该X方向像素位移量的第一换算比例，以及该移动物体的Y轴方向位移与该移动物体影像的该Y方向像素位移量的第二换算比例，该第一换算比例与该第二换算比例的计算式为：
其中，mx为该第一换算比例，Δz为该移动物体的该Z轴方向位移，ΔPx为该移动物体影像的该X方向像素位移量，θx为该第一夹角，Δx为该移动物体的该X轴方向位移，my为该第二换算比例，ΔPy为该移动物体影像的该Y方向像素位移量，θy为该第二夹角，Δy为该移动物体的该Y轴方向位移。
所述的三维轨迹侦测系统，其中该影像捕获设备、该雷达装置及该计算模块整合于行动装置中。
所述的三维轨迹侦测系统，其中该无线信号可选自为该行动装置发出的信号或无线基地台发出的信号。
本发明的该三维轨迹侦测系统借由该影像捕获设备取得该移动物体影像的该X方向像素位移量及该Y方向像素位移量，并借由该雷达装置取得该移动物体的该Z轴方向位移，即可通过该计算模块依据该X方向像素位移量、该Y方向像素位移量及该Z轴方向位移求得该移动物体的该三维轨迹。由于该雷达装置为被动式雷达，没有专属的射频发射信号源，而是使用环境中既有的无线信号进行该移动物体的该Z轴方向位移的侦测，能有效地避免干扰行动装置的无线通信，且对于行动装置的功率消耗上的要求亦较低，此外，使用电磁波进行侦测的雷达装置并不会受到户外光线的干扰，使本发明的三维轨迹侦测系统确实能解决目前行动装置的手势辨识的困难。
上述说明仅是本发明技术方案的概述，为了能更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。
附图说明
图1：依据本发明的一实施例，三维轨迹侦测系统的功能方框图。
图2：依据本发明的一实施例，影像捕获设备的功能方框图。
图3：依据本发明的一实施例，行动装置捕获动态影像的示意图。
图4：依据本发明的一实施例，雷达装置侦测移动物体的位移的示意图。
图5：依据本发明的一实施例，该雷达装置的电路图。
图6：依据本发明的一实施例，该移动物体沿着XZ平面上的固定夹角做直线运动示意图。
图7：依据本发明的一实施例，该移动物体沿着YZ平面上的固定夹角做直线运动示意图。
图8：依据本发明的一实施例，该三维轨迹侦测系统建立三维轨迹的示意图。
图9：依据本发明的一实施例，该三维轨迹侦测系统建立三维轨迹的示意图。
符号说明
100：三维轨迹侦测系统 110：影像捕获设备
111：RGB摄像机 112：图像处理模块
120：雷达装置 121：耦合器
122：天线 123：注入锁定振荡器
124：放大器 125：解调电路
125a：90度相差功率分配器 125b：功率分配器
125c：第一混波器 125d：第二混波器
125e：第一低通滤波器 125f：第二低通滤波器
126：信号处理单元 127：带通滤波器
130：计算模块 P：动态影像
OP：移动物体影像 ΔPx：X方向像素位移量
ΔPy：Y方向像素位移量 mx：第一换算比例
my：第二换算比例 Δx：X轴方向位移
Δy：Y轴方向位移 Δz：Z轴方向位移
T：三维轨迹 O：移动物体
ST：无线信号 SR：反射信号
SL：锁相信号 SO：射频放大信号
SLO_I：同相本地振荡信号 SLO_Q：正交本地振荡信号
M1：第一混波信号 M2：第二混波信号
I：同相信号 Q：正交信号
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的(名称)其具体实施方式、结构、特征及其功效，详细说明如后。
请参阅图1，为本发明的一实施例，一种三维轨迹侦测系统100的功能方框图，该三维轨迹侦测系统100包含影像捕获设备110、雷达装置120及计算模块130，该影像捕获设备110及该雷达装置120耦接该计算模块130，在本实施例中，该影像捕获设备110、该雷达装置120及该计算模块130为独立的电子组件。在其他实施例中，较佳的，该影像捕获设备110、该雷达装置120及该计算模块130整合于行动装置中。
请参阅图2和图3，该影像捕获设备110具有RGB摄像机111及图像处理模块112，该RGB摄像机111用以捕获动态影像P，该动态影像P包含移动物体O的移动物体影像OP及其背景，请参阅图3，该动态影像P中具有该移动物体影像OP，且该移动物体影像OP于该动态影像P中随着时间改变而移动，在本实施例中，该移动物体影像OP为用户的右手，在其他实施例中，该移动物体影像OP可为其他移动的物体。请参阅图2，该影像捕获设备110的该图像处理模块112接收该动态影像P，由于该RGB摄像机111仅能捕捉到二维影像，因此，该图像处理模块112仅可根据该动态影像P计算该移动物体影像OP的X方向像素位移量ΔPx及Y方向像素位移量ΔPy。在本实施例中，该影像捕获设备110的该图像处理模块112是以背景减去法(Background subtraction)计算该移动物体影像OP的该X方向像素位移量ΔPx及该Y方向像素位移量ΔPy，其中该影像捕获设备110的该图像处理模块112根据该动态影像P建立背景模型，以借由比对该动态影像P的多个像素与该背景模型的多个像素的差异，以计算该移动物体影像OP的该X方向像素位移量ΔPx及该Y方向像素位移量ΔPy，较佳的，该背景模型为高斯混合模型(Gaussian mixture model)，但本发明不在此限。
请再参阅图1及图4，该雷达装置120发射无线信号ST至该移动物体O，并由该移动物体O接收反射信号SR，由于该反射信号SR含有该移动物体O的位移所造成的多普勒相移量，因此该雷达装置120根据该反射信号SR得到该移动物体O的Z轴方向位移Δz。其中，该雷达装置120可为主动式雷达(Active radar)或被动式雷达(Passive radar)，由于本发明的该三维轨迹侦测系统100欲设置在行动装置中，因此，较佳的，本发明的该雷达装置120为被动式雷达，以降低行动装置整体的功率消耗。
请参阅图5，在本实施例中，该雷达装置120为被动式注入锁定雷达，其中该雷达装置120具有耦合器121、天线122、注入锁定振荡器(Injection-locked oscillator)123、放大器124、解调电路125、信号处理单元126及带通滤波器127。
请参阅图5，该雷达装置120的动作为：该耦合器121由环境中接收该无线信号ST，该无线信号ST可为该行动装置发出的发射信号或无线基地台(Wireless Access Point)发出的发射信号，在本实施例中，该无线信号ST为该无线基地台发出的Wi-Fi信号。该耦合器121将该无线信号ST耦合至该天线122及该注入锁定振荡器123，在本实施例中，该耦合器121为分支线耦合器(Branch-line coupler)，该耦合器121将该无线信号ST耦合至该注入锁定振荡器123后，可使该注入锁定振荡器123处于注入锁定状态(Injection-lockedstate)。而该耦合器121将该无线信号ST耦合至该带通滤波器127滤波后传送至该天线122，该天线122将该无线信号ST发射至该移动物体O，且该天线122由该移动物体O接收该反射信号SR，其中该反射信号SR含有该移动物体O的位移所造成的多普勒相移量，该天线122接收的该反射信号SR传送至该耦合器121，该耦合器121将该反射信号SR耦合至该放大器124，该解调电路125耦接该注入锁定振荡器123及该放大器124，以对该注入锁定振荡器123输出的锁相(lock-in)信号SL及该放大器124输出的射频放大信号SO进行正交相位解调。
请参阅第5图，在本实施例中，该解调电路125为正交(I/Q)解调电路，其中该解调电路125具有90度相差功率分配器125a、功率分配器125b、第一混波器125c、第二混波器125d、第一低通滤波器125e及第二低通滤波器125f。其中，该90度相差功率分配器125a耦接该注入锁定振荡器123以接收该锁相信号SL，该90度相差功率分配器125a的0度输出端输出同相本地振荡信号SLO_I，该90度相差功率分配器125a的90度输出端输出正交本地振荡信号SLO_Q。该功率分配器125b耦接该放大器124以接收该射频放大信号SO，且该功率分配器125b将该射频放大信号SO分为两个路径。该第一混波器125c接收该同相本地振荡信号SLO_I及其中的一路径的该射频放大信号SO以进行混波而得到第一混波信号M1，该第二混波器125d接收该正交本地振荡信号SLO_Q及另一路径的该射频放大信号SO以进行混波而得到第二混波信号M2，该第一低通滤波器125e接收该第一混波器125c的该第一混波信号M1以进行滤波而输出同相(In-phase)信号I，该第二低通滤波器125f接收该第二混波器125d的该第二混波信号M2以进行滤波而输出正交(Quadrature)信号Q，该信号处理单元126耦接该解调电路125以接收该同相信号I及该正交信号Q，且该信号处理单元126根据该同相信号I及该正交信号Q计算该移动物体O的该Z轴方向位移Δz，在本实施例中，该信号处理单元126是借由反正切计算(Arctangent calculation)得到该反射信号SR的多普勒相移量，并进而得到该移动物体O的该Z轴方向位移Δz。
请参阅图1，该计算模块130耦接该影像捕获设备110及该雷达装置120，且该计算模块130需要执行校正程序，请参阅图6及图7，该校正程序是在该移动物体O沿着XZ平面上的第一夹角θx做直线运动，以及该移动物体O沿着YZ平面上的第二夹角θy做直线运动，且该第一夹角θx与该第二夹角θy为已知固定的夹角，在该移动物体O进行上述两种直线运动下，该计算模块130根据该移动物体影像OP的该X方向像素位移量ΔPx、该Y方向像素位移量ΔPy及该移动物体O的该Z轴方向位移Δz计算该移动物体O的X轴方向位移Δx与该移动物体影像OP的该X方向像素位移量ΔPx的第一换算比例mx，以及该移动物体O的Y轴方向位移Δy与该移动物体影像OP的该Y方向像素位移量ΔPy的第二换算比例my的示意图，该第一换算比例mx与该第二换算比例my的计算式为：
本发明的该三维轨迹侦测系统100借由该影像捕获设备110取得该移动物体影像OP的该X方向像素位移量ΔPx及该Y方向像素位移量ΔPy，即可通过该计算模块130经过该校正程序所得到的该第一换算比例mx及该第二换算比例my，在该移动物体O的任意运动轨迹下将该移动物体影像OP的该X方向像素位移量ΔPx转换为该移动物体O的该X轴方向位移Δx，以及将该移动物体影像OP的该Y方向像素位移量ΔPy转换为该移动物体O的该Y轴方向位移Δy，并借由该雷达装置120取得该移动物体O的该Z轴方向位移Δz，即可建立该移动物体O的该三维轨迹T。由于该雷达装置120为被动式雷达，没有专属的射频发射信号源，而是使用环境既有的无线信号进行该移动物体O的该Z轴方向位移Δz的侦测，能有效地避免干扰行动装置的无线通信，且对于行动装置的功率消耗上的要求亦较低，此外，使用电磁波进行侦测的雷达装置120并不会受到户外光线的干扰，使本发明的三维轨迹侦测系统100确实能解决目前行动装置的手势辨识的困难。
请参阅图8及图9，为本发明的该三维轨迹侦测系统100分别对两个移动手势所进行的三维轨迹建立，其中该影像捕获设备110为智能型手机，该雷达装置120为被动式雷达(图未绘出)，该雷达装置120的该天线122为平板天线，该计算模块130为笔记本电脑，且该影像捕获设备110及该雷达装置120耦接至该计算模块130。请参阅图8，使用者的左手(图未绘出)拿取该影像捕获设备110，右手由左至右地呈上凸曲线的路径移动且逐渐地远离该影像捕获设备110，由建立的三维轨迹可以看到其确实与使用者右手的轨迹相似。请参阅图9，使用者的左手(图未绘出)拿取该影像捕获设备110，右手首先由左至右地稍微向上移动且逐渐地远离该影像捕获设备110，接着进行转折，由右至左地并向下移动且逐渐地接近该影像捕获设备110，由建立的三维轨迹可以看到其确实与使用者右手的轨迹相似。可以证明本发明确实可根据影像捕获设备110所捕获的该动态影像及该雷达装置120所侦测的该Z轴方向位移建立三维轨迹。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (10)

1.一种三维轨迹侦测系统，其特征在于，其包含
影像捕获设备，用以捕获动态影像，该动态影像中具有移动物体影像，该影像捕获设备计算该移动物体影像的X方向像素位移量及Y方向像素位移量；
雷达装置，发射无线信号至移动物体，并由该移动物体接收反射信号，且该雷达装置根据该反射信号的多普勒相移量得到该移动物体的Z轴方向位移；以及
计算模块，耦接该影像捕获设备及该雷达装置，且该计算模块根据该移动物体影像的该X方向像素位移量、该Y方向像素位移量及该移动物体的该Z轴方向位移计算该移动物体的三维轨迹。
2.如权利要求1所述的三维轨迹侦测系统，其特征在于，其中该影像捕获设备是以背景减去法(Background subtraction)计算该移动物体影像的该X方向像素位移量及该Y方向像素位移量。
3.如权利要求2所述的三维轨迹侦测系统，其特征在于，其中该影像捕获设备根据该动态影像建立背景模型，以借由比对该动态影像的多个像素与该背景模型的多个像素计算该移动物体影像的该X方向像素位移量及该Y方向像素位移量。
4.如权利要求1所述的三维轨迹侦测系统，其特征在于，其中该雷达装置为被动式雷达(Passive radar)。
5.如权利要求4所述的三维轨迹侦测系统，其特征在于，其中该雷达装置具有耦合器、天线、注入锁定振荡器(Injection-locked oscillator)、放大器及解调电路，该耦合器接收该无线信号，且该耦合器将该无线信号耦合至该天线及该注入锁定振荡器，使该注入锁定振荡器处于注入锁定状态(Injection-locked state)，该天线将该无线信号发射至该移动物体，且该天线由该移动物体接收反射信号，该反射信号传送至该耦合器，该耦合器将该反射信号耦合至该放大器，该解调电路耦接该注入锁定振荡器及该放大器，以对该注入锁定振荡器输出的锁相信号及该放大器输出的射频放大信号进行正交相位解调。
6.如权利要求5所述的三维轨迹侦测系统，其特征在于，其中该雷达装置具有信号处理单元，该信号处理单元耦接该解调电路以接收同相信号及正交信号，且该信号处理单元根据该同相信号及该正交信号计算该移动物体的该Z轴方向位移。
7.如权利要求5所述的三维轨迹侦测系统，其特征在于，其中该解调电路具有90度相差功率分配器、功率分配器、第一混波器、第二混波器、第一低通滤波器及第二低通滤波器，该90度相差功率分配器耦接注入锁定振荡器以接收该锁相信号，该90度相差功率分配器输出同相本地振荡信号及正交本地振荡信号，该功率分配器耦接该放大器以接收该射频放大信号，且该功率分配器将该射频放大信号分为两个路径，该第一混波器接收该同相本地振荡信号及其中的一路径的该射频放大信号以进行混波，该第二混波器接收该正交本地振荡信号及另一路径的该射频放大信号以进行混波，该第一低通滤波器接收该第一混波器的第一混波信号以进行滤波而输出该同相信号，该第二低通滤波器接收该第二混波器的第二混波信号以进行滤波而输出该正交信号。
8.如权利要求1所述的三维轨迹侦测系统，其特征在于，其中该计算模块具有校正程序，该校正程序为该移动物体沿着XZ平面上的第一夹角做直线运动，以及该移动物体沿着YZ平面上的第二夹角做直线运动，且该第一夹角与该第二夹角为已知固定的夹角，其中该计算模块根据直线运动的该移动物体影像的该X方向像素位移量、该Y方向像素位移量、及该移动物体的该Z轴方向位移计算该移动物体的X轴方向位移与该移动物体影像的该X方向像素位移量的第一换算比例，以及该移动物体的Y轴方向位移与该移动物体影像的该Y方向像素位移量的第二换算比例，该第一换算比例与该第二换算比例的计算式为：
其中，mx为该第一换算比例，Δz为该移动物体的该Z轴方向位移，ΔPx为该移动物体影像的该X方向像素位移量，θx为该第一夹角，Δx为该移动物体的该X轴方向位移，my为该第二换算比例，ΔPy为该移动物体影像的该Y方向像素位移量，θy为该第二夹角，Δy为该移动物体的该Y轴方向位移。
9.如权利要求1至8中任一项所述的三维轨迹侦测系统，其特征在于，其中该影像捕获设备、该雷达装置及该计算模块整合于行动装置中。
10.如权利要求9所述的三维轨迹侦测系统，其特征在于，其中该无线信号可选自为该行动装置发出的信号或无线基地台发出的信号。
CN201711191673.XA 2017-06-07 2017-11-24 三维轨迹侦测系统 Active CN109001721B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106118953 2017-06-07
TW106118953A TWI634344B (zh) 2017-06-07 2017-06-07 三維軌跡偵測系統

Publications (2)

Publication Number Publication Date
CN109001721A true CN109001721A (zh) 2018-12-14
CN109001721B CN109001721B (zh) 2021-09-21

Family

ID=64452918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711191673.XA Active CN109001721B (zh) 2017-06-07 2017-11-24 三维轨迹侦测系统

Country Status (3)

Country Link
US (1) US10679043B2 (zh)
CN (1) CN109001721B (zh)
TW (1) TWI634344B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114646956A (zh) * 2020-12-17 2022-06-21 中山大学 使用无线网络信号的生命征象雷达感测器
WO2022217598A1 (zh) * 2021-04-16 2022-10-20 华为技术有限公司 肢体识别方法和装置
CN114646956B (zh) * 2020-12-17 2024-05-17 中山大学 使用无线网络信号的生命征象雷达感测器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682649B (zh) 2018-09-28 2020-01-11 國立中山大學 具正交混波器之訊號解調裝置及其解調方法
TWI669913B (zh) * 2019-03-15 2019-08-21 昇雷科技股份有限公司 頻率轉換式自我注入鎖定雷達
TWI723873B (zh) * 2020-05-13 2021-04-01 國立中山大學 六埠自我注入鎖定雷達

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200707257A (en) * 2005-08-10 2007-02-16 Hong-Yi Lin Image interactive story house
CN1972136A (zh) * 2005-10-31 2007-05-30 联发科技股份有限公司 无线收发器、解调变方法以及信号传输方法
TW201428346A (zh) * 2013-01-09 2014-07-16 Nat Univ Chung Hsing 具無接觸手勢控制之眼鏡型行動電話
US20160259037A1 (en) * 2015-03-03 2016-09-08 Nvidia Corporation Radar based user interface

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8258453B2 (en) * 2009-04-29 2012-09-04 Intersil Americas Inc. Long range proximity and/or motion detector with ambient light detection capabilities
US9442189B2 (en) * 2010-10-27 2016-09-13 The Fourth Military Medical University Multichannel UWB-based radar life detector and positioning method thereof
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US10152798B2 (en) * 2017-04-10 2018-12-11 Wisconsin Alumni Research Foundation Systems, methods and, media for determining object motion in three dimensions using speckle images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200707257A (en) * 2005-08-10 2007-02-16 Hong-Yi Lin Image interactive story house
CN1972136A (zh) * 2005-10-31 2007-05-30 联发科技股份有限公司 无线收发器、解调变方法以及信号传输方法
TW201428346A (zh) * 2013-01-09 2014-07-16 Nat Univ Chung Hsing 具無接觸手勢控制之眼鏡型行動電話
US20160259037A1 (en) * 2015-03-03 2016-09-08 Nvidia Corporation Radar based user interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MU-CYUN TANG等: "Human gesture sensor using ambient wireless signals based on passive radar technology", 《2015 IEEE MTT-S INTERNATIONAL MICROWAVE SYMPOSIUM》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114646956A (zh) * 2020-12-17 2022-06-21 中山大学 使用无线网络信号的生命征象雷达感测器
CN114646956B (zh) * 2020-12-17 2024-05-17 中山大学 使用无线网络信号的生命征象雷达感测器
WO2022217598A1 (zh) * 2021-04-16 2022-10-20 华为技术有限公司 肢体识别方法和装置

Also Published As

Publication number Publication date
US10679043B2 (en) 2020-06-09
CN109001721B (zh) 2021-09-21
US20180357474A1 (en) 2018-12-13
TW201903431A (zh) 2019-01-16
TWI634344B (zh) 2018-09-01

Similar Documents

Publication Publication Date Title
CN109001721A (zh) 三维轨迹侦测系统
CN105556742B (zh) 天线工程参数的获取方法和设备及系统
CN102538793B (zh) 一种双基线非合作目标双目测量系统
CN111542128B (zh) 一种基于uwb的设备交互方法、装置及设备
CN102589526B (zh) 一种单基线非合作目标双目测量系统
CN103020988A (zh) 一种激光散斑图像的运动向量生成方法
CN108681726A (zh) 3d芯片模组、身份识别装置及电子设备
CN208781240U (zh) 3d芯片模组、身份识别装置及电子设备
US11269061B2 (en) System and method of scanning and aquiring images of an environment
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN116366750B (zh) 折叠屏夹角的确定方法及其相关设备
CN106774825B (zh) 一种非接触式的手势识别方法和系统
CN111025330A (zh) 一种基于深度图的目标倾斜角检测方法及设备
Jiang et al. VisBLE: Vision-enhanced BLE device tracking
US11393432B2 (en) Rotational image viewer
CN112835021B (zh) 定位方法、装置、系统及计算机可读存储介质
CN113642368B (zh) 人脸姿态的确定方法、装置、设备及存储介质
CN114359392A (zh) 一种视觉定位方法、装置、芯片系统及存储介质
US11935286B2 (en) Method and device for detecting a vertical planar surface
TWI723574B (zh) 手勢辨識系統及手勢辨識方法
CN110390366A (zh) 仓库中的定位系统、方法和装置
Tang et al. A hybrid computer vision and Wi-Fi Doppler radar system for capturing the 3-D hand gesture trajectory with a smartphone
Zhang et al. Metric calibration of aerial on-board multiple non-overlapping cameras based on visual and inertial measurement data
CN201926977U (zh) 基于三维触控的遥操作移动终端
CN118015088A (zh) 一种物体定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant