CN111221486B - 信息显示系统及信息显示方法 - Google Patents

信息显示系统及信息显示方法 Download PDF

Info

Publication number
CN111221486B
CN111221486B CN201910056988.6A CN201910056988A CN111221486B CN 111221486 B CN111221486 B CN 111221486B CN 201910056988 A CN201910056988 A CN 201910056988A CN 111221486 B CN111221486 B CN 111221486B
Authority
CN
China
Prior art keywords
frame
displacement
identification information
picture
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910056988.6A
Other languages
English (en)
Other versions
CN111221486A (zh
Inventor
陈健龙
张志嘉
林郁欣
郭信宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Original Assignee
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI, Intellectual Property Innovation Corp filed Critical Industrial Technology Research Institute ITRI
Publication of CN111221486A publication Critical patent/CN111221486A/zh
Application granted granted Critical
Publication of CN111221486B publication Critical patent/CN111221486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种信息显示系统及信息显示方法。信息显示系统包括显示屏幕、影像采集装置以及处理装置。影像采集装置用以采集画面序列。处理装置耦接显示屏幕及影像采集装置。处理装置用以辨识画面序列中的至少一动态目标物,且产生对应于动态目标物的辨识框架及辨识信息。处理装置对画面序列中的多个第一画面的辨识框架进行追踪以取得追踪结果。处理装置根据追踪结果对画面序列中的第二画面的辨识信息的显示坐标进行补偿以得到补偿后座标,并根据补偿后座标于显示屏幕上显示辨识信息,以降低显示于显示屏幕上的辨识信息的抖动。此些第一画面的时间顺序在第二画面之前。

Description

信息显示系统及信息显示方法
技术领域
本发明是有关于一种信息显示技术,且特别是有关于一种用于显示动态目标物的辨识信息的信息显示系统及信息显示方法。
背景技术
随着技术的发展,透明显示器的应用也越来越多样化。透明显示器乃是其显示面板具有一定程度的光穿透性,能够清楚地显示面板后方的背景。透明显示器适用于建筑物窗户、车辆车窗与商店橱窗等多种应用。
除了原有的透明显示功能之外,透明显示器还可应用于动态信息的显示。也即,当使用者透过透明显示器观看显示面板相对于使用者另一侧的目标物时,可在透明显示器的目标物显示位置的周边,对应地显示此目标物的辨识信息。然而,当目标物移动或抖动时,此目标物的辨识信息的显示位置也会相对地移动或抖动。如此一来,将会影响使用者观看时的舒适度。
发明内容
本发明一实施例提供一种用于显示动态目标物的辨识信息的信息显示系统及信息显示方法,可在动态目标物移动或抖动时,对动态目标物的辨识信息的显示坐标进行补偿,以提高使用者观看目标物及其辨识信息时的舒适度。
本发明一实施例的信息显示系统包括显示屏幕、影像采集装置以及处理装置。影像采集装置用以采集画面序列。处理装置耦接显示屏幕及影像采集装置。处理装置用以辨识画面序列中的至少一动态目标物,且产生对应于动态目标物的辨识框架及辨识信息。处理装置对画面序列中的多个第一画面的辨识框架进行追踪以取得追踪结果。处理装置根据追踪结果对画面序列中的第二画面的辨识信息的显示坐标进行补偿以得到补偿后座标,并根据补偿后座标于显示屏幕上显示辨识信息。此些第一画面的时间顺序在第二画面之前。
本发明一实施例的信息显示方法包括以下步骤。透过影像采集装置采集画面序列。透过处理装置执行以下步骤。辨识画面序列中的至少一动态目标物以取得对应于动态目标物的辨识框架及辨识信息。对画面序列中的多个第一画面的辨识框架进行追踪以取得追踪结果。根据追踪结果对画面序列中的第二画面的辨识信息的显示坐标进行补偿以得到补偿后座标,其中此些第一画面的时间顺序在第二画面之前。根据补偿后座标于显示屏幕上显示辨识信息。
附图说明
图1是依照本发明一实施例所绘示的信息显示系统的框图。
图2是依照本发明一实施例所绘示的信息显示系统的应用情境示意图。
图3A绘示动态目标物的辨识信息直接连接于动态目标物的辨识框架的示意图。
图3B是依照本发明一实施例所绘示的动态目标物的辨识信息与动态目标物的辨识框架的连接示意图。
图4是依照本发明一实施例所绘示的信息显示方法的流程图。
图5是依照本发明一实施例所绘示的步骤S450的细节步骤流程图。
图6是依照本发明一实施例所绘示的在时间域对第二画面的辨识信息的显示坐标进行补偿的流程图。
图7A~图7C是依照本发明实施例说明在时间域对第二画面的辨识信息的显示坐标进行补偿的示意图。
图8是依照本发明一实施例所绘示的步骤S640的细节步骤流程图。
图9是依照本发明一实施例所绘示的步骤S558的细节流程图。
图10是依照本发明一实施例说明降低辨识信息的抖动的示意图。
图11是依照本发明另一实施例说明降低辨识信息的抖动的示意图。
符号说明:
100:信息显示系统
120:显示屏幕
140、180:影像采集装置
160:处理装置
900:使用者
IFR、IFR3:辨识框架
IFO、IFO’、IFO3、IFO4:辨识信息
L11:位置
MV:第三位移量
OB:动态目标物
PF2:第二画面
PF3:第三画面
PXY:补偿后座标
PXY’、XY:显示坐标
S410、S420、S430、S440、S450、S460、S552、S554、S556、S558、S610、S620、S630、S640、S650、S660、S670、S841、S842、S843、S910、S920、S930:步骤
TH1:第一临界值
TR10、TR13、TR14:移动轨迹
V1:移动速度
V11:抖动速度
V12:平移速度
具体实施方式
为让本发明能阐述的更明确易懂,下文特举实施例,并配合说明书附图作详细说明如下。
本发明的部份实施例接下来将会配合附图来详细描述,以下的描述所引用的元件符号,当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份,并未揭示所有本发明的可实施方式。更确切的说,这些实施例只是本发明中的信息显示系统以及信息显示方法的示范性实施例。
图1是依照本发明一实施例所绘示的信息显示系统的框图,图2是依照本发明一实施例所绘示的信息显示系统的应用情境示意图。请合并参照图1及图2。信息显示系统100包括显示屏幕120、影像采集装置140、180以及处理装置160,但本发明不限于此。在图2所示的实施例中,使用者900位于显示屏幕120的第一侧,且透过显示屏幕120观看显示屏幕120的第二侧的动态目标物OB,其中动态目标物OB的数量为至少一个。
在本发明的一实施例中,显示屏幕120例如是透明显示器屏幕。前述的透明显示器屏幕是指显示器屏幕本身具有一定程度的光线穿透性,能够呈现出显示器屏幕后方的背景。实施为透明显示器屏幕的显示屏幕120可适用于建筑物(如,观景台、水族馆、博物馆)中的观景窗户、展览橱窗、车辆玻璃兼显示器…等多种应用。
影像采集装置180用以取得使用者900的影像。在本发明的一实施例中,影像采集装置180还可包括眼球追踪装置,用以追踪使用者900的视线,以判断追踪使用者900的视线是否朝向显示屏幕120。在本发明的一实施例中,信息显示系统100也可省略设置影像采集装置180。
影像采集装置140用以采集画面序列,此画面序列例如是显示屏幕120的第二侧的动态影像。处理装置160可耦接显示屏幕120以及影像采集装置140、180。处理装置160用以辨识上述画面序列中的动态目标物OB,且产生对应于动态目标物OB的辨识框架IFR及辨识信息IFO。
详细来说,上述画面序列可包括多个第一画面及第二画面,其中此些第一画面的时间顺序在第二画面之前。处理装置160可对此些第一画面中的辨识框架IFR进行追踪以得到追踪结果,并根据追踪结果对第二画面的辨识信息IFO的显示坐标进行补偿以得到补偿后座标PXY。处理装置160可根据补偿后座标PXY于显示屏幕120上显示辨识信息IFO,可降低显示于显示屏幕120上的辨识信息IFO的抖动。
举例来说,如图3A所示,动态目标物OB的辨识信息IFO’直接连接于动态目标物OB的辨识框架IFR,当动态目标物OB跳动时,动态目标物OB的辨识框架IFR也会连动,致使动态目标物OB的辨识信息IFO’亦随之同幅跳动。如此一来,将会影响使用者观看动态目标物OB时的舒适度。相对地,如图3B所示,透过对动态目标物OB的辨识信息IFO的显示坐标进行补偿,可避免动态目标物OB的辨识信息IFO跟随辨识框架IFR而同幅跳动,可降低辨识信息IFO的抖动。
在本发明的一实施例中,影像采集装置140、180可包括具有透镜以及感光元件的摄像镜头。感光元件用以检测进入透镜的光线强度,进而产生影像。感光元件可以例如是电荷耦合元件(charge coupled device,CCD)、互补性氧化金属半导体(complementarymetal-oxide semiconductor,CMOS)元件或其他元件,本发明不在此设限。在另一实施例中,影像采集装置140、180也可包含完成辨识目标物功能的可程序化处理单元、微处理器(micro-processor)、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、可程序化逻辑装置(Programmable Logic Device,PLD)或其他类似电路元件,本发明并不限于此。
在本发明的另一实施例中,影像采集装置140、180可例如是雷达(RADAR)装置。雷达装置可透过雷达天线发射微波或无线电信号,并检测微波或无线电信号经物体反射之后的回波信号,进而对回波信号进行信号处理以产生雷达影像画面。
在本发明的又一实施例中,影像采集装置140、180可例如是光达(LIDAR)装置。光达装置可发射光波或激光信号,并检测光波或激光信号经物体反射之后的回波信号,进而对回波信号进行信号处理以产生光达影像画面。
在本发明的一实施例中,处理装置160可以是由至少一系统芯片(SOC)、场可编程闸阵列(field programmable gate array,FPGA)芯片、复杂可编程逻辑元件(complexprogrammable logic device,CPLD)、微处理器(Microprocessor)、中央处理单元(Central Processing Unit,CPU)、数位信号处理器(Digital Signal Processor,DSP),或其他具备运算能力的硬件元件来实现。
在本发明的一实施例中,信息显示系统100还可包括储存装置(未绘示)。储存装置用以储存影像、程序等数据,其可以例如是任意型式的固定式或可移动式随机存取存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、快闪存储器(flashmemory)、硬盘或其他类似装置、集成电路及其组合。
图4是依照本发明一实施例所绘示的信息显示方法的流程图。图4所示的方法流程可结合图1所示的信息显示系统100来实现,但不限于此。请合并参照图1、图2及图4。
首先,于步骤S410,透过影像采集装置180采集使用者900的影像,其中使用者900位于显示屏幕120的第一侧。如同先前所述,信息显示系统100可省略设置影像采集装置180,因此在本发明的一实施例中,步骤S410亦可省略。于步骤S420,透过影像采集装置140采集含有目标物的画面序列,此画面序列例如是显示屏幕120的第二侧的动态影像。接着,可透过处理装置160执行步骤S430、S440、S450及S460。于步骤S430,辨识上述画面序列中的动态目标物OB以取得对应于动态目标物OB的辨识框架IFR及辨识信息IFO。然后,于步骤S440,对上述画面序列中的多个第一画面的辨识框架IFR进行追踪以取得追踪结果。于步骤S450,根据追踪结果对上述画面序列中的第二画面的辨识信息IFO的显示坐标进行补偿以得到补偿后座标PXY。于步骤S460,根据补偿后座标PXY于显示屏幕120上显示辨识信息IFO。
在本发明的一实施例中,在步骤S430与步骤S440之间,还可透过处理装置160判断上述第二画面中是否有出现动态目标物OB,以得到第一判断结果。若第一判断结果为是(即上述第二画面中有出现动态目标物OB),则执行步骤S440。若第一判断结果为否(即上述第二画面中未出现动态目标物OB),则控制显示屏幕120停止显示辨识信息IFO。
在本发明的另一实施例中,在步骤S430与步骤S440之间,还可透过处理装置160根据步骤S410所取得的使用者900的影像,来判断使用者900是否观看动态目标物OB,以得到第二判断结果。若第二判断结果为是(即使用者900正在观看动态目标物OB),则执行步骤S440。若第二判断结果为否(即使用者900并未观看动态目标物OB),则控制显示屏幕120停止显示辨识信息IFO。
在本发明的一实施例中,透过步骤S440所取得的追踪结果可包括多个第一位移量以及第二位移量。详细来说,上述的各第一位移量为辨识框架IFR于此些第一画面中的相邻两画面之间的位移量,而上述的第二位移量为辨识框架IFR于此些第一画面中的第一张画面与第N张画面之间的位移量,其中N为此些第一画面的数量。换句话说,上述的第二位移量为辨识框架IFR于第一张第一画面与最后一张第一画面之间的位移量。
以下说明步骤S450的细节步骤。图5是依照本发明一实施例所绘示的步骤S450的细节步骤流程图。请合并参照图1、图2及图5。步骤S450包括细节步骤S552、S554、S556及S558。于步骤S552,计算动态指标:
Figure BDA0001952827450000061
其中U2为上述的第二位移量,而U1为此些第一位移量的平均值。
详细来说,动态指标F可用来判断动态目标物OB于此些第一画面中的移动状态。若动态指标F的数值越大,表示动态目标物OB的移动可能是具有净方向及净速度的移动,而不是在一特定位置的附近随机移动。相对地,若动态指标F的数值越小,表示动态目标物OB的移动可能是在一特定位置的附近随机移动,而不是具有净方向及净速度的移动。因此,于步骤S554,判断动态指标F是否小于参考值。在本发明的一实施例中,上述参考值可依据机率理论来决定,其数值可例如是介于1.3与3.4之间,较佳可例如是介于2.2与2.5之间,但本发明不限于此。在本发明的其他实施例中,上述参考值也可依据实际应用或设计需求来设定。
若步骤S554的判断结果为是(即动态指标F小于参考值),表示动态目标物OB的移动是在一特定位置的附近随机移动,则执行步骤S556。于步骤S556,在时间域以及空间域两者至少其中之一,对第二画面的辨识信息IFO的显示坐标进行补偿。换句话说,可只在时间域对第二画面的辨识信息IFO的显示坐标进行补偿。或者是,可只在空间域对第二画面的辨识信息IFO的显示坐标进行补偿。亦或是,在时间域及空间域对第二画面的辨识信息IFO的显示坐标进行补偿。
相对地,若步骤S554的判断结果为否(即动态指标F大于或等于参考值),表示动态目标物OB的移动是具有净方向及净速度的移动,则执行步骤S558。于步骤S558,根据辨识框架IFR于此些第一画面中的移动轨迹来计算补偿后座标PXY。
首先说明在时间域对第二画面的辨识信息IFO的显示坐标进行补偿的细节。图6是依照本发明一实施例所绘示的在时间域对第二画面的辨识信息的显示坐标进行补偿的流程图。图7A~图7C说明在时间域对第二画面的辨识信息的显示坐标进行补偿的示意图。图7A~图7C所示的画面序列的第三画面PF3是第二画面PF2的前一画面。此外,图7A~图7C还绘示了动态目标物OB于第三画面PF3中的辨识框架IFR3及辨识信息IFO3,以及动态目标物OB于第二画面PF2中的辨识框架IFR及辨识信息IFO。
以下请合并参照图1、图6、图7A~图7C。于步骤S610,计算第三画面PF3的辨识信息IFO3与第二画面PF2的辨识信息IFO之间的位移量以做为第三位移量MV,其中第三画面PF3是第二画面PF2的前一画面。于步骤S620,判断第三位移量MV是否大于或等于第一临界值TH1。若步骤S620的判断结果为是,即第三位移量MV大于或等于第一临界值TH1,表示辨识信息IFO的移动距离过大,如图7A所示,则执行步骤S630。于步骤S630,处理装置160控制显示屏幕120不显示对应于第二画面PF2的辨识信息IFO,以避免辨识信息IFO的快速移动(即移动距离过大)而造成使用者观看时的不舒适。若步骤S620的判断结果为否,即第三位移量MV小于第一临界值TH1,如图7B所示,则显示屏幕120显示对应于第二画面PF2的辨识信息IFO。
在本发明的一实施例中,设计者可根据使用者观看文字移动的舒适度,来定义第一临界值TH1。举例来说,第一临界值TH1可例如是一参考速度与显示屏幕120的画面更新时间之乘积,其中参考速度例如是使用者可以忍受的文字移动的最大速度。但本发明并不以此为限。
在本发明的一实施例中,还可在时间域降低辨识信息IFO的显示坐标的更新频率,以降低辨识信息IFO于显示屏幕120上的抖动。详细来说,若步骤S620的判断结果为否,即第三位移量MV小于第一临界值TH1,则执行步骤S640。于步骤S640,根据上述多个第一位移量决定第二临界值TH2,其中第二临界值TH2可用来降低辨识信息IFO的显示坐标的更新频率,且第二临界值TH2小于第一临界值TH1。接着,于步骤S650,判断第三位移量MV是否大于或等于第二临界值TH2。
若步骤S650的判断结果为是,则执行步骤S660以更新第二画面PF2的辨识信息IFO的显示坐标,如图7B所示。于步骤S660,依据第三画面PF3的辨识信息IFO3的显示坐标XY以及第三位移量MV来计算补偿后座标PXY,但本发明不限于此。在本发明的其他实施例中,也可采用空间域的补偿方式来计算步骤S660中的补偿后座标PXY,稍后会再详细说明。
若步骤S650的判断结果为否,表示第二画面PF2的辨识信息IFO的位置可为靠近第三画面PF3的辨识信息IFO3的显示坐标,则执行步骤S670。于步骤S670,不更新第二画面PF2的辨识信息IFO的显示坐标,亦即将第三画面PF3的辨识信息IFO3的显示坐标做为补偿后座标PXY,如图7C所示。如此一来,可降低辨识信息IFO于显示屏幕120上的抖动。
图8是依照本发明一实施例所绘示的步骤S640的细节步骤流程图。请参照图8。于步骤S841,于上述多个第一位移量中选取Q个以做为Q个取样位移量。于步骤S842,依据位移量的大小对上述Q个取样位移量进行排序。于步骤S843,于上述Q个取样位移量中,选择第M大的位移量以做为第二临界值TH2,其中M可为每单位时间内要更新辨识信息IFO的显示坐标的画面数量。
在本发明的一实施例中,数量Q可依据显示屏幕120的画面更新频率以及每单位时间内要更新辨识信息IFO的显示坐标的画面数量M来决定。举例来说,假设显示屏幕120的画面更新频率f为每秒钟30张画面,且每秒钟要更新辨识信息IFO的显示坐标的画面数量M为3张。因此,取样位移量的数量Q可设为10(即Q=f÷M)。接着,于上述多个第一位移量中选取10个,以得到10个取样位移量,并依据位移量的大小对上述10个取样位移量进行排序。然后,于上述10个取样位移量中,选择第三大的位移量以做为第二临界值TH2。
接着说明图5的步骤S556中,在空间域对第二画面的辨识信息的显示坐标进行补偿的细节。请重新参照图1、图2及图5,为了降低动态目标物OB的辨识信息IFO在空间上的抖动,可采用移动平均(moving average)算法来计算补偿后座标PXY。更进一步来说,可将辨识信息IFO于第二画面补偿前的显示坐标,与辨识信息IFO于此些第一画面的多个补偿前的显示坐标进行移动平均运算,以取得补偿后座标PXY。
在本发明的一实施例中,可采用简单移动平均(simple moving average,SMA)算法、加权移动平均(weighted moving average,WMA)算法或是指数移动平均(exponentialmoving average,EMA)算法来计算补偿后座标PXY,但本发明不限于此。
以下说明图5的步骤S558的细节步骤。图9是依照本发明一实施例所绘示的步骤S558的细节流程图,图10是依照本发明一实施例说明降低辨识信息的抖动的示意图。请合并参照图1、图2、图9及图10。于步骤S910,根据辨识框架IFR于此些第一画面中的移动轨迹TR10计算移动速度V1。移动速度V1包括抖动速度V11及平移速度V12,其中抖动速度V11的方向与平移速度V12的方向垂直,如图10所示。另外,平移速度V12的方向实质上可视为自第一张第一画面的辨识框架IFR至最后一张第一画面的辨识框架IFR的方向。于步骤S920,滤除移动速度V1中的抖动速度V11以得到平移速度V12。于步骤S930,根据平移速度V12计算第二画面的辨识信息IFO的补偿后座标PXY。如此一来,可降低第二画面的辨识信息IFO的抖动。
在本发明的另一实施例中,当动态目标物OB的移动是具有净方向及净速度的移动时,也可预测动态目标物OB的移动轨迹,并根据所预测的移动轨迹来显示动态目标物OB的辨识信息。
举例来说,图11是依照本发明另一实施例说明降低辨识信息的抖动的示意图。图11绘示了动态目标物OB于画面序列的第三画面中的辨识框架IFR3及辨识信息IFO3、动态目标物OB于画面序列的第四画面中的辨识信息IFO4、以及动态目标物OB于第二画面中的辨识框架IFR及辨识信息IFO。上述的第三画面的时间顺序在上述的第四画面之前,且上述的第四画面的时间顺序在上述的第二画面之前。
请合并参照图1及图11。处理装置160对于动态目标物OB的追踪速度及辨识速度可能低于显示屏幕120的画面更新速度。在处理装置160取得第二画面的辨识信息IFO的补偿后座标PXY之前,可根据第三画面的辨识框架IFR3的移动轨迹TR13,预测第四画面的辨识信息IFO4的显示坐标PXY’。详细来说,处理装置160可依据移动轨迹TR13的方向,预测动态目标物OB自第三画面至第四画面的移动轨迹TR14、动态目标物OB于第四画面的位置L11以及辨识信息IFO4的显示坐标PXY’。接着,处理装置160可根据所预测的显示坐标PXY’于显示屏幕120上显示辨识信息IFO4,以降低辨识信息IFO4在视觉上的不连续感觉,从而提高使用者的舒适度。在本发明的一实施例中,处理装置160可根据第三画面的辨识信息IFO3的显示坐标XY、移动轨迹TR13的矢量以及外插法来预测显示坐标PXY’,但不限于此。
本发明一实施例所提出的信息显示系统及信息显示方法,可在动态目标物移动或抖动时,对动态目标物的辨识信息的显示坐标进行补偿,以降低辨识信息的抖动以及在视觉上所造成的不连续感觉,从而提高使用者观看目标物及其辨识信息时的舒适度。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,本发明的保护范围当视权利要求书及其均等范围所界定者为准。

Claims (20)

1.一种信息显示方法,其特征在于,包括:
透过影像采集装置采集画面序列;以及;
透过处理装置执行以下步骤:
辨识该画面序列中的至少一动态目标物以取得对应于该至少一动态目标物的辨识框架及辨识信息;
对该画面序列中的多个第一画面的该辨识框架进行追踪以取得追踪结果;
根据该追踪结果对该画面序列中的第二画面的该辨识信息的显示坐标进行补偿以得到补偿后坐标 ,其中所述第一画面的时间顺序在该第二画面之前;以及
根据该补偿后坐标 于显示屏幕上显示该辨识信息;
其中经过补偿后的该辨识信息跳动的位移量小于该至少一动态目标物跳动的位移量。
2.如权利要求1所述的信息显示方法,其特征在于,该追踪结果包括:
多个第一位移量,其中各该第一位移量为该辨识框架于所述第一画面中的相邻两画面之间的位移量;以及
第二位移量,其中该第二位移量为该辨识框架于所述第一画面中的第一张画面与第N张画面之间的位移量,其中N为所述第一画面的数量。
3.如权利要求2所述的信息显示方法,其特征在于,所述根据该追踪结果对该第二画面的该辨识信息的显示坐标进行补偿的步骤包括:
计算动态指标:
Figure FDA0004002491980000011
其中U2为该第二位移量,且U1为所述第一位移量的平均值;
若该动态指标小于参考值,则在时间域以及空间域两者至少其中之一,对该第二画面的该辨识信息的显示坐标进行补偿;以及
若该动态指标大于或等于该参考值,则根据该辨识框架于所述第一画面中的移动轨迹计算该补偿后坐标 。
4.如权利要求3所述的信息显示方法,其特征在于,所述在该时间域对该第二画面的该辨识信息的显示坐标进行补偿的步骤包括:
计算第三画面的该辨识信息与该第二画面的该辨识信息之间的位移量以做为第三位移量,其中该第三画面为该第二画面的前一画面;以及
若该第三位移量大于或等于第一临界值,则控制该显示屏幕不显示对应于该第二画面的该辨识信息。
5.如权利要求4所述的信息显示方法,其特征在于,所述在该时间域对该第二画面的该辨识信息的显示坐标进行补偿的步骤更包括:
根据所述第一位移量决定第二临界值;
若该第三位移量小于该第一临界值且大于或等于该第二临界值,则依据该第三画面的该辨识信息的显示坐标以及该第三位移量来计算该补偿后坐标 ;以及
若该第三位移量小于该第二临界值,则将该第三画面的该辨识信息的显示坐标做为该补偿后坐标 ,其中该第二临界值小于该第一临界值。
6.如权利要求5所述的信息显示方法,其特征在于,所述根据该第一位移量取得该第二临界值的步骤包括:
于所述第一位移量中选取Q个以做为Q个取样位移量;
依据位移量的大小对该Q个取样位移量进行排序;以及
于该Q个取样位移量中,选择第M大的位移量以做为该第二临界值,其中M为每单位时间内要更新该辨识信息的显示坐标的画面数量。
7.如权利要求6所述的信息显示方法,其特征在于,数量Q是依据该显示屏幕的画面更新频率以及每单位时间内要更新该辨识信息的显示坐标的该画面数量来决定。
8.如权利要求3所述的信息显示方法,其特征在于,所述在该空间域对该第二画面的该辨识信息的显示坐标进行补偿的步骤包括:
将该辨识信息于该第二画面的补偿前的显示坐标,与该辨识信息于所述第一画面的多个补偿前的显示坐标进行移动平均运算,以取得该补偿后坐标 。
9.如权利要求3所述的信息显示方法,其特征在于,所述根据该辨识框架于所述第一画面中的该移动轨迹对该第二画面的该辨识信息的显示坐标进行补偿的步骤包括:
根据该辨识框架于所述第一画面中的该移动轨迹计算移动速度,其中该移动速度包括抖动速度及平移速度;
滤除该移动速度中的该抖动速度以得到该平移速度,其中该抖动速度的方向与该平移速度的方向垂直;以及
根据该平移速度计算该补偿后坐标 。
10.如权利要求9所述的信息显示方法,其特征在于,所述根据该辨识框架于所述第一画面中的该移动轨迹对该第二画面的该辨识信息的显示坐标进行补偿的步骤更包括:
在取得该补偿后坐标 之前,根据第三画面的该辨识框架的移动轨迹来预测第四画面的该辨识信息的显示坐标;以及
根据所预测的该显示坐标于该显示屏幕上显示该辨识信息,其中该第三画面的时间顺序在该第四画面之前,且该第四画面的时间顺序在该第二画面之前。
11.一种信息显示系统,其特征在于,包括:
显示屏幕;
影像采集装置,用以采集画面序列;以及
处理装置,耦接该显示屏幕及该影像采集装置,用以辨识该画面序列中的至少一动态目标物,且产生对应于该至少一动态目标物的辨识框架及辨识信息,
其中该处理装置对该画面序列中的多个第一画面的该辨识框架进行追踪以取得追踪结果,根据该追踪结果对该画面序列中的第二画面的该辨识信息的显示坐标进行补偿以得到补偿后坐标 ,并根据该补偿后坐标 于该显示屏幕上显示该辨识信息,其中所述第一画面的时间顺序在该第二画面之前;
经过补偿后的该辨识信息跳动的位移量小于该至少一动态目标物跳动的位移量。
12.如权利要求11所述的信息显示系统,其特征在于,该追踪结果包括:
多个第一位移量,其中各该第一位移量为该辨识框架于所述第一画面中的相邻两画面之间的位移量;以及
第二位移量,其中该第二位移量为该辨识框架于所述第一画面中的第一张画面与第N张画面之间的位移量,其中N为所述第一画面的数量。
13.如权利要求12所述的信息显示系统,其特征在于:
该处理装置计算动态指标:
Figure FDA0004002491980000041
其中U2为该第二位移量,且U1为所述第一位移量的平均值,
其中若该动态指标小于参考值,则该处理装置在时间域以及空间域两者至少其中之一,对该第二画面的该辨识信息的显示坐标进行补偿,
其中若该动态指标大于或等于该参考值,则该处理装置根据该辨识框架于所述第一画面中的移动轨迹计算该补偿后坐标 。
14.如权利要求13所述的信息显示系统,其特征在于:
当该处理装置在该时间域对该第二画面的该辨识信息的显示坐标进行补偿时,该处理装置计算第三画面的该辨识信息与该第二画面的该辨识信息之间的位移量以做为第三位移量,其中该第三画面为该第二画面的前一画面,
若该第三位移量大于或等于第一临界值,则该处理装置控制该显示屏幕不显示对应于该第二画面的该辨识信息。
15.如权利要求14所述的信息显示系统,其特征在于:
该处理装置更根据所述第一位移量决定第二临界值,其中该第二临界值小于该第一临界值,
若该第三位移量小于该第一临界值且大于或等于该第二临界值,则该处理装置依据该第三画面的该辨识信息的显示坐标以及该第三位移量来计算该补偿后坐标 ,
若该第三位移量小于该第二临界值,则该处理装置将该第三画面的该辨识信息的显示坐标做为该补偿后坐标 。
16.如权利要求15所述的信息显示系统,其特征在于:
该处理装置于所述第一位移量中选取Q个以做为Q个取样位移量,依据位移量的大小对该Q个取样位移量进行排序,且于该Q个取样位移量中,选择第M大的位移量以做为该第二临界值,其中M为每单位时间内要更新该辨识信息的显示坐标的画面数量。
17.如权利要求16所述的信息显示系统,其特征在于,数量Q是依据该显示屏幕的画面更新频率以及每单位时间内要更新该辨识信息的显示坐标的该画面数量来决定。
18.如权利要求13所述的信息显示系统,其特征在于:
当该处理装置在该空间域对该第二画面的该辨识信息的显示坐标进行补偿时,该处理装置将该辨识信息于该第二画面的补偿前的显示坐标,与该辨识信息于所述第一画面的多个补偿前的显示坐标进行移动平均运算,以取得该补偿后坐标 。
19.如权利要求13所述的信息显示系统,其特征在于:
若该动态指标大于或等于该参考值,该处理装置根据该辨识框架于所述第一画面中的该移动轨迹计算移动速度,其中该移动速度包括抖动速度及平移速度,且该抖动速度的方向与该平移速度的方向垂直,
其中该处理装置滤除该移动速度中的该抖动速度以得到该平移速度,并根据该平移速度计算该补偿后坐标 。
20.如权利要求19所述的信息显示系统,其特征在于:
在该处理装置取得该补偿后坐标 之前,该处理装置根据第三画面的该辨识框架的移动轨迹来预测第四画面的该辨识信息的显示坐标,并根据所预测的该显示坐标于该显示屏幕上显示该辨识信息,其中该第三画面的时间顺序在该第四画面之前,且该第四画面的时间顺序在该第二画面之前。
CN201910056988.6A 2018-11-08 2019-01-22 信息显示系统及信息显示方法 Active CN111221486B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107139725A TWI729322B (zh) 2018-11-08 2018-11-08 資訊顯示系統及資訊顯示方法
TW107139725 2018-11-08

Publications (2)

Publication Number Publication Date
CN111221486A CN111221486A (zh) 2020-06-02
CN111221486B true CN111221486B (zh) 2023-04-07

Family

ID=70551893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910056988.6A Active CN111221486B (zh) 2018-11-08 2019-01-22 信息显示系统及信息显示方法

Country Status (3)

Country Link
US (1) US10997732B2 (zh)
CN (1) CN111221486B (zh)
TW (1) TWI729322B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200185A (zh) * 2020-10-10 2021-01-08 航天科工智慧产业发展有限公司 一种文字反向定位图片的方法及装置、计算机储存介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779491A (zh) * 2011-05-31 2012-11-14 京东方科技集团股份有限公司 一种场序背光颜色补偿方法及装置
CN102854495A (zh) * 2012-07-10 2013-01-02 中国船舶重工集团公司第七二四研究所 基于d3d颜色融合技术的雷达视频渲染显示的实现方法
CN107318008A (zh) * 2016-04-27 2017-11-03 深圳看到科技有限公司 全景视频播放方法及播放装置
JP2017204122A (ja) * 2016-05-11 2017-11-16 日本放送協会 表示装置、及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262140A1 (en) 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
JP5211120B2 (ja) 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
US20120056896A1 (en) 2010-09-02 2012-03-08 Border John N Presenting information on a see-though display
KR20120029228A (ko) 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
TW201333753A (zh) 2012-02-15 2013-08-16 Top Victory Invest Ltd 具有實景導覽功能之透明顯示器
CN103366708A (zh) 2012-03-27 2013-10-23 冠捷投资有限公司 具有实景导游功能的透明显示器
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
WO2015088484A1 (en) * 2013-12-09 2015-06-18 Empire Technology Development, Llc Localized audio source extraction from video recordings
CN104104886B (zh) * 2014-07-24 2016-07-06 努比亚技术有限公司 过曝拍摄方法及装置
EP3285476A4 (en) * 2015-04-14 2018-09-19 Sony Corporation Image processing device, image processing method, and image processing system
TW201738848A (zh) * 2016-04-26 2017-11-01 Next Animation Studio Ltd 基於圖形辨識的攝影機運動即時追蹤方法及系統
EP3608754A1 (en) * 2017-04-07 2020-02-12 Shenzhen Royole Technologies Co., Ltd. Hand gesture recognition method and related device
WO2018226712A1 (en) * 2017-06-05 2018-12-13 Robert Bosch Gmbh Measuring people-flow through doorways using easy-to-install ir array sensors
CN108111752A (zh) * 2017-12-12 2018-06-01 北京达佳互联信息技术有限公司 视频拍摄方法、装置及移动终端
WO2019127227A1 (en) * 2017-12-28 2019-07-04 Intel Corporation Vehicle sensor fusion
US10860865B2 (en) * 2018-09-13 2020-12-08 Chiral Software, Inc. Predictive security camera system
CN111428535A (zh) * 2019-01-09 2020-07-17 佳能株式会社 图像处理装置和方法及图像处理系统
CN109934848B (zh) * 2019-03-07 2023-05-23 贵州大学 一种基于深度学习的运动物体精准定位的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779491A (zh) * 2011-05-31 2012-11-14 京东方科技集团股份有限公司 一种场序背光颜色补偿方法及装置
CN102854495A (zh) * 2012-07-10 2013-01-02 中国船舶重工集团公司第七二四研究所 基于d3d颜色融合技术的雷达视频渲染显示的实现方法
CN107318008A (zh) * 2016-04-27 2017-11-03 深圳看到科技有限公司 全景视频播放方法及播放装置
JP2017204122A (ja) * 2016-05-11 2017-11-16 日本放送協会 表示装置、及びプログラム

Also Published As

Publication number Publication date
TW202019150A (zh) 2020-05-16
CN111221486A (zh) 2020-06-02
US20200151886A1 (en) 2020-05-14
TWI729322B (zh) 2021-06-01
US10997732B2 (en) 2021-05-04

Similar Documents

Publication Publication Date Title
JP6893564B2 (ja) ターゲット識別方法、装置、記憶媒体および電子機器
US9479709B2 (en) Method and apparatus for long term image exposure with image stabilization on a mobile device
JP4730431B2 (ja) 目標追尾装置
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
CN109583391B (zh) 关键点检测方法、装置、设备及可读介质
CN103973969A (zh) 电子装置及其影像选择方法
EP2570992A1 (en) Image processing apparatus, image processing method, and program
JP2016085487A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN111222509B (zh) 目标检测方法、装置及电子设备
Everding et al. Low-latency line tracking using event-based dynamic vision sensors
JP2008241707A (ja) 自動監視システム
CN111601013B (zh) 用于处理视频帧的方法和装置
CN110874853A (zh) 目标运动的确定方法、装置、设备及存储介质
CN111221486B (zh) 信息显示系统及信息显示方法
Kryjak et al. Real-time implementation of foreground object detection from a moving camera using the vibe algorithm
CN111899242B (zh) 基于多源信号的侵限检测方法和装置
JP2009182624A (ja) 目標追尾装置
CN110798681B (zh) 成像设备的监测方法、装置和计算机设备
CN112287805A (zh) 运动物体的检测方法、装置、可读存储介质及电子设备
US9842260B2 (en) Image processing apparatus and image processing method of performing image segmentation
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
JP2008047991A (ja) 画像処理装置
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
CN111684491A (zh) 目标跟踪方法、目标跟踪装置和无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant