CN110609721B - 信息显示方法及其显示系统 - Google Patents

信息显示方法及其显示系统 Download PDF

Info

Publication number
CN110609721B
CN110609721B CN201810896134.4A CN201810896134A CN110609721B CN 110609721 B CN110609721 B CN 110609721B CN 201810896134 A CN201810896134 A CN 201810896134A CN 110609721 B CN110609721 B CN 110609721B
Authority
CN
China
Prior art keywords
target object
information
display
target
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810896134.4A
Other languages
English (en)
Other versions
CN110609721A (zh
Inventor
张志嘉
林郁欣
陈健龙
王必先
郭信宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Original Assignee
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI, Intellectual Property Innovation Corp filed Critical Industrial Technology Research Institute ITRI
Publication of CN110609721A publication Critical patent/CN110609721A/zh
Application granted granted Critical
Publication of CN110609721B publication Critical patent/CN110609721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61KAUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K13/00Other auxiliaries or accessories for railways
    • B61K13/04Passenger-warning devices attached to vehicles; Safety devices for preventing accidents to passengers when entering or leaving vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种信息显示方法与系统,用于配置在载具上的透明显示器。此方法包括:在第一时间点采集具有目标物的影像;识别影像中的目标物,以获取目标物的第一相对位置;获取目标物的第一识别信息;获取载具与目标物之间的相对移动信息;依据目标物的第一相对位置、第一时间点以及相对移动信息估计目标物出现在透明显示器的显示区域中的第一估计位置与第一估计时间;以及依据第一估计时间、目标物的第一估计位置与目标物的第一识别信息,在透明显示器上显示对应目标物的提示信息。

Description

信息显示方法及其显示系统
技术领域
本发明是有关于一种信息显示方法与显示系统,且特别是有关于一种用于透明显示器的信息显示方法与系统。
背景技术
信息通讯产业已成为现今的主流产业,特别是可携带式的各种通讯显示产品更是目前发展的重点。平面显示器是人与信息之间的沟通界面,其发展显得特别重要。再者,透明显示面板的技术也已经在积极发展之中。透明显示面板是指显示面板本身具有一定程度的穿透性,能够显示面板后方的背景。透明显示器适用于建筑物窗户、汽车车窗与商店橱窗等多种应用。
将透明显示器与扩增实境(Augmented Reality,AR)技术结合,可将虚拟物件与透明显示器后的真实物件重叠。透明显示器也常被用来实现上述导览与解说的应用。例如,被配置于载具上的透明显示器可以同时显示窗外的景物与其对应的相关信息(例如,解说信息或其他广告信息)。也就是说,透过透明显示器所看到的景物与透明显示器所显示的对应于景物的相关信息落入于人可同时目视的范围内,才能使得观看者视线中的窗外景物与其相关信息的相对位置保持固定。目前外部影像电路及/或处理器大多安装在使用者的视线范围内,目标物在进入透明显示器后外部影像电路及/或处理器需要先对目标物进行辨识,再于透明显示器的显示区域显示与目标物的相关信息,这样容易造成透明显示器的信息显示时间过短,无法满足使用者需求。
发明内容
具体地说,本发明一范例实施例公开了一种信息显示方法,用于配置在载具上的透明显示器,其中该信息显示方法包括:
在第一时间点采集影像,其中该影像具有目标物;
识别该影像中的该目标物,以获取该目标物的第一相对位置;
获取该目标物的第一识别信息;
获取该载具与该目标物之间的相对移动信息;
依据该目标物的第一相对位置、该第一时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在该透明显示器的显示区域中的第一估计位置与第一估计时间;以及
依据该第一估计时间、该目标物的该第一估计位置与该目标物的第一识别信息,在该透明显示器的显示区域上显示对应该目标物的提示信息。
在一范例实施例中,该信息显示方法,其中还包括:
识别该载具中使用者;
依据该使用者的脸部位置或眼睛位置,计算该使用者的视线范围;以及
依据该使用者的视线范围获取该目标物的该第一估计位置。
在一范例实施例中,该信息显示方法,其中还包括:
估计该目标物在该透明显示器的显示区域中的多个相对位置;
对应所述相对位置在该透明显示器的显示区域中显示对应该目标物的多个提示信息;
判断该目标物的实际位置是否与所述相对位置重叠;
若判断该目标物的实际位置与所述相对位置重叠时,则不显示对应所述相对位置的所述提示信息。
在一范例实施例中,该信息显示方法,其中还包括:
在第二时间点采集另一影像,其中该另一影像具有该目标物;
识别该另一影像中的该目标物,以获取该目标物的第二相对位置;
获取该目标物的第二识别信息;
依据该目标物的第二相对位置、该第二时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间;以及
依据该第二估计时间、该目标物的第二估计位置与该目标物的第二识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
在一范例实施例中,该信息显示方法,其中还包括:
在第二时间点采集另一影像,其中该另一影像具有该目标物;
识别该另一影像中的该目标物,以获取该目标物的第二相对位置;
依据该目标物的第二相对位置、该第二时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间;以及
依据该第二估计时间、该目标物的第二估计位置与该目标物的第一识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
在一范例实施例中,该信息显示方法,其中还包括:
依据该目标物的第一相对位置、该第一时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间;以及
依据该第二估计时间、该目标物的第二估计位置与该目标物的第一识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
在一范例实施例中,该信息显示方法,其中还包括:
将该目标物在该第一时间点的第一相对位置与该目标物在另一时间点的相对位置进行比对,以预测该目标物的路径。
在一范例实施例中,该信息显示方法,其中还包括:
获取多个连续帧影像中的该目标物的相对位置;以及
将多个连续帧影像中的前一帧的该目标物的相对位置与后一帧的该目标物的相对位置分别比对,以判断该目标物的运动模式,并预测该目标物的路径。
在一范例实施例中,该信息显示方法,其中依据该第一估计时间、该目标物的该第一估计位置与该目标物的第一识别信息,在该透明显示器的显示区域上显示对应该目标物的该提示信息的步骤包括:
依据该使用者的该视线范围、该目标物的第一相对位置、该第一时间点、该目标物的第一估计位置、该第一估计时间以及该载具与该目标物之间的该相对移动信息,计算该目标物投射到该透明显示器的显示区域的位置;以及
依据所计算的位置在该透明显示器的显示区域上显示该目标物的提示信息。
本发明一范例实施例还公开了一种信息显示系统,其中包括:
透明显示器,用于配置在载具上;
第一外部影像电路;
速度检测装置;
处理器,电性连接至该透明显示器、该第一外部影像电路与该速度检测装置,
其中该第一外部影像电路用以在第一时间点采集影像,其中该影像具有目标物,
该处理器用以识别该影像中的目标物,
该第一外部影像电路用以获取该目标物的第一相对位置,
该速度检测装置用以采集该载具与该目标物之间的相对移动信息,
该处理器用以依据该目标物的第一相对位置、该第一时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在该透明显示器的显示区域中的第一估计位置与第一估计时间,以及
该处理器用以依据该第一估计时间、该目标物的该第一估计位置与该目标物的第一识别信息,在该透明显示器的显示区域上显示对应该目标物的一提示信息。
在一范例实施例中,该信息显示系统,其中还包括第一内部影像电路,
该第一内部影像电路用以识别该载具中的使用者,该处理器更用以依据该使用者的脸部位置或眼睛位置,计算该使用者的视线范围,并且该处理器更用以依据该使用者的视线范围获取该目标物的该第一估计位置。
在一范例实施例中,该信息显示系统,其中
该处理器更用以估计该目标物在该透明显示器的显示区域中的多个相对位置,
该透明显示器更用以对应所述相对位置在该透明显示器的显示区域中显示对应该目标物的多个提示信息,
该处理器更用以判断该目标物的实际位置是否与所述相对位置重叠,
若判断该目标物的实际位置与所述相对位置重叠时,则该透明显示器更用以不显示对应所述相对位置的所述提示信息。
在一范例实施例中,该信息显示系统,其中还包括第二外部影像电路,
其中该第二外部影像电路用以在第二时间点采集另一影像,其中该另一影像具有该目标物,
该处理器更用以识别该另一影像中的该目标物,以获取该目标物的第二相对位置,
该处理器更用以获取该目标物的第二识别信息,
该处理器更用以依据该目标物的第二相对位置、该第二时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间,以及
该处理器更用以依据该第二估计时间、该目标物的第二估计位置与该目标物的第二识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
在一范例实施例中,该信息显示系统,其中还包括第二外部影像电路,
其中该第二外部影像电路用以在第二时间点采集另一影像,其中该另一影像具有该目标物,
该处理器更用以识别该另一影像中的该目标物,以获取该目标物的第二相对位置,
该处理器更用以依据该目标物的第二相对位置、该第二时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间,以及
该处理器更用以依据该第二估计时间、该目标物的第二估计位置与该目标物的第一识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
在一范例实施例中,该信息显示系统,其中
该处理器更用以依据该目标物的第一相对位置、该第一时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间;以及
该处理器更用以依据该第二估计时间、该目标物的第二估计位置与该目标物的第一识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
在一范例实施例中,该信息显示系统,其中该处理器更用以将该目标物在该第一时间点的第一相对位置与该目标物在另一时间点的相对位置进行比对,以预测该目标物的路径。
在一范例实施例中,该信息显示系统,其中
该第一外部影像电路更用以获取连续帧影像中的该目标物的相对位置,以及
该处理器更用以将多个连续帧影像中的前一帧的该目标物的相对位置与后一帧的该目标物的相对位置分别比对,并且该处理器更用以判断该目标物的运动模式,并预测该目标物的路径。
在一范例实施例中,该信息显示系统,其中在该处理器用以依据该第一估计时间、该目标物的该第一估计位置与该目标物的第一识别信息,在该透明显示器的显示区域上显示对应该目标物的该提示信息的操作中,
该处理器更用以依据该使用者的该视线范围、该目标物的第一相对位置、该第一时间点、该目标物的第一估计位置、该第一估计时间以及该载具与该目标物之间的该相对移动信息,计算该目标物投射到该透明显示器的显示区域的位置;以及
该处理器更用以依据所计算的位置在该透明显示器的显示区域上显示该目标物的提示信息。
在一范例实施例中,该信息显示系统,其中该提示信息包括该目标物的影像、位置信息、移动路径及提示目标物出现时间的至少其中之一,其中该目标物的该影像、该位置信息、该移动路径及该提示目标物出现时间是以文字及/或图案来表示。
在一范例实施例中,该信息显示系统,其中该透明显示器被配置于该载具上,该速度检测装置用以取得该载具的载具移动信息以根据该载具移动信息采集该载具与该目标物之间的该相对移动信息,其中该载具移动信息包括相对加速度、相对速度以及移动方向。
本发明一范例实施例提供的信息显示方法与信息显示系统,在目标物未进入透明显示器时,便完成对目标物的识别,可以预先在透明显示器上显示与目标物相关的提示信息。
附图说明
图1为透明显示器的信息显示时间的示意图;
图2A为根据一范例实施例所绘示的信息显示系统的示意图;
图2B为根据一范例实施例所绘示的第一外部影像电路的设置位置是与信息显示系统的最大运算时间有关的示意图;
图2C为根据一范例实施例所绘示信息显示系统的最大运算时间与第一外部影像电路设置距离的关系示意图;
图3为依照本发明的一范例实施例所绘示的具备信息显示系统功能的透明显示器的示意图;
图4为依照本发明的一范例实施例所绘示的信息显示方法的流程图;
图5为依照本发明的一范例实施例中针对使用者视线范围内对目标物进行预测的示意图;
图6A及图6B为绘示分别以文字提示的提示信息示意图及以文字与图案提示的提示信息示意图;
图7A至图7D为绘示分别以图案提示的目标物辨识信息的预告示意图、目标物移动路径的预告示意图、目标物出现位置箭头指示的预告示意图以及目标物出现时间倒数的预告示意图;
图8A及图8B为绘示分别以文字与图案提示的对应目标物出现时间的倒数预告进行动态画面提示的示意图;
图9A为根据一范例实施例所绘示依据使用者视线范围获取目标物的第一估计位置的示意图;
图9B为根据另一范例实施例所绘示更依据使用者视线范围获取目标物的第一估计位置的流程图;
图10为根据一范例实施例所绘示依据使用者的视线范围来决定是否显示提示信息的流程图;
图11为根据一范例实施例所绘示依据目标物的实际位置决定是否显示提示信息的流程图;
图12为根据另一范例实施例所绘示依据目标物的实际位置决定是否显示提示信息的流程图;
图13为根据另一范例实施例所绘示依据目标物的实际位置决定是否显示提示信息的流程图;
图14为根据一范例实施例所绘示依据第一估计时间决定是否显示提示信息的流程图;
图15为根据一范例实施例所绘示在另一透明显示器的显示区域上显示对应目标物的提示信息的示意图;
图16为根据一范例实施例所绘示在另一透明显示器的显示区域上显示对应目标物的提示信息的流程图;
图17为根据另一范例实施例所绘示在另一透明显示器的显示区域上显示对应目标物的提示信息的流程图;
图18为根据再一范例实施例所绘示在另一透明显示器的显示区域上显示对应目标物的提示信息的流程图。
符号说明:
1000:信息显示系统; 100:处理器;
20a:外部影像电路; 120a:第一外部影像电路;
220a:第二外部影像电路; 120b:第一内部影像电路;
220b:第二内部影像电路; 120c:速度检测装置;
140、240:透明显示器; 160:储存装置;
180:显示电路; 10:使用者;
20:载具; 30:目标物;
T0:第一时间点; T1:第二时间点;
L0:第一相对位置; L1:第二相对位置;
L1’:第一估计位置; L2’:第二估计位置;
T1’:第一估计时间; T2’:第二估计时间;
T0~T1:目标物辨识时间; T1~T2:信息显示时间;
L1’、L2’、L3’、L4’:相对位置/目标物投射到透明显示器的显示区域的位置;
S401~S411、S901~S915、S1001~S1005、S1101~S1105、S1201~S1205、S1301~S1307、S1401~S1405、S1601~S1609、S1701~S1707、S1801~S1803:信息显示方法的步骤。
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂,下文特举实施例,并配合说明书附图作详细说明如下。
现将参考附图说明本发明之范例实施例。另外,凡可能之处,在图式及实施方式中使用相同标号的元件/构件代表相同或类似部分。此外应理解,术语“第一”、“第二”等可以在本文中用于描述各种元件,但这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开来。举例来说,在不脱离本发明概念的范围内,第一数据采集电路可以被称为第二数据采集电路,并且类似地,第二数据采集电路可以被称为第一数据采集电路。
图1为透明显示器的信息显示时间的示意图。
请参照图1,于一范例实施例中,透明显示器140配置于载具20上,外部影像电路20a安装在透明显示器140及/或载具20的前方,目标物30在进入使用者10的视线范围内之前,外部影像电路20a于T0采集包含目标物30的影像,T0为外部影像电路20a可采集包含目标物30影像的起始时间,处理器100用以辨识影像中的目标物30,并于辨识完毕后在透明显示器140的显示区域上显示目标物30的相关信息。也就是说,目标物30在进入透明显示器140之前外部影像电路20a便预先获取目标物信息,并且处理器100在目标物辨识时间T0~T1内对目标物进行辨识,再于信息显示时间T1~T2内在透明显示器140的显示区域显示与目标物30的相关信息。然而于另一范例实施例中,透明显示器140可以是不需要配置于载具20上的头戴式显示器。另外,外部影像电路20a配置于载具20上,并且与透明显示器140连接。在另一范例实施例中,外部影像电路20a也可包含完成辨识目标物30功能之可程序化处理单元、微处理器(micro-processor)、特殊应用集成电路(Application SpecificIntegrated Circuits,ASIC)、可程序化逻辑装置(Programmable Logic Device,PLD)或其他类似电路元件,本发明并不限于此。
图2A是根据本发明的一范例实施例所绘示的信息显示系统的示意图。
请同时参照图1及图2A,信息显示系统1000包括处理器100、第一外部影像电路120a、第一内部影像电路120b、速度检测装置120c、透明显示器140以及储存装置160。处理器100、第一外部影像电路120a、第一内部影像电路120b、速度检测装置120c、透明显示器140以及储存装置160彼此之间可以透过有线或无线的方式电性连接。
处理器100用以控制信息显示系统1000的整体运作。例如,处理器100可以是中央处理单元(Central Processing Unit,CPU),或是其他可程序化之一般用途或特殊用途的微处理器(Microprocessor)、数位信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuit,ASIC)或其他类似元件或上述元件的组合。
第一外部影像电路120a与第一内部影像电路120b用以采集影像。第一外部影像电路120a是用以配置在载具20前方,以采集外部的影像,而第一内部影像电路120b是用以采集载具20内使用者10的影像。
在本范例实施例中,第一外部影像电路120a的设置位置可与信息显示系统1000的最大运算时间有关(见图2B),载具20与目标物30之间的相对加速度符合关系式:。
其中,Vrel为使用者10与目标物30之间的相对速度,tcom为最大运算时间,xcamera为用以采集外部影像的第一外部影像电路120a与透明显示器140的中心距离,α为第一外部影像电路120a的视野范围的半角,θ为使用者10的视野范围的半角,d1为使用者10与透明显示器140的距离,d2为目标物30与透明显示器140的距离。
信息显示系统1000的最大运算时间是指目标物30在进入使用者10人眼观看视角范围之前,信息显示系统1000完成识别目标物30的时间。
图2C是根据一范例实施例所绘示信息显示系统的最大运算时间与第一外部影像电路设置距离的关系示意图,并且表1是当使用者10视角分别为65度及55度时,第一外部影像电路120a的设置距离与信息显示系统1000的最大运算时间的列表。
请参照图2C,在使用者10与目标物30的相对速度Vrel为100公里/小时(例如载具20是列车),使用焦距10毫米广角相机(α为65度)的例子中,当透明显示器140的显示信息随着目标物移动,使用者10人眼距离显示信息1公尺,观赏418公尺外的目标物30时,信息显示系统1000的最大运算时间范围如图2C及表1所示。
表1:
举例来说,在第一外部影像电路120a的设置距离为5公尺,使用者10视角分别为65度及55度时,信息显示系统1000的最大运算时间分别为0.18秒及11.04秒。也就是说,信息显示系统1000需要0.18秒或11.04秒的时间识别目标物30,并且目标物30在0.18秒或11.04秒之后便进入透明显示器140中。
请再参考图2A,第一内部影像电路120b用以检测载具20内的使用者10。例如,第一内部影像电路120b包括人眼追踪系统或人眼追踪电路,其可以用于判断使用者10的视角以及所注视的景物。于一范例实施例中,可采用通用型眼球辨识模块检测使用者10的脸部位置或眼睛位置,计算使用者的视线范围,在此不再赘述。
例如,第一外部影像电路120a与第一内部影像电路120b可以采用电荷耦合元件(Charge coupled device,CCD)镜头、互补式金氧半晶体管(Complementary metal oxidesemiconductortransistors,CMOS)镜头、红外线镜头的摄影机或照相机。
速度检测装置120c例如是包括载具时速表、陀螺仪、全球定位系统(GlobalPositioning System,GPS)等可测得速度和加速度的仪器,其可以用于取得载具20的移动信息。
透明显示器140用以显示信息。透明显示器140具有一定程度的光线穿透性,能够呈现出面板后方的背景。也就是说,透明显示器140的显示区域在视觉上是可穿透的。本范例实施例的透明显示器140可适用于建筑物(如,观景台、水族馆、博物馆)中的窗户、展览橱窗、车辆玻璃兼显示器…等多种应用。
储存装置160用以储存数据。可以是任何型态的固定或可移动随机存取存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、闪存(flashmemory)或类似元件或上述元件的组合。例如,依据第一外部影像电路120a所检测到的影像,处理器100可以依据储存装置160中的物件数据库来识别出所检测到的目标物30。或者,依据第一内部影像电路120b所检测到的使用者10,处理器100可以从储存装置160中的使用者数据库中来搜寻使用者偏好的信息。
在本范例实施例中,储存装置160中储存有多个程序码片段,在程序码片段被安装后,可由处理器100来执行。例如,储存装置160中包括多个模块,通过这些模块来分别执行信息显示系统1000中的各个运作,其中各模块是由一或多个程序码片段所组成。然而本发明不限于此,信息显示系统1000的各个运作也可以是使用其他硬件形式的方式来实现。
在一范例实施例中,信息显示系统1000所能执行的运作也可以整合至单一一个透明显示器140中。例如,图3是依照本发明的一范例实施例所绘示的具备信息显示系统功能的透明显示器的示意图。
请参照图3,透明显示器140包括处理器100、显示电路180以及储存装置160。处理器100、第一外部影像电路120a、第一内部影像电路120b、速度检测装置120c、显示电路180以及储存装置160彼此之间可以透过有线或无线的方式电性连接。
显示电路180用以在透明显示器140的显示区域内显示影像。显示电路180可为液晶显示器(liquid crystal display,LCD)、发光二极管(light-emitting diode,LED)包括无机发光二极管显示器或有机发光二极管显示器、场发射显示器(field emissiondisplay,FED)、投影式显示器、穿戴式显示器等提供显示功能的显示装置。
在本范例实施例中,透明显示器140的储存装置160中储存有多个程序码片段,在上述程序码片段被安装后,可由处理器100来执行。例如,储存装置160中包括多个模块,通过这些模块来分别执行透明显示器140中的各个运作,其中各模块是由一或多个程序码片段所组成。然而,本发明不限于此,透明显示器140的各个运作也可以是使用其他硬件形式的方式来实现。
为了方便于解释,以下范例实施例使用图2A的信息显示系统1000进行说明,而相同的范例实施例也可以应用至如图3的透明显示器140中。
图4是依照本发明的一范例实施例所绘示的信息显示方法的流程图,并且图5是依照本发明的一范例实施例所绘示针对使用者视线范围内对目标物进行预测的示意图。
请参照图2A、图4及图5,在步骤S401中,第一外部影像电路120a在第一时间点T0采集透明显示器140外部的影像。例如,此影像包含目标物30。
在步骤S403中,处理器100将第一外部影像电路120a采集的影像与储存在储存装置160中目标物30的相关信息进行比对,以识别影像中的目标物30。此外,第一外部影像电路120a会获取目标物30在第一时间点T0的第一相对位置L0。于一范例实施例中,载具20可以是包括有多节连续设置的车厢的观光用轨道电车、巴士、轻轨等,每一节车厢上分别设置有透明显示器140。
在步骤S405中,处理器100可获取目标物30的第一识别信息。此第一识别信息是由第一外部影像电路120a采集的影像与储存在储存装置160中与目标物30的相关信息经比对后而获取。
在步骤S407中,速度检测装置120c会取得载具20的载具移动信息,并根据载具移动信息获取载具20与目标物30之间的相对移动信息。例如,载具移动信息包括相对加速度、相对速度以及移动方向等。
在步骤S409中,处理器100会依据目标物30的第一相对位置L0、第一时间点T0以及载具20与目标物30之间的相对移动信息估计目标物30出现在透明显示器140的显示区域中的第一估计位置L1’与第一估计时间T1’。需要注意的是,本范例实施例不限定步骤S403、S405、S407的执行顺序。
并且,在步骤S411中,处理器100依据第一估计时间T1’、目标物30的第一估计位置L1’与目标物30的第一识别信息,在透明显示器140的显示区域上显示对应目标物30的提示信息。
图6A及图6B是绘示分别以文字提示的提示信息示意图及以文字与图案提示的提示信息示意图。其中,T0~T1为目标物辨识时间,T1~T2为信息显示时间。图7A至图7D,分别是以图案提示的目标物辨识信息的预告示意图、目标物移动路径的预告示意图、目标物出现位置箭头指示的预告示意图以及目标物出现时间倒数的预告示意图。图8A及图8B,分别是以文字与图案提示的对应目标物出现时间的倒数预告进行动态画面提示的示意图。
请参照图6A至8B,例如,提示信息可以是目标物30的影像、位置信息、移动路径及提示目标物30出现时间的至少其中之一,并且目标物30的影像、位置信息、移动路径及提示目标物30出现时间可利用文字或图案来表示。
除了依据所检测到的目标物30的信息来在透明显示器140上显示信息外,在另一范例实施例中,信息显示系统1000更可考量载具20内的乘客的视线范围来显示信息。
图9A是根据使用者视线范围获取目标物的第一估计位置示意图,并且图9B是根据另一范例实施例所绘示更依据使用者视线范围获取目标物的第一估计位置的流程图。
请参照图2、图5、图9A与图9B,在步骤S901中,第一内部影像电路120b可识别载具20中的使用者10。
在步骤S903中,处理器100会依据第一内部影像电路120b检测使用者10的脸部位置或眼睛位置,计算使用者10的视线范围。于一范例实施例中,可采用通用型眼球辨识模块检测使用者10的脸部位置或眼睛位置,计算使用者10的视线范围,在此不再赘述。
在步骤S905中,第一外部影像电路120a在第一时间点T0采集透明显示器140外部的影像。此影像例如是包含目标物30的影像。
在步骤S907中,处理器100将第一外部影像电路120a采集的影像与储存在储存装置160中目标物30的相关信息进行比对,以识别影像中的目标物30。
在步骤S909中,处理器100会获取目标物30的第一识别信息。此第一识别信息由第一外部影像电路120a采集的影像与储存在储存装置160中目标物30的相关信息经比对后而获取。
在步骤S911中,速度检测装置120c会取得载具20的载具移动信息,并根据载具移动信息获取载具20与目标物30之间的相对移动信息。例如,载具移动信息包括相对加速度、相对速度以及移动方向等。
在步骤S913中,处理器100会依据目标物30的第一相对位置L0、第一时间点T0、载具20与目标物30之间的相对移动信息以及使用者10的视线范围,估计目标物30出现在透明显示器140的显示区域中的第一估计位置L1’与第一估计时间T1’。需要注意的是,本范例实施例不限定步骤S903、S905、S911的执行顺序。
例如,在步骤S913中,处理器100可利用目标物30与使用者10视线融合算法计算目标物30投射到透明显示器140的显示区域的位置L1’。具体来说,处理器100可设定透明显示器140的中心点为位置原点,目标物30的第一相对位置L0的坐标为(Xa,Ya,Za),目标物30的第二相对位置L1的坐标为(Xd,Yd,Zd),目标物30投射到透明显示器140的显示区域的位置L1’的坐标为(Xc,Yc,0),Vx为载具20与目标物30之间的相对移动速度,从而求解出Xc=Xb+[Xa-Xb+Vx(T1-T0)]*Zb/(Za-Zb),Yc=Yb+(Ya-Yb)*Zb/(Za-Zb),进而获得目标物30投射到透明显示器140的显示区域的位置L1’(如图9A所示)。
最后,在步骤S915中,处理器100依据第一估计时间T1’、目标物30的第一估计位置L1’与目标物30的第一识别信息,在透明显示器140的显示区域上显示对应目标物30的提示信息。
在本发明的一范例实施例中,信息显示系统1000还可更依据一些条件决定是否显示提示信息。
图10是根据一范例实施例所绘示依据使用者的视线范围来决定是否显示提示信息的流程图。
请参照图10,在步骤S1001中,处理器100会判断在透明显示器140的显示区域中的目标物30是否与使用者10的视线范围重叠。
若在透明显示器140的显示区域中的目标物30不与使用者10的视线范围重叠时,在步骤S1003中,处理器100不显示对应目标物30的提示信息。
若在透明显示器140的显示区域中的目标物30与使用者10的视线范围重叠时,在步骤S1005中,处理器100会显示对应目标物30的提示信息。
图11是根据一范例实施例所绘示依据目标物的实际位置决定是否显示提示信息的流程图。
请参照图11,步骤S1101中,处理器100会判断目标物30是否出现在透明显示器140的显示区域中。
若目标物30未出现在透明显示器140的显示区域时,在步骤S1103中,处理器100不显示对应目标物30的提示信息。
若目标物30出现在透明显示器140的显示区域中时,在步骤S1105中,处理器100会显示对应目标物30的提示信息。
图12是根据另一范例实施例所绘示依据目标物的实际位置决定是否显示提示信息的流程图。
请参照图12,在步骤S1201中,处理器100会判断目标物30在透明显示器140的显示区域中的实际位置是否重叠或部分重叠于第一估计位置L1’。
若目标物30在透明显示器140的显示区域中的位置重叠或部分重叠于第一估计位置L1’时,在步骤S1203中,处理器100不显示对应目标物30的提示信息。
若目标物30在透明显示器140的显示区域中的位置不重叠于第一估计位置L1’时,在步骤S1205中,处理器100会显示对应目标物30的提示信息。
除了依据单个估计位置外,在另一范例实施例中,也可依据多个估计位置来显示或不显示提示信息。
图13是根据另一范例实施例所绘示依据目标物的实际位置决定是否显示提示信息的流程图。
请参照图13,在步骤S1301中,处理器100可估计目标物30在透明显示器140的显示区域中的多个相对位置。
在步骤S1303中,处理器100会对应所述相对位置在透明显示器140的显示区域中显示对应目标物30的多个提示信息。
在步骤S1305中,处理器100会判断目标物30的实际位置是否与所述相对位置重叠或部分重叠。
若判断目标物30的实际位置与所述相对位置重叠或部分重叠时,在步骤S1307中,则处理器100会不显示对应的提示信息。例如,以图7B为例,处理器100会显示目标物30移动路径的预告。L1’、L2’、L3’、L4’分别为估计目标物30在透明显示器的显示区域中的多个相对位置。当判断目标物30的实际位置与相对位置L1’重叠或部分重叠时,不显示对应相对位置L1’的提示信息。以此类推,当判断目标物30的实际位置与相对位置L2’重叠或部分重叠时,不显示对应相对位置L2’的提示信息。
若判断目标物30的实际位置与所述相对位置不重叠时,回到步骤S1305。
图14是根据一范例实施例所绘示依据第一估计时间决定是否显示提示信息的流程图。
请参照图14,在步骤S1401中,处理器100会判断第一估计时间T1’是否为0。
若第一估计时间T1’为0时,在步骤S1403中,则处理器100会不显示提示信息。
若第一估计时间T1’不为0时,在步骤S1405中,则处理器100会显示该提示信息。
例如,图14所示的实施例可以结合图7D,显示目标物出现时间倒数的预告示意图。例如,第一估计时间T1’表示的是目标物30出现在透明显示器140的显示区域中的倒数时间。也就是说,例如当第一估计时间T1’为3秒时,图7D中显示的提示信息是目标物30出现在透明显示器140的显示区域中的倒数时间剩3秒,待3秒过后,目标物30会出现在透明显示器140的显示区域中,并且此时会不显示提示信息。
在上述范例实施例中,是以一个透明显示器为例进行说明,在另一范例实施例中,本发明的信息显示方法亦可应用于多个透明显示器(例如,配置于列车中的多个车厢的透明显示器)。
图15根据一范例实施例所绘示在另一透明显示器的显示区域上显示对应目标物的提示信息的示意图,并且图16是根据一范例实施例所绘示在另一透明显示器的显示区域上显示对应目标物的提示信息的流程图。在此范例实施例中,在载具20中更配置第二外部影像电路220a与第二内部影像电路220b,其中第二外部影像电路220a用以采集载具20外部的影像,而第二内部影像电路220b用以采集位于另一透明显示器240前方的使用者10的影像。第二外部影像电路220a与第二内部影像电路220b的结构可与第一外部影像电路120a与第一内部影像电路120b的结构相似,在此不再重复描述。
请同时参照图15及图16,在步骤S1601中,第二外部影像电路220a在第二时间点T1采集具有目标物30的另一影像。
在步骤S1603中,处理器100识别另一影像中的目标物30,以获取目标物30的第二相对位置L1。
在步骤S1605中,处理器100获取目标物30的第二识别信息。例如,第二识别信息是由第二外部影像电路220a采集的影像与储存在储存装置160中目标物30的相关信息经比对后而获取。
在步骤S1607中,处理器100依据目标物30的第二相对位置L1、第二时间点T1以及载具与目标物30之间的相对移动信息估计目标物30出现在另一透明显示器240的显示区域中的第二估计位置L2’与第二估计时间T2’。
在步骤S1609中,处理器100依据第二估计时间T2’、目标物的第二估计位置L2’与目标物30的第二识别信息,在另一透明显示器240的显示区域上显示对应目标物30的提示信息。
由于出现在多个透明显示器上的目标物可以相同,因此,在另一范例实施例中亦可将先前获取识别信息传递给下一个透明显示器来显示。
图17是根据另一范例实施例所绘示在另一透明显示器的显示区域上显示对应目标物的提示信息的流程图。
请同时参照图15及图17,在步骤S1701中,第二外部影像电路220a在第二时间点T1采集具有目标物30的另一影像。
在步骤S1703中,处理器100会识别另一影像中的目标物30,以获取目标物30的第二相对位置L1。
在步骤S1705中,处理器100依据目标物30的第二相对位置L1、第二时间点T1以及载具20与目标物30之间的相对移动信息估计目标物30出现在另一透明显示器240的显示区域中的第二估计位置L2’与第二估计时间T2’。
在步骤S1707中,处理器100依据第二估计时间T2’、目标物的第二估计位置L2’与目标物30的第一识别信息,在另一透明显示器240的显示区域上显示对应目标物30的提示信息。也就是说,此第一识别信息可由第一外部影像电路120a采集的影像与储存在储存装置160中目标物30的相关信息经比对后而获取。
由于多个透明显示器的排列可为固定,在另一范例实施中亦可直接使用最初检测到的信息来推估目标物出现在另一透明显示器的位置与时间,而无需再次检测目标物的位置。也就是说,无需再配置第二外部影像电路220a。
图18是根据另一范例实施例所绘示在另一透明显示器的显示区域上显示对应目标物的提示信息的流程图。
请同时参照图15及图18,在步骤S1801中,处理器100依据目标物30的第一相对位置L0、第一时间点T0以及载具20与目标物30之间的相对移动信息估计目标物30出现在另一透明显示器240的显示区域中的第二估计位置L2’与第二估计时间T2’。
在步骤S1803中,处理器100依据第二估计时间T2’、目标物30的第二估计位置L2’与目标物30的第一识别信息,在另一透明显示器240的显示区域上显示对应目标物30的提示信息。此第一识别信息由第一外部影像电路120a采集的影像与储存在储存装置160中与目标物30的相关信息经比对后而获取。
例如,在一范例实施例中,处理器100获取多个连续帧影像中的目标物30的相对位置,并且将多个连续帧影像中的前一帧的目标物30相对位置与后一帧的目标物30相对位置分别比对,以判断目标物30的运动模式,并预测目标物30的路径。基此,处理器100可预测目标物30在一或多个透明显示器的显示区域的路径。具体来说,处理器100将第1帧影像的目标物30位置与第2帧影像的目标物30位置进行比对,预测第3帧及第4帧的目标物30的估计位置,然后将第3帧的目标物30实际位置与第3帧的目标物30估计位置比对,再将第4帧的目标物30实际位置与第4帧的目标物30估计位置比对。于本实施例中,通过第1帧至第4帧甚至更多帧的目标物30的位置比对,可以获得目标物30的加速度特性,判断目标物30的运动模式。当目标物30的加速度为0时,判断目标物30的运动模式为等速度直线运动。当目标物30的加速度为常数时,判断目标物30的运动模式为自由落体运动。当目标物30的加速度非为常数时,判断目标物30的运动模式为等速圆周运动。此范例实施例通过比对多个连续帧影像的目标物30位置来判断目标物30的运动模式,提高目标物30运动路径预测的精确性。
本发明一实施例的信息显示方法与信息显示系统在目标物未进入透明显示器时,便完成对目标物的识别,可以预先在透明显示器上显示与目标物相关的提示信息。
虽然本发明以上述实施例公开,但具体实施例仅用以解释本发明,并不用于限定本发明,任何本技术领域技术人员,在不脱离本发明的构思和范围内,可作一些的变更和完善,故本发明的权利保护范围以权利要求书及其均等范围为准。

Claims (18)

1.一种信息显示方法,用于配置在载具上的透明显示器,其特征在于,该信息显示方法包括:
在第一时间点采集影像,其中该影像具有目标物;
识别该影像中的该目标物,以获取该目标物的第一相对位置;
获取该目标物的第一识别信息;
获取该载具与该目标物之间的相对移动信息;
依据该目标物的第一相对位置、该第一时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在该透明显示器的显示区域中的第一估计位置与该目标物出现在该透明显示器的显示区域中的该第一估计位置的第一估计时间;以及
依据该第一估计时间、该目标物的该第一估计位置与该目标物的第一识别信息,在该透明显示器的显示区域上显示对应该目标物的提示信息;以及
该信息显示方法还包括:
估计该目标物在该透明显示器的显示区域中的多个相对位置;
对应所述相对位置在该透明显示器的显示区域中显示对应该目标物的多个提示信息;
判断该目标物的实际位置是否与所述相对位置重叠或部分重叠;
若判断该目标物的实际位置与所述相对位置重叠或部分重叠时,则不显示对应所述相对位置的所述提示信息。
2.如权利要求1所述的信息显示方法,其特征在于,还包括:
识别该载具中使用者;
依据该使用者的脸部位置或眼睛位置,计算该使用者的视线范围;以及
依据该使用者的视线范围获取该目标物的该第一估计位置。
3.如权利要求1所述的信息显示方法,其特征在于,还包括:
在第二时间点采集另一影像,其中该另一影像具有该目标物;
识别该另一影像中的该目标物,以获取该目标物的第二相对位置;
获取该目标物的第二识别信息;
依据该目标物的第二相对位置、该第二时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间;以及
依据该第二估计时间、该目标物的第二估计位置与该目标物的第二识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
4.如权利要求1所述的信息显示方法,其特征在于,还包括:
在第二时间点采集另一影像,其中该另一影像具有该目标物;
识别该另一影像中的该目标物,以获取该目标物的第二相对位置;
依据该目标物的第二相对位置、该第二时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间;以及
依据该第二估计时间、该目标物的第二估计位置与该目标物的第一识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
5.如权利要求1所述的信息显示方法,其特征在于,还包括:
依据该目标物的第一相对位置、该第一时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间;以及
依据该第二估计时间、该目标物的第二估计位置与该目标物的第一识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
6.如权利要求1所述的信息显示方法,其特征在于,还包括:
将该目标物在该第一时间点的第一相对位置与该目标物在另一时间点的相对位置进行比对,以预测该目标物的路径。
7.如权利要求1所述的信息显示方法,其特征在于,还包括:
获取多个连续帧影像中的该目标物的相对位置;以及
将多个连续帧影像中的前一帧的该目标物的相对位置与后一帧的该目标物的相对位置分别比对,以判断该目标物的运动模式,并预测该目标物的路径。
8.如权利要求2所述的信息显示方法,其特征在于,依据该第一估计时间、该目标物的该第一估计位置与该目标物的第一识别信息,在该透明显示器的显示区域上显示对应该目标物的该提示信息的步骤包括:
依据该使用者的该视线范围、该目标物的第一相对位置、该第一时间点、该目标物的第一估计位置、该第一估计时间以及该载具与该目标物之间的该相对移动信息,计算该目标物投射到该透明显示器的显示区域的位置;以及
依据所计算的位置在该透明显示器的显示区域上显示该目标物的提示信息。
9.一种信息显示系统,其特征在于,包括:
透明显示器,用于配置在载具上;
第一外部影像电路;
速度检测装置;
处理器,电性连接至该透明显示器、该第一外部影像电路与该速度检测装置,
其中该第一外部影像电路用以在第一时间点采集影像,其中该影像具有目标物,
该处理器用以识别该影像中的目标物,
该第一外部影像电路用以获取该目标物的第一相对位置,
该速度检测装置用以采集该载具与该目标物之间的相对移动信息,
该处理器用以依据该目标物的第一相对位置、该第一时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在该透明显示器的显示区域中的第一估计位置与该目标物出现在该透明显示器的显示区域中的该第一估计位置的第一估计时间,以及
该处理器用以依据该第一估计时间、该目标物的该第一估计位置与该目标物的第一识别信息,在该透明显示器的显示区域上显示对应该目标物的一提示信息;
该处理器还用以估计该目标物在该透明显示器的显示区域中的多个相对位置,
该透明显示器还用以对应所述相对位置在该透明显示器的显示区域中显示对应该目标物的多个提示信息,
该处理器还用以判断该目标物的实际位置是否与所述相对位置重叠或部分重叠,
若判断该目标物的实际位置与所述相对位置重叠或部分重叠时,则该透明显示器不显示对应所述相对位置的所述提示信息。
10.如权利要求9所述的信息显示系统,其特征在于,还包括第一内部影像电路,
该第一内部影像电路用以识别该载具中的使用者,该处理器还用以依据该使用者的脸部位置或眼睛位置,计算该使用者的视线范围,并且该处理器还用以依据该使用者的视线范围获取该目标物的该第一估计位置。
11.如权利要求9所述的信息显示系统,其特征在于,还包括第二外部影像电路,
其中该第二外部影像电路用以在第二时间点采集另一影像,其中该另一影像具有该目标物,
该处理器还用以识别该另一影像中的该目标物,以获取该目标物的第二相对位置,
该处理器还用以获取该目标物的第二识别信息,
该处理器还用以依据该目标物的第二相对位置、该第二时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间,以及
该处理器还用以依据该第二估计时间、该目标物的第二估计位置与该目标物的第二识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
12.如权利要求9所述的信息显示系统,其特征在于,还包括第二外部影像电路,
其中该第二外部影像电路用以在第二时间点采集另一影像,其中该另一影像具有该目标物,
该处理器还用以识别该另一影像中的该目标物,以获取该目标物的第二相对位置,
该处理器还用以依据该目标物的第二相对位置、该第二时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间,以及
该处理器还用以依据该第二估计时间、该目标物的第二估计位置与该目标物的第一识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
13.如权利要求9所述的信息显示系统,其特征在于,
该处理器还用以依据该目标物的第一相对位置、该第一时间点以及该载具与该目标物之间的该相对移动信息估计该目标物出现在另一透明显示器的显示区域中的第二估计位置与第二估计时间;以及
该处理器还用以依据该第二估计时间、该目标物的第二估计位置与该目标物的第一识别信息,在该另一透明显示器的显示区域上显示对应该目标物的该提示信息。
14.如权利要求9所述的信息显示系统,其特征在于,该处理器还用以将该目标物在该第一时间点的第一相对位置与该目标物在另一时间点的相对位置进行比对,以预测该目标物的路径。
15.如权利要求9所述的信息显示系统,其特征在于,
该第一外部影像电路还用以获取连续帧影像中的该目标物的相对位置,以及
该处理器还用以将多个连续帧影像中的前一帧的该目标物的相对位置与后一帧的该目标物的相对位置分别比对,并且该处理器还用以判断该目标物的运动模式,并预测该目标物的路径。
16.如权利要求10所述的信息显示系统,其特征在于,在该处理器用以依据该第一估计时间、该目标物的该第一估计位置与该目标物的第一识别信息,在该透明显示器的显示区域上显示对应该目标物的该提示信息的操作中,
该处理器还用以依据该使用者的该视线范围、该目标物的第一相对位置、该第一时间点、该目标物的第一估计位置、该第一估计时间以及该载具与该目标物之间的该相对移动信息,计算该目标物投射到该透明显示器的显示区域的位置;以及
该处理器还用以依据所计算的位置在该透明显示器的显示区域上显示该目标物的提示信息。
17.如权利要求9所述的信息显示系统,其特征在于,该提示信息包括该目标物的影像、位置信息、移动路径及提示目标物出现时间的至少其中之一,其中该目标物的该影像、该位置信息、该移动路径及该提示目标物出现时间是以文字及/或图案来表示。
18.如权利要求9所述的信息显示系统,其特征在于,该透明显示器被配置于该载具上,该速度检测装置用以取得该载具的载具移动信息以根据该载具移动信息采集该载具与该目标物之间的该相对移动信息,其中该载具移动信息包括相对加速度、相对速度以及移动方向。
CN201810896134.4A 2018-06-15 2018-08-08 信息显示方法及其显示系统 Active CN110609721B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107120865 2018-06-15
TW107120865A TWI670646B (zh) 2018-06-15 2018-06-15 資訊顯示方法及其顯示系統

Publications (2)

Publication Number Publication Date
CN110609721A CN110609721A (zh) 2019-12-24
CN110609721B true CN110609721B (zh) 2023-08-25

Family

ID=68618850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810896134.4A Active CN110609721B (zh) 2018-06-15 2018-08-08 信息显示方法及其显示系统

Country Status (3)

Country Link
US (1) US10614780B2 (zh)
CN (1) CN110609721B (zh)
TW (1) TWI670646B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI745955B (zh) 2020-05-06 2021-11-11 宏碁股份有限公司 擴增實境系統與其錨定顯示方法
CN116107534A (zh) * 2021-11-10 2023-05-12 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示系统
CN114363599A (zh) * 2022-02-24 2022-04-15 北京蜂巢世纪科技有限公司 基于电子变焦的追焦距方法、系统、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096446A (zh) * 2009-11-26 2011-06-15 Lg电子株式会社 移动终端及其控制方法
CN103581618A (zh) * 2012-08-01 2014-02-12 鸿富锦精密工业(深圳)有限公司 通过透明显示屏监控目标物的显示设备及监控方法
CN104272371A (zh) * 2012-04-08 2015-01-07 三星电子株式会社 透明显示设备及其方法
CN104428707A (zh) * 2012-07-10 2015-03-18 三星电子株式会社 用于显示危险元素的信息的透明显示设备及其方法
WO2015169018A1 (zh) * 2014-05-04 2015-11-12 京东方科技集团股份有限公司 透明显示系统以及设置有透明显示系统的设备
CN107909600A (zh) * 2017-11-04 2018-04-13 南京奇蛙智能科技有限公司 一种基于视觉的无人机实时运动目标分类与检测方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382274B1 (en) 2000-01-21 2008-06-03 Agere Systems Inc. Vehicle interaction communication system
US8082101B2 (en) * 2004-04-08 2011-12-20 Mobileye Technologies Ltd. Collision warning system
US7451041B2 (en) 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
TWI334393B (en) * 2008-10-07 2010-12-11 Ind Tech Res Inst Image-based vehicle maneuvering assistant method and system
JP5211120B2 (ja) * 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
KR20120029228A (ko) 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
IL208600A (en) 2010-10-10 2016-07-31 Rafael Advanced Defense Systems Ltd Real-time network-based laminated reality for mobile devices
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
JP6103526B2 (ja) * 2013-03-15 2017-03-29 オリンパス株式会社 撮影機器,画像表示機器,及び画像表示機器の表示制御方法
US9505412B2 (en) * 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level
US9688199B2 (en) * 2014-03-04 2017-06-27 Magna Electronics Inc. Vehicle alert system utilizing communication system
KR20150110254A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 Hmd 디바이스 및 그 동작 방법
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
KR102321362B1 (ko) * 2014-07-29 2021-11-04 삼성전자주식회사 헤드 마운트 디스플레이 디바이스가 영상을 디스플레이하는 방법 및 그 헤드 마운트 디스플레이 디바이스
US10609273B2 (en) 2014-07-31 2020-03-31 Maxell, Ltd. Image pickup device and method of tracking subject thereof
SE539221C2 (en) * 2015-06-04 2017-05-23 Scania Cv Ab Method and control unit for avoiding an accident at a crosswalk
CN106126144B (zh) * 2016-06-28 2019-03-29 联想(北京)有限公司 一种信息显示方法及电子设备
CN106303217A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种辅助成像方法及具有辅助成像系统的移动终端
US20180089854A1 (en) * 2016-09-26 2018-03-29 Korea Electronics Technology Institute 3d transparent display device and operating method thereof
CN108227914B (zh) * 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
CN106686230A (zh) * 2016-12-26 2017-05-17 努比亚技术有限公司 移动终端及基于移动终端识别当前视频内容的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096446A (zh) * 2009-11-26 2011-06-15 Lg电子株式会社 移动终端及其控制方法
CN104272371A (zh) * 2012-04-08 2015-01-07 三星电子株式会社 透明显示设备及其方法
CN104428707A (zh) * 2012-07-10 2015-03-18 三星电子株式会社 用于显示危险元素的信息的透明显示设备及其方法
CN103581618A (zh) * 2012-08-01 2014-02-12 鸿富锦精密工业(深圳)有限公司 通过透明显示屏监控目标物的显示设备及监控方法
WO2015169018A1 (zh) * 2014-05-04 2015-11-12 京东方科技集团股份有限公司 透明显示系统以及设置有透明显示系统的设备
CN107909600A (zh) * 2017-11-04 2018-04-13 南京奇蛙智能科技有限公司 一种基于视觉的无人机实时运动目标分类与检测方法

Also Published As

Publication number Publication date
US10614780B2 (en) 2020-04-07
US20190385573A1 (en) 2019-12-19
CN110609721A (zh) 2019-12-24
TWI670646B (zh) 2019-09-01
TW202001546A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
US11710322B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
US9563981B2 (en) Information processing apparatus, information processing method, and program
US9063328B2 (en) Head-up display apparatus and method for vehicle
CN110609721B (zh) 信息显示方法及其显示系统
US20170309257A1 (en) Display control device
RU2017124586A (ru) Транспортное средство и соответствующий способ проекционного отображения (варианты)
WO2015146068A1 (ja) 情報表示装置、情報表示方法及びプログラム
US10634918B2 (en) Internal edge verification
US10896500B2 (en) Display and method for displaying dynamic information of object
US11100718B2 (en) Method for operating a display device in a motor vehicle
CN109849788B (zh) 信息提供方法、装置及系统
CN110031975B (zh) 在车辆中校准增强现实眼镜的方法和系统与增强现实眼镜
CN105620364A (zh) 提供驾驶信息的方法和装置
US10289904B2 (en) Vehicle display system and method of controlling vehicle display system
KR101361643B1 (ko) 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
JP2019532540A (ja) 動力車両を運転する際に動力車両のドライバーを支援する方法、ドライバー支援システム及び動力車両
JP2007172378A (ja) 注視対象物体特定装置
TWI702531B (zh) 影像資訊顯示方法、影像資訊顯示系統與顯示器
KR20150086840A (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
US10429996B1 (en) System and methods for providing an interactive user interface using a film, visual projector, and infrared projector
JP2019121140A (ja) 表示制御装置、ヘッドアップディスプレイ装置
US20230300314A1 (en) Information processing apparatus, information processing system, and information processing method
KR20240021098A (ko) 실내 공간에서 위치 정보를 획득하는 장치 및 방법
JP2019123503A (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2019105581A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant