CN109408008B - 影像辨识系统及其信息显示方法 - Google Patents

影像辨识系统及其信息显示方法 Download PDF

Info

Publication number
CN109408008B
CN109408008B CN201810159567.1A CN201810159567A CN109408008B CN 109408008 B CN109408008 B CN 109408008B CN 201810159567 A CN201810159567 A CN 201810159567A CN 109408008 B CN109408008 B CN 109408008B
Authority
CN
China
Prior art keywords
background image
color
display
display information
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810159567.1A
Other languages
English (en)
Other versions
CN109408008A (zh
Inventor
郭信宏
蔡宜修
陈冠廷
蔡宇翔
蔡玉堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Original Assignee
Industrial Technology Research Institute ITRI
Intellectual Property Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI, Intellectual Property Innovation Corp filed Critical Industrial Technology Research Institute ITRI
Publication of CN109408008A publication Critical patent/CN109408008A/zh
Application granted granted Critical
Publication of CN109408008B publication Critical patent/CN109408008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

一种影像辨识系统及其信息显示方法。信息显示方法用于透明显示器，包括：撷取透明显示器的背景影像；计算透明显示器的背景影像中的目标物件，并取得目标物件周围的一或多个候选子背景影像区域；处理该候选子背景影像区域以及产生相应于各候选子背景影像区域的一或多个候选显示信息；计算各候选显示信息于各候选子背景影像区域的辨识度评价分数；由该候选显示信息及该候选子背景影像区域中决定出显示信息及相应的子背景影像区域；判断显示信息所相应的辨识度评价分数是否符合预定条件；若是，直接于透明显示器上的子背景影像区域显示该显示信息；若否，对该显示信息加入色彩特征，并于透明显示器的子背景影像区域上显示该显示信息及该色彩特征。

Description

影像辨识系统及其信息显示方法
技术领域
本发明是有关于影像处理，亦是有关于一种影像辨识系统及其信息显示方法。
背景技术
随着显示器技术的发展，透明显示器(transparent display)也变得愈来愈普及。透明显示器是指显示器本身具有一定程度的穿透性(transparency)，能够清楚地显示面板后方的背景。举例来说，透明显示器适用于建筑物窗户、交通工具的车窗、与商店橱窗等应用，除了具有原本的透明显示功能之外，还可以在所显示的影像上再标注相关信息。
利用透明显示器的透明特性虽可发展出许多非透明显示器所不能做到的应用方式，但其透明特性亦有其缺点。然而，透明显示器在显示影像或信息时，因为会受到背景(background)的影响，进而造成显示信息的辨识度降低而影响到使用者的观赏品质。当环境背景的光线太强、或背景颜色或线条太过复杂时，都可能会影响到使用者对显示影像的辨识度，使得透明显示器的观赏品质大幅降低。
因此，需要一种影像辨识系统及其信息显示方法以解决上述问题。
发明内容
本发明实施例是提供一种信息显示方法，用于透明显示器，包括：撷取该透明显示器的背景影像；计算该透明显示器的该背景影像中的目标物件，并取得该目标物件周围的一或多个候选子背景影像区域；处理该一或多个候选子背景影像区域以及产生相应于各候选子背景影像区域一或多个候选显示信息；计算各候选显示信息于各候选子背景影像区域的辨识度评价分数；由该一或多个候选显示信息及该一或多个候选子背景影像区域中决定出显示信息及相应的子背景影像区域；判断该显示信息所相应的该辨识度评价分数是否满足预定条件；若满足，直接于该透明显示器上的该子背景影像区域显示该显示信息；以及若不满足，对该显示信息加入色彩特征，并于该透明显示器的该子背景影像区域上显示该显示信息及该色彩特征。
本发明实施例更提供一种影像辨识系统，包括：透明显示器；影像撷取单元，用以撷取该透明显示器的背景影像；运算单元，用以计算该透明显示器的该背景影像中的目标物件的一或多个候选子背景影像区域，并取得该目标物件周围的一或多个候选子背景影像区域，其中该运算单元更处理该一或多个候选子背景影像区域以及产生相应于各候选子背景影像区域的一或多个候选显示信息，其中该运算单元更计算各候选显示信息于各候选子背景影像区域的辨识度评价分数，并由该一或多个候选显示信息及该一或多个候选子背景影像区域中决定出具有最大辨识度评价分数的显示信息及相应的子背景影像区域；其中该运算单元更判断该显示信息所相应的该辨识度评价分数是否满足预定条件，若满足，该运算单元是直接于该透明显示器的该子背景影像区域上显示该显示信息；若不满足，该运算单元是对该显示信息加入色彩特征，并于该透明显示器的该子背景影像区域上显示该显示信息及该色彩特征。
附图说明
图1是显示依据本发明一实施例的影像辨识系统的功能方块图；
图2是显示依据本发明一实施例中的影像辨识程序的方块图；
图3是显示依据本发明一实施例中背景影像以及在透明显示器的显示信息在使用者双眼成像的示意图；
图4是显示依据本发明一实施例中的信息显示方法的流程图；
图5是显示依据本发明图4的步骤S460的细部流程图；
图6A是显示依据本发明一实施例中的子背景影像区域及显示信息的辨识度评价分数的分布的示意图；
图6B是显示依据本发明一实施例中的子背景影像区域、显示信息、及文字边框的辨识度评价分数的分布的示意图。
【符号说明】
100～影像辨识系统；
110～运算单元；
120～记忆体单元；
121～挥发性记忆体；
122～非挥发性记忆体；
123～影像辨识程序；
130～透明显示器；
140～影像撷取单元；
150～光线侦测器；
202～背景区块辨识模块；
204～背景数据处理模块；
206～显示信息处理模块；
208～辨识度评价计算模块；
210～辨识度判断模块；
212～辨识度强化模块；
300～背景影像；
310～显示信息；
330～使用者双眼；
CR.1、CR.2、CR.3～辨识度评价分数；
S405－S470、S461－S467～步骤；
610、620～子背景影像区域。
具体实施方式
为使本发明能更明显易懂，下文特举一较佳实施例，并配合所附附图，作详细说明如下。
图1是显示依据本发明一实施例的影像辨识系统的功能方块图。
如图1所示，在一实施例中，影像辨识系统100是包括运算单元110、记忆体单元120、透明显示器130、以及影像撷取单元140。
运算单元110是用以依据影像辨识系统100的背景影像的影像信息以处理输入影像以产生输出影像，并将输出影像于透明显示器130上进行显示。
举例来说，在一实施例中，运算单元110例如可为特定应用集成电路(Application-Specific Integrated Circuit，ASIC)、或是晶片系统(System-on-chip，SoC)。需了解的是，运算单元110是为多个影像处理电路的总称，运算单元110可包括一或多个子电路，用以执行影像辨识流程中的不同影像处理运算。在一些实施例中，运算单元110为处理器，例如可由中央处理器(CPU)、数字信号处理器(DSP)、或影像信号处理器(ISP)所实现，但本发明并不限于此。
记忆体单元120是包括挥发性记忆体121及非挥发性记忆体122。举例来说，非挥发性记忆体122是用以储存影像辨识程序(image recognition program)123，非挥发性记忆体122例如可为硬盘机(hard disk drive)、快闪记忆体、或只读记忆体，但本发明并不限于此。
挥发性记忆体121例如可为静态随机存取记忆体(SRAM)或动态随机存取记忆体(DRAM)。当运算单元110是由处理器所实现时，运算单元110是由非挥发性记忆体122读取影像辨识程序123至挥发性记忆体121并执行。此外，挥发性记忆体121是可储存用以储存运算单元110在执行影像辨识程序123时的各种暂存数据。
透明显示器130例如可为液晶屏幕(liquid crystal display)或有机发光二极管(organic light-emitting diode)屏幕的技术所实现的透明显示器，但本发明并不限于此。
影像撷取单元140是用以撷取影像辨识系统100的背景影像。举例来说，透明显示器130若为平面透明显示器，则具有第一侧及第二侧。若影像撷取单元140在透明显示器130的第一侧，则在第二侧的场景的光线穿过透明显示器130而成像于影像撷取单元140即可称为背景影像。影像撷取单元140例如可为一或多个照相机、光谱仪、或是广角影像撷取器等等，但本发明并不限于此。
在一实施例中，运算单元110是可分析影像撷取单元140所撷取的背景影像以取得与影像辨识系统100的背景相关的影像信息，并依据影像信息以调整在输入画面中所增加的显示信息(例如文字、图示等等)。
详细而言，透明显示器130的背景的色彩及景物的光线会穿过透明显示器130而进入使用者的双眼。换言之，使用者的双眼所接收到的透明显示器130所呈现的画面信息，需要叠加背景光线经过透明显示器130后所得到的色彩及亮度。因此，本发明实施例中的运算单元110可依据影像辨识系统100的背景相关的影像信息以调整在输入画面中所增加的显示信息(例如文字、图示等等)，借以增强显示信息的辨识度。
在一些实施例中，影像辨识系统100还包括光线侦测器150，用以侦测透明显示器130的前景的环境光线(ambient light)，意即透明显示器130的前景的环境光线经由透明显示器130而反射至使用者双眼的环境光线的强度。
图2是显示依据本发明一实施例中的影像辨识程序的方块图。在一实施例中，影像辨识程序123是包括多个功能模块，例如背景区块辨识模块202、背景数据处理模块204、显示信息处理模块206、辨识度评价计算模块208、辨识度判断模块210、以及辨识度强化模块212。
举例来说，背景区块辨识模块202可将背景影像划分为多个背景影像区块，例如各背景影像区块可为16x16或32x32像素的影像区块，但本发明并不限于此，且各背景影像区块的大小可依据实际情况调整。背景区块辨识模块202是由影像撷取单元140取得背景影像，并对背景影像进行影像辨识以取得一或多个目标物件，并针对在各目标物件周围划分出相应的一或多个候选子背景影像区域。详细而言，在各目标物件周围的相应各候选子背景影像区域可由一或多个背景影像区块所组成，且可具有不同的形状及大小。因为背景影像中的亮度及色彩有不同的变化，所以在不同的候选子背景影像区域亦会有不同的辨识度。
背景数据处理模块204则依据各目标物件所相应的各候选子背景影像区域的亮度、色相、及彩度以计算各候选子背景影像区域的区域平均值、区域峰值、及区域谷值。举例来说，区域平均值是指在各候选子背景影像区域内的三基础色光刺激值的平均值。区域峰值是指在各候选子背景影像区域内的三基础色光刺激值的最大值。区域谷值是指在各候选子背景影像区域内的三基础色光刺激值的最小值。子背景影像区域Rn的运算处理例如可用背景色彩特征矩阵表示：
Figure GDA0003195981390000051
其中上述背景影像特征矩阵Rn中的各个元素B1,1至Bm,m即表示各候选子背景影像区域中的不同的影像特征，例如亮度、色相、彩度等等。
显示信息处理模块206是用以提供或产生多个候选显示信息(例如不同颜色的文字或是框线)的影像特征矩阵以表示显示信息色彩特征矩阵DC，其可由下式所表示：
Figure GDA0003195981390000061
其中上述矩阵中的各个元素D1,1至Dm,m即表示不同的候选显示信息的影像特征，例如亮度、色相、彩度等等。举例来说，各候选显示信息可搭配在目标物件周围不同形状及大小的候选子背景影像区域，且目标物件所相应的各候选显示信息可以是具有不同影像特征的相同文字或图块，且文字或图块可相应于辨识出的各目标物件。
辨识度评价计算模块208是依据来自显示信息处理模块206的显示信息色彩特征矩阵DC以及来自背景数据处理模块204的背景影像色彩特征矩阵Rn以计算信息色彩矩阵IC。
信息色彩矩阵IC例如可用下式所表示：
Figure GDA0003195981390000062
请参考图3，承上述实施例，需了解的是使用者的双眼330所接收的透明显示器的总色光刺激值ST是可简化为下列方程式：
ST＝BST*λ+DST
其中ST包括了STR、STG、STB分别表示使用者的双眼330实际所接收的红光、绿光、及蓝光的刺激值(例如为三基础色光刺激值)。BST包括了BSTR、BSTG、BSTB分别表示背景影像300之中的红光、绿光、及蓝光的刺激值(例如为第一刺激值)；λ则包括了λR、λG、λB分别表示透明显示器130相应于红光、绿光、及蓝光的基板穿透率；DST则包括了DSTR、DSTG、DSTB分别表示透明显示器130的显示信息310对于使用者的双眼330实际所接收的红光、绿光、蓝光的刺激值(例如为第二刺激值)。需注意的是，不同色彩通道的色光刺激值是分开计算。简单来说，辨识度评价计算模块208是依据第一刺激值、第二刺激值、以及该透明显示器相应于红光、绿光、蓝光的基板穿透率λ以计算三基础色光刺激值。
在一实施例中，辨识度评价计算模块208是将透明显示器130的色域范围内的色彩均匀取样为显示信息色彩群组，并与背景数据进行矩阵运算，借以降低矩阵运算所需的回圈的运算时间。
详细而言，辨识度评价计算模块208在进行上述矩阵运算后即可得到各候选显示信息在各候选子背景影像区域的辨识度评价分数CR(color rank)。举例来说，辨识度评价分数CR是可用下式表示：
CR＝LC*w1+HC*w2+AC*w3
其中w1～w3为权重系数，例如介于0.5至1之间；LC为亮度对比度(luminancecontrast)；HC为色相对比度(hue contrast)；AC为面积对比度(area contrast)。在一些实施例中，辨识度评价计算模块208在计算辨识度评价分数CR可仅考虑亮度对比度LC、色相对比度HC、以及面积对比度AC中的一或多者。
在一实施例中，在RGB色彩空间中，不同的色彩通道的色彩对比度是分别计算。举例来说，Rs、Gs、Bs是分别表示透明显示器130所呈现的三基础色光(红光、绿光、及蓝光)的亮度值。RB、GB、BB是分别表示背景光线穿过透明显示器130所呈现的三基础色光(红光、绿光、及蓝光)的亮度值。Rmax、Gmax、Bmax是分别表示透明显示器130所能呈现的三基础色光(红光、绿光、及蓝光)的最大亮度值。举例来说，辨识度评价计算模块208可计算显示信息在RGB色彩空间中的红光、绿光、及蓝光的色彩对比度(RRGB、GRGB、BRGB)以及背景影像在RGB色彩空间中的红光、绿光、及蓝光的色彩对比度(R’RGB、G’RGB、B’RGB)，分别如下：
Figure GDA0003195981390000071
Figure GDA0003195981390000072
Figure GDA0003195981390000073
及
Figure GDA0003195981390000074
接着计算：
RRGB≤0.03928,
Figure GDA0003195981390000081
R′RGB≤0.03928,
Figure GDA0003195981390000082
GRGB≤0.03928,
Figure GDA0003195981390000083
G′RGB≤0.03928,
Figure GDA0003195981390000084
BRGB≤0.03928,
Figure GDA0003195981390000085
B′RGB≤0.03928,
Figure GDA0003195981390000086
RRGB＞0.03928,
Figure GDA0003195981390000087
R′RGB＞0.03928,
Figure GDA0003195981390000088
GRGB＞0.03928,
Figure GDA0003195981390000089
G′RGB＞0.03928,
Figure GDA00031959813900000810
BRGB＞0.03928,
Figure GDA00031959813900000811
B′RGB＞0.03928,
Figure GDA00031959813900000812
需注意的是，在上述方程式中，辨识度评价计算模块208已同时考虑了色相及彩度的关联性。此外，需了解的是，本发明实施例的上述方程式中所使用的多个参数值(例如0.03928、12.92)仅为说明之用，并不限定于上述数值。最后，辨识度评价计算模块208会依据各色彩通道的色彩计算出辨识度评价分数L、L’，其可由下列方程式表示：
Figure GDA00031959813900000813
Figure GDA00031959813900000814
简单来说，对于各候选显示信息来说，辨识度评价计算模块208会计算各候选显示信息在各候选子背景影像区域上的辨识度。此外，需了解的是，本发明实施例的上述方程式中于各色彩通道所相应的参数值(例如0.2126、0.7152、及0.0722)仅为说明之用，并不限定于上述数值。
在一实施例中，辨识度评价计算模块208是将透明显示器130的亮度除以该背景影像经过透明显示器130的背景亮度以得到亮度对比度LC。详细而言，透明显示器130的亮度是由透明显示器的基板所呈现的三基础色光总亮度值AL(luminance)加上环境背景经过透明显示器的亮度LB加上透明显示器在使用者区域的反射光亮度LR(例如可利用光线侦测器150所测得的使用者区域的环境光线的强度)。而背景亮度则是环境背景经过透明显示器的亮度LB加上透明显示器在使用者区域的反射光亮度LR。换言之，亮度对比度LC可由下列方程式计算而得：
Figure GDA0003195981390000091
关于面积对比度AC，辨识度评价计算模块208是计算各候选显示信息在各候选子背景影像区域中所占的比例(以一维长度计算)，此即为面积对比度AC。
辨识度判断模块210是在辨识度评价分数矩阵中决定出具有最大辨识度评价分数的候选显示信息及相应的候选子背景影像区域(例如具有最大色彩对比度候选显示信息及相应的候选子背景影像区域)以做为欲在透明显示器130上播放的显示信息及子背景影像区域，并判断最大辨识度评价分数(例如最大色彩对比度)是否满足需求，例如符合特定条件。举例来说，人眼在较高的光强度下的辨识度较不灵敏，此即依据韦伯－费希纳定理(Weber-Fechner Law)。换言之，辨识度判断模块210是判断最大色彩对比度的数值是否足以让使用者清楚辨识具有最大色彩对比度的候选显示信息。若是，则可将具有最大色彩对比度的候选显示信息(即欲在透明显示器130上播放的显示信息)显示于透明显示器130上。若否，则需由辨识度强化模块212进一步加强候选显示信息的辨识度。
辨识度强化模块212是针对辨识度不足的显示信息加入色彩特征以增加辨识度。举例来说，单一颜色的文字所具有的辨识度可能有限，且容易受到背景的光线及色彩的影响，所以若在单一颜色的显示信息(例如：文字)的辨识度不足的情况下，辨识度强化模块212可对显示信息中的文字加入相应的色彩特征，例如加上框线或是在文字所在的区块加入颜色，使得显示信息中的文字的辨识度提高。本发明实施例是提出多种对显示信息增加色彩特征的方法，其细节将详述于后。
图4是显示依据本发明一实施例中的信息显示方法的流程图。
在步骤S405，撷取透明显示器130的背景影像。
在步骤S410，计算背景影像中的目标物件，并取得目标物件周围的一或多个候选子背景影像区域。举例来说，影像撷取单元140是可撷取影像辨识系统100的背景影像，且背景区块辨识模块202可将背景影像划分为一或多个背景影像区块，并由背景影像中辨识出一或多个目标物件，其中各目标物件周围可具有一或多个候选子背景影像区域，且不同的候选子背景影像区域可由一或多个背景影像区块所组成。
在步骤S420，处理一或多个候选子背景影像区域以及产生相应于各候选子背景影像区域的一或多个候选显示信息。背景数据处理模块204是可计算一或多个候选子背景影像区域的色彩特征，且显示信息处理模块206是可计算多个候选显示信息的色彩特征，其中各候选子背景影像区域的色彩特征及各候选显示信息的色彩特征是分别用色彩特征矩阵来表示。
在步骤S430，计算各候选显示信息于各候选子背景影像区域的辨识度评价分数。举例来说，各候选显示信息在各候选子背景影像区域均会有相应的辨识度评价分数，在经过辨识度评价计算模块对各候选子背景影像区域的背景色彩特征矩阵及显示信息色彩特征矩阵进行运算后可得到信息色彩矩阵。
在步骤S435，由一或多个候选显示信息及一或多个候选子背景影像区域中决定出一显示信息及相应的子背景影像区域。举例来说，信息色彩矩阵即表示了各候选显示信息在各候选子背景影像区域上的色彩对比度。在一实施例中，为了让使用者能更清楚地辨识显示于透明显示器130上的显示信息，需选择具有最大辨识度评价分数(意即具有最大色彩对比度)的候选显示信息及相应的候选子背景影像区域以做为在透明显示器130上播放的显示信息及相应的子背景影像区域。
在步骤S440，判断辨识度评价分数是否满足预定条件。举例来说，因为各候选显示信息在各候选子背景影像区域均会有相应的辨识度评价分数，且分数愈高表示辨识度愈佳。辨识度判断模块210是判断具有最大辨识度评价分数的显示信息是否足以让使用者在透明显示器130上清楚地辨识，例如判断最大辨识度评价分数是否大于预定值。若辨识度评价分数满足预定条件，则表示相应的显示信息可让使用者在透明显示器130上清楚地辨识，故可直接于透明显示器130上的子背景影像区域显示显示信息(步骤S450)。若辨识度评价分数不满足预定条件，则表示相应的显示信息并不足以让使用者在透明显示器130上清楚地辨识，接着并执行步骤S460。
在步骤S460，对显示信息加入色彩特征。辨识度强化模块212是针对辨识度不足的显示信息加入色彩特征以增加辨识度。举例来说，单一颜色的文字所具有的辨识度可能有限，且容易受到背景的光线及色彩的影响，所以若在单一颜色的显示信息(例如：文字)的辨识度不足的情况下，辨识度强化模块212可对显示信息中的文字加入相应的色彩特征，例如加上框线或是在文字所在的区块加入颜色，使得显示信息中的文字的辨识度提高。
在步骤S470，在透明显示器的子背景影像区域上显示显示信息及色彩特征。
图5是显示依据本发明图4的步骤S460的细部流程图。当在步骤S440判断出需对显示信息加入色彩特征以增加辨识度时，即会执行步骤S460。步骤S460可细分为步骤S461至S467。在步骤S461，判断背景影像的色彩特征。举例来说，背景影像的色彩特征会分成四种情况：(1)背景色彩复杂度低且背景亮度低；(2)背景色彩复杂度低且背景亮度高；(3)背景色彩复杂度高且背景亮度高；(4)背景色彩复杂度高且背景亮度低。在判断为第(1)种情况时，执行步骤S462。在判断为第(2)种情况时，执行步骤S463。在判断为第(3)种情况或第(4)种情况时，执行步骤S466。
在步骤S462，计算具有最大辨识度的色彩于显示信息外的图块并显示镂空的显示信息。因为是在背景色彩复杂度低、且背景亮度低，虽然判断文字的辨识度可能不足，但在此种环境下，使用者会较容易辨识出透明显示器130上的显示信息(例如：文字信息)，故可将具有最大辨识度的色彩的显示信息或是具有最大辨识度包括镂空的显示信息的图块直接显示于透明显示器130上。在一实施例中，如图6A所示，子背景影像区域610的背景的辨识度评价分数为CR.1，显示信息的辨识度评价分数为CR.2，则辨识度强化模块212将具有最大辨识度的色彩的显示信息直接显示于透明显示器130上。在另一实施例中，辨识度强化模块212可将具有最大辨识度的色彩用于包括镂空的显示信息的图块，并将该图块直接显示于透明显示器130上，意即选择具有最大辨识度的色彩的图块，并将镂空的显示信息(例如文字信息)显示于图块之中，且显示信息的颜色可与背景色彩相同。
在步骤S463～S465，辨识度强化模块212是会将具有最大辨识度的文字加上边框以增加其辨识度。
在步骤S463，计算具有最大辨识度的边框色彩或文字色彩。举例来说，具有最大辨识度的色彩的显示信息的文字可能会与背景的颜色或对比度相近或是背景亮度太高造成辨识度不佳，此时可在文字及背景之间加入文字边框，且文字边框的颜色对比度是相对于文字及背景。换言之，文字边框的边框色彩的选择是相对于文字及背景的色彩对比度，且具有最大辨识度。
在步骤S464，设定相应的文字色彩或边框色彩。举例来说，若在步骤S463中选择了具有最大辨识度的边框色彩(例如第一色彩)，则在步骤S464会选择相对于边框色彩具有最大辨识度(例如最大色相对比度)的文字色彩(例如第二色彩)。相对而言，若在步骤S463中选择了具有最大辨识度的文字色彩(例如第二色彩)，则在步骤S464会选择相对于文字色彩具有最大辨识度(例如最大色相对比度)的边框色彩(例如第一色彩)。简单来说，文字边框色彩是为具有最大辨识度评价分数所相应的第一色彩，且显示信息的第二色彩相较于第一色彩是具有最大辨识度。
在步骤S465，选择面积比例。举例来说，在决定文字色彩及边框色彩的后，需再进一步决定边框面积及文字面积的比例，如图6B所示。子背景影像区域620的背景的辨识度评价分数为CR.1，显示信息的辨识度评价分数为CR.2，且边框的辨识度评价分数为CR.3，且CR.1、CR.2、及CR.3的分布需为“高高低”或“低低高”，这样则会进一步加强显示信息的辨识度。
简单来说，在步骤S463至S465，辨识度强化模块212可先计算具有最大辨识度的边框色彩或文字色彩，接着才设定相对的文字色彩或边框色彩，意即在步骤S463中决定了具有最大辨识度的边框色彩，则在步骤S464中则设定相对的文字色彩。若在步骤S463中决定了具有最大辨识度的文字色彩，则在步骤S464中则设定相对的边框色彩。详细而言，文字色彩或边框色彩的选择需要符合两个条件之一，即是使得CR.1、CR.2、及CR.3的分布符合“高高低”或“低低高”的条件。
在步骤S466，选择具有最大色彩对比度的图块色彩或光晕色彩。
在步骤S467，设定文字为白色。举例来说，因为无论在室外场景或室内场景，当背景色彩复杂时，无论使用什么颜色的显示信息或加上文字边框，使用者均不会有太好的辨识度。因此，辨识度强化模块212会计算具有最大色相对比度的颜色，最大色相对比度即在色相的色彩空间中，色坐标距离最远的两个色彩，并将子背景影像区域(即图块)涂成图块色彩(例如图块色彩的色相与子背景影像区域的色相相比是有最大色相对比度)，并且在子背景影像区域(即图块)中的文字设定为白色(例如相较于子背景影像区域具有最大亮度对比度)，这样可以让使用者较容易辨识在子背景影像区域中的显示信息。详细而言，显示信息所相应的子背景影像区域可涂成具有图块色彩的图块，且图块色彩的第一色相与相应的子背景影像区域的第二色相相比是具有最大色相对比度，且图块中的显示信息的第一亮度与相应的子背景影像区域的第二亮度相比是具有最大亮度对比度。意即在背景色彩复杂度高的情况下，无论背景亮度高或低，均可执行步骤S466及S467以加入文字及图块、或是文字及光晕的效果以增强显示信息的辨识度。在一些实施例中，子背景影像区域可以为和景物外形相似或特定几何形状的框线，其显示色彩经过计算可以得到在透明显示器130中适合的显示色彩、亮度和宽度。
在一些实施例中，辨识度强化模块212则会将背景影像中的目标物件加上外框或指示标志，其中外框可以为和景物外形相似或特定几何形状的框线，其外框或指示标志的符号色彩经过计算可以得到在透明显示器中适合的显示色彩和亮度。
在一些实施例中，影像辨识系统100可执行信息显示方法以选择适当的显示色彩，意即辨识度强化模块212可依据不同的背景颜色，加入做为标示且具有高辨识度的显示色彩的显示信息。
在一些实施例中，影像辨识系统100可执行信息显示方法以选择适当的文字花纹色彩，意即在文字上加上文字花纹及色彩，借以增加显示信息的文字的辨识度。
在一些实施例中，影像辨识系统100可执行信息显示方法以选择适当的镂空图块色彩与面积，借以增加显示信息的文字的辨识度。
在一些实施例中，影像辨识系统100可执行信息显示方法以选择适当的文字阴影色彩及面积，意即在显示信息的文字周围呈现适合的阴影及色彩，借以增加显示信息的文字的辨识度。
在一些实施例中，影像辨识系统100可执行信息显示方法以选择适当的光晕色彩和面积，意即在显示信息的文字周围呈现适合的光晕及色彩，借以增加显示信息的文字的辨识度。
本发明实施例的方法，或特定型态或其部分，可以以程序码的型态包含于实体媒体，如软盘、光盘片、硬盘、或是任何其他机器可读取(如计算机可读取)储存媒体，其中，当程序码被机器，如计算机载入且执行时，此机器变成用以参与本发明实施例的装置或系统。本发明实施例的方法、系统与装置也可以以程序码型态透过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序码被机器，如计算机接收、载入且执行时，此机器变成用以参与本发明实施例的装置或系统。当在一般用途处理器实作时，程序码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。
本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (20)

1.一种信息显示方法，其特征在于，用于透明显示器，该信息显示方法包括：
撷取该透明显示器的背景影像；
计算该透明显示器的该背景影像中的目标物件，并取得该目标物件周围的一或多个候选子背景影像区域；
处理该一或多个候选子背景影像区域以及产生相应于各候选子背景影像区域的一或多个候选显示信息；
计算各候选显示信息于各候选子背景影像区域的辨识度评价分数；
由该一或多个候选显示信息及该一或多个候选子背景影像区域中决定出显示信息及相应的子背景影像区域；
判断该显示信息所相应的该辨识度评价分数是否满足预定条件；
若满足，直接于该透明显示器上的该子背景影像区域显示该显示信息；以及
若不满足，对该显示信息加入色彩特征，并于该透明显示器的该子背景影像区域上显示该显示信息及该色彩特征。
2.根据权利要求1所述的信息显示方法，其特征在于，还包括：
计算各候选显示信息于各候选子背景影像区域中的亮度对比度、色彩对比度、及面积对比度；以及
依据该亮度对比度、该色彩对比度、及该面积对比度以计算各候选显示信息于各候选子背景影像区域的该辨识度评价分数。
3.根据权利要求2所述的信息显示方法，其特征在于，还包括：
将该透明显示器的亮度除以该背景影像经过该透明显示器的背景亮度以得到该亮度对比度。
4.根据权利要求2所述的信息显示方法，其特征在于，还包括：
计算该背景影像中的红光、绿光、蓝光对于使用者的双眼的第一刺激值；
计算该显示信息中的红光、绿光、蓝光对于该使用者的双眼的第二刺激值；以及
依据该第一刺激值、该第二刺激值、以及该透明显示器相应于红光、绿光、蓝光的基板穿透率以计算三基础色光刺激值，该三基础色光刺激值形成总色光刺激值。
5.根据权利要求4所述的信息显示方法，其特征在于，还包括：
计算该目标物件所相应的各候选子背景影像区域的区域平均值、区域峰值、及区域谷值，其中该区域平均值是指在各候选子背景影像区域内的该三基础色光刺激值的平均值，该区域峰值是指在各候选子背景影像区域内的该三基础色光刺激值的最大值，该区域谷值是指在各候选子背景影像区域内的该三基础色光刺激值的最小值。
6.根据权利要求1所述的信息显示方法，其特征在于，在该透明显示器上所显示的该显示信息具有最大辨识度评价分数。
7.根据权利要求6所述的信息显示方法，其特征在于，该色彩特征包括：呈现高辨识度的显示色彩、文字边框色彩、图块色彩、符号色彩、文字阴影色彩、光晕色彩、镂空图块色彩、或文字花纹色彩。
8.根据权利要求7所述的信息显示方法，其特征在于，该显示信息是具有最大辨识度的色彩。
9.根据权利要求7所述的信息显示方法，其特征在于，该文字边框色彩是为具有该最大辨识度评价分数所相应的第一色彩，且该显示信息中的文字色彩的第二色彩相较于该第一色彩是具有最大辨识度。
10.根据权利要求7所述的信息显示方法，其特征在于，该显示信息所相应的该子背景影像区域是涂成具有该图块色彩的图块，且该图块色彩的第一色相与相应的该子背景影像区域的第二色相相比是具有最大色相对比度，且在该图块内的该显示信息的第一亮度与相应的该子背景影像区域的第二亮度相比是具有最大亮度对比度。
11.一种影像辨识系统，其特征在于，包括：
透明显示器；
影像撷取单元，用以撷取该透明显示器的背景影像；
运算单元，用以计算该透明显示器的该背景影像中的目标物件的一或多个候选子背景影像区域，并取得该目标物件周围的一或多个候选子背景影像区域，
其中该运算单元更处理该一或多个候选子背景影像区域以及产生相应于各候选子背景影像区域的一或多个候选显示信息，
其中该运算单元更计算各候选显示信息于各候选子背景影像区域的辨识度评价分数，并由该一或多个候选显示信息及该一或多个候选子背景影像区域中决定出显示信息及相应的子背景影像区域；
其中该运算单元更判断该显示信息所相应的该辨识度评价分数是否满足预定条件，
若满足，该运算单元是直接于该透明显示器的该子背景影像区域上显示该显示信息；
若不满足，该运算单元是对该显示信息加入色彩特征，并于该透明显示器的该子背景影像区域上显示该显示信息及该色彩特征。
12.根据权利要求11所述的影像辨识系统，其特征在于，该运算单元更计算各候选显示信息于各候选子背景影像区域中的亮度对比度、色彩对比度、及面积对比度，并依据该亮度对比度、该色彩对比度、及该面积对比度以计算各候选显示信息于各候选子背景影像区域的该辨识度评价分数。
13.根据权利要求12所述的影像辨识系统，其特征在于，该运算单元是将该透明显示器的亮度除以该背景影像经过该透明显示器的背景亮度以得到该亮度对比度。
14.根据权利要求12所述的影像辨识系统，其特征在于，该运算单元更计算该背景影像中的红光、绿光、蓝光对于使用者的双眼的第一刺激值，计算该显示信息中的红光、绿光、蓝光对于该使用者的双眼的第二刺激值，以及依据该第一刺激值、该第二刺激值、以及该透明显示器相应于红光、绿光、蓝光的基板穿透率以计算三基础色光刺激值，该三基础色光刺激值形成总色光刺激值。
15.根据权利要求14所述的影像辨识系统，其特征在于，该运算单元是计算该目标物件所相应的各候选子背景影像区域的区域平均值、区域峰值、及区域谷值，其中该区域平均值是指在各候选子背景影像区域内的该三基础色光刺激值的平均值，该区域峰值是指在各候选子背景影像区域内的该三基础色光刺激值的最大值，该区域谷值是指在各候选子背景影像区域内的该三基础色光刺激值的最小值。
16.根据权利要求11所述的影像辨识系统，其特征在于，在该透明显示器上所显示的该显示信息具有最大辨识度评价分数。
17.根据权利要求16所述的影像辨识系统，其特征在于，该色彩特征包括：呈现高辨识度的显示色彩、文字边框色彩、图块色彩、符号色彩、文字阴影色彩、光晕色彩、镂空图块色彩、或文字花纹色彩。
18.根据权利要求17所述的影像辨识系统，其特征在于，在该显示信息是具有最大辨识度的色彩。
19.根据权利要求17所述的影像辨识系统，其特征在于，该文字边框色彩是为具有该最大辨识度评价分数所相应的第一色彩，且该显示信息中的文字色彩的第二色彩相较于该第一色彩是具有最大辨识度。
20.根据权利要求17所述的影像辨识系统，其特征在于，该运算单元将该显示信息所相应的该子背景影像区域涂成具有该图块色彩的图块，且该图块色彩的第一色相与相应的该子背景影像区域的第二色相相比是具有最大色相对比度，且在该图块内的该显示信息的第一亮度与相应的该子背景影像区域的第二亮度相比是具有最大亮度对比度。
CN201810159567.1A 2017-08-18 2018-02-26 影像辨识系统及其信息显示方法 Active CN109408008B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762547236P 2017-08-18 2017-08-18
US62/547,236 2017-08-18
TW106144574A TWI629675B (zh) 2017-08-18 2017-12-19 影像辨識系統及其資訊顯示方法
TW106144574 2017-12-19

Publications (2)

Publication Number Publication Date
CN109408008A CN109408008A (zh) 2019-03-01
CN109408008B true CN109408008B (zh) 2021-10-26

Family

ID=63640360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810159567.1A Active CN109408008B (zh) 2017-08-18 2018-02-26 影像辨识系统及其信息显示方法

Country Status (3)

Country Link
US (1) US10817723B2 (zh)
CN (1) CN109408008B (zh)
TW (1) TWI629675B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI669703B (zh) * 2018-08-28 2019-08-21 財團法人工業技術研究院 適於多人觀看的資訊顯示方法及資訊顯示裝置
TWI689909B (zh) * 2018-11-22 2020-04-01 財團法人工業技術研究院 透明顯示系統及其操作方法
CN110263301B (zh) * 2019-06-27 2023-12-05 北京百度网讯科技有限公司 用于确定文字的颜色的方法和装置
KR20210014813A (ko) 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시장치
TWI717824B (zh) * 2019-09-04 2021-02-01 財團法人工業技術研究院 資訊顯示方法以及資訊顯示系統
AU2021202282B2 (en) 2020-04-21 2022-04-07 Canva Pty Ltd Systems and methods for applying effects to design elements
US11715405B1 (en) * 2021-02-10 2023-08-01 Sivalogeswaran Ratnasingam Chroma modification based on ambient light characteristics

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612370B2 (en) * 2009-02-03 2013-12-17 Nec Corporation Pattern recognition device, pattern recognition method, and pattern recognition program
US8675019B1 (en) * 2009-12-03 2014-03-18 Innoventions, Inc. View navigation guidance system for hand held devices with display
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20140152869A1 (en) 2011-07-13 2014-06-05 Simon Solotko Methods and Systems for Social Overlay Visualization
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US9595137B2 (en) 2012-04-26 2017-03-14 Intel Corporation Augmented reality computing device, apparatus and system
TWI466094B (zh) * 2012-05-28 2014-12-21 Acer Inc 透明顯示裝置及其透明度調整方法
TWI576771B (zh) 2012-05-28 2017-04-01 宏碁股份有限公司 透明顯示裝置及其透明度調整方法
TW201348816A (zh) * 2012-05-28 2013-12-01 Acer Inc 透明顯示裝置
CN103489412B (zh) * 2012-06-12 2016-12-14 宏碁股份有限公司 透明显示装置及其透明度调整方法
TWI637312B (zh) 2012-09-19 2018-10-01 三星電子股份有限公司 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體
KR102051656B1 (ko) * 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR102135367B1 (ko) * 2014-01-23 2020-07-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
WO2016017966A1 (en) 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Method of displaying image via head mounted display device and head mounted display device therefor
KR102321362B1 (ko) 2014-07-29 2021-11-04 삼성전자주식회사 헤드 마운트 디스플레이 디바이스가 영상을 디스플레이하는 방법 및 그 헤드 마운트 디스플레이 디바이스
US9615054B1 (en) 2014-09-25 2017-04-04 Steve H. McNelley Transparent communication devices
US10043298B2 (en) * 2014-09-30 2018-08-07 Konica Minolta Laboratory U.S.A., Inc. Enhanced document readability on devices
KR102262566B1 (ko) * 2014-10-10 2021-06-07 엘지디스플레이 주식회사 투명 디스플레이 장치
CN104636726B (zh) * 2015-02-05 2019-05-21 努比亚技术有限公司 一种图像色彩识别方法、装置及终端
US10109092B1 (en) * 2015-03-24 2018-10-23 Imagical LLC Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences
US9514706B1 (en) * 2015-05-28 2016-12-06 Chunghwa Picture Tubes, Ltd. Transparent display apparatus and image adjustment method thereof
JP6524587B2 (ja) 2015-11-04 2019-06-05 Smc株式会社 パンチ装置
CN105677349A (zh) * 2016-01-05 2016-06-15 努比亚技术有限公司 桌面图标显示方法及装置

Also Published As

Publication number Publication date
US10817723B2 (en) 2020-10-27
US20190057255A1 (en) 2019-02-21
TWI629675B (zh) 2018-07-11
TW201913608A (zh) 2019-04-01
CN109408008A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109408008B (zh) 影像辨识系统及其信息显示方法
US8290252B2 (en) Image-based backgrounds for images
US11915516B2 (en) Information processing device and recognition support method
CN104766071B (zh) 一种应用于无人驾驶汽车的交通灯快速检测算法
CN104966493A (zh) 拼接亮暗线补偿方法
TW201606705A (zh) 基於費雪線性判別的雙暗通道先驗的影像能見度修復方法及其影像處理裝置
US20090135266A1 (en) System for scribing a visible label
JP2013203374A (ja) 車両用表示装置、その制御方法及びプログラム
CN104021527B (zh) 一种图像中雨雪的去除方法
CN105118027A (zh) 一种图像的去雾方法
CN109949248B (zh) 修改车辆在图像中的颜色的方法、装置、设备及介质
CN107451976A (zh) 一种图像处理方法及装置
CN113053324A (zh) 背光控制方法、装置、设备、系统及存储介质
WO2022120799A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN106683047B (zh) 一种全景图像的光照补偿方法和系统
He et al. Effective haze removal under mixed domain and retract neighborhood
JP2013210793A (ja) Ａｒ表示最適化のためのシステム、方法、およびプログラム
CN105681774B (zh) 一种图像处理的方法及终端
CN106402717B (zh) 一种ar播放控制方法及智能台灯
CN115083328A (zh) 显示补偿方法、装置、设备、介质及显示装置
CN105979151A (zh) 一种图像处理方法及终端
CN113793249A (zh) 一种Pentile图像转换为RGB图像的方法、装置及存储介质
KR20180033858A (ko) 디스플레이장치 및 기록매체
JPWO2012023370A1 (ja) ターゲット位置決定装置
CN102654919A (zh) 图像加工装置及图像加工方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant