CN104794700A - 色盲辅助系统 - Google Patents
色盲辅助系统 Download PDFInfo
- Publication number
- CN104794700A CN104794700A CN201510247952.8A CN201510247952A CN104794700A CN 104794700 A CN104794700 A CN 104794700A CN 201510247952 A CN201510247952 A CN 201510247952A CN 104794700 A CN104794700 A CN 104794700A
- Authority
- CN
- China
- Prior art keywords
- image
- electronic image
- region
- user
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000007254 color blindness Diseases 0.000 title claims abstract description 48
- 208000006992 Color Vision Defects Diseases 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims abstract description 23
- 208000036693 Color-vision disease Diseases 0.000 claims description 42
- 210000001747 pupil Anatomy 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 108090000623 proteins and genes Proteins 0.000 description 6
- 201000000763 red color blindness Diseases 0.000 description 6
- 210000001766 X chromosome Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 206010008795 Chromatopsia Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 201000000757 red-green color blindness Diseases 0.000 description 2
- 108700028369 Alleles Proteins 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
提出一种辅助色盲用户的系统及其方法。该系统包括：透视显示装置，用来允许用户透过其来查看实际的图像，和/或允许用户查看其上显示的电子化图像；图像获取装置，用来获取对应于能够透过透视装置查看到的实际的图像的电子化图像；存储系统，用来存储与系统相关联的信息；处理系统，用来在系统的当前模式为第一显示模式的情况下，基于图像获取装置获取的电子化图像，构造经处理的电子化图像并以与透过透视显示装置查看的实际的图像对准的方式将经处理的电子化图像叠加在实际的图像之上显示，其中经处理的电子化图像包括辅助色盲用户分辨实际的图像中不易分辨的颜色的区域，该区域通过对电子化图像中与该区域对应的部分采用HSV空间变换而得到。
Description
技术领域
本发明涉及穿戴装置，具体地涉及辅助色盲用户的系统。
背景技术
先天性色觉障碍通常称为色盲，它不能分辨自然光谱中的各种颜色或某种颜色。色盲以先天性因素为多见。男性患者远多于女性患者。色盲分为全色盲和部分色盲（红色盲、绿色盲、蓝黄色盲等）。全色盲属于完全性视锥细胞功能障碍，它是色觉障碍中最严重的一种，较少见。临床上把红色盲与绿色盲统称为红绿色盲，较常见。平常说的色盲一般就是指红绿色盲。本文针对的，即是这种常见的红绿色盲。
一般认为，红绿色盲决定于X染色体上的两对基因，即红色盲基因和绿色盲基因。由于这两对基因在X染色体上是紧密连锁的，因而常用一个基因符号来表示。红绿色盲的遗传方式是X连锁隐性遗传。男性仅有一条X染色体，因此只需一个色盲基因就表现出色盲。女性有两条X染色体，因此需有一对致病的等位基因才会表现异常。一个正常女性如与一个色盲男性婚配，父亲的色盲基因可随X染色体传给他们的女儿，不能传给儿子。女儿再把父亲传来的色盲基因传给她的儿子。这就解释了男性色盲患者多于女性色盲患者的原因。
红绿色盲给患者本人带来诸多不便，比如不易于辨认交通信号灯以及其它标志，丧失要求灵敏色觉的职业的任职资格，还会影响患者对多彩世界的感知，而这种先天的缺陷没有办法后天治愈。
发明内容
因此，需要一种能够解决至少上述问题之一的方案。
根据本发明的一个方面，提供了一种辅助色盲用户的系统。该系统包括：透视显示装置，其被配置来允许用户透过其来查看实际的图像，和/或允许用户查看其上显示的电子化图像；图像获取装置，其被配置来获取对应于能够透过透视装置查看到的实际的图像的电子化图像；存储系统，其被配置来存储与系统相关联的信息；处理系统，其被配置来在系统的当前模式为第一显示模式的情况下，基于图像获取装置获取的电子化图像，构造经处理的电子化图像并以与透过透视显示装置查看的实际的图像对准的方式将经处理的电子化图像叠加在实际的图像之上显示，其中经处理的电子化图像包括辅助色盲用户分辨实际的图像中不易分辨的颜色的区域，该区域通过对电子化图像中与区域对应的部分采用HSV空间变换而得到。HSV即Hue（色调）、Saturation（饱和度）和Value（亮度）的缩写。
根据本发明的另一个方面，提供了一种辅助色盲用户的方法。该方法包括以下步骤：获取对应于能够透过透视显示装置查看到的实际的图像的电子化图像；在当前模式为第一显示模式的情况下：基于电子化图像，构造经处理的电子化图像；以及以与透过透视显示装置查看的实际的图像对准的方式将经处理的电子化图像叠加在实际的图像之上显示在透视显示装置上；其中经处理的电子化图像包括辅助色盲用户分辨实际的图像中不易分辨的颜色的区域，该区域通过对电子化图像中与该区域对应的部分采用HSV空间变换而得到。
本发明内容被提供来以简化的形式引入在具体实施方式中在下面被进一步描述的概念的选择。本发明内容不旨在识别所要求保护的主题的关键特征或必要特征，它也不旨在被用来帮助确定所要求保护的主题的范围。
根据本发明的色盲辅助系统，具有高易用性、高集成度、轻便等特点，能够最大可能地改善用户体验。
附图说明
现在将参照以下附图更具体地描述本发明，附图中：
图1示例性地绘出根据本发明一个或多个实施例的色盲辅助系统100的框图；
图2示例性地绘出根据本发明一个或多个实施例的色盲辅助系统的示意图；
图3示例性地绘出根据本发明一个或多个实施例的色盲辅助系统的工作流程图。
具体实施方式
以下将参照附图更充分地描述本发明实施例，在附图中示出了本发明实施例。然而，可以用很多不同形式来实施本发明，并且本发明不应理解为受限于在此所阐述的实施例。在全文中，使用相似的标号表示相似的元件。
在此所使用的术语仅用于描述特定实施例的目的，而并非意欲限制本发明。如在此所使用的那样，单数形式的 “一个”、“这个”意欲同样包括复数形式，除非上下文清楚地另有所指。还应当理解，当在此使用时，术语“包括”指定出现所声明的特征、整体、步骤、操作、元件和/或组件，但并不排除出现或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外定义，否则在此所使用的术语（包括技术术语和科学术语）具有与本发明所属领域的普通技术人员所共同理解的相同意义。在此所使用的术语应解释为具有与其在该说明书的上下文以及有关领域中的意义一致的意义，而不能以理想化的或过于正式的意义来解释，除非在此特意如此定义。
以下参照示出根据本发明实施例的方法、装置（系统）和/或计算机程序产品的框图和/或流程图描述本发明。应理解，可以用硬件和/或软件（包括固件、驻留软件、微码等）来实施本发明。更进一步地，本发明可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本发明上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。
下面将结合附图，参照本发明的实施例描述本发明。
根据本发明的实施例，提出了用于辅助色盲用户的系统。图1示例性地绘出根据本发明一个或多个实施例的色盲辅助系统100的框图。在所图示的色盲辅助系统100中，包括透视显示装置101、图像获取装置102、存储系统103和处理系统104。
透视显示装置101是可佩戴的装置，在一个实施例中，其被示出为眼镜。应理解，其实施方式不限于眼镜，还可以包括护目镜、头盔等各种形式的可佩戴装置。该透视显示装置101被配置来允许用户透过其来查看实际的图像，替代地和额外地，被配置来允许用户查看其上显示的电子化图像。换言之，在图1的实施例中，透视显示装置101可以作为透明眼镜使用，也可以作为显示器使用，还可以作为上述二者的结合来使用。
图像获取装置102典型地是相机，或者称为摄像机，其被配置来获取对应于能够透过透视显示装置101查看到的实际的图像的电子化图像。
存储系统103包括能够存储数据和/或计算机可执行指令的一个或多个计算机可用的或计算机可读的存储介质。应理解存储介质优选地是非易失性存储介质。存储与所述色盲辅助系统100相关联的信息。
处理系统104包括一个或多个处理单元。处理单元是包括一个或多个集成电路的物理设备或制品，该集成电路从诸如存储系统103的计算机可读介质上读取数据和指令并且选择性地执行指令。在各实施例中，处理系统104以各种方式实施。例如，处理系统104可以实施为一个或多个处理核。在另一个示例中，处理系统104可以包括一个或多个独立的微处理器。在另一个示例中，处理系统104可以包括提供特定功能的特定于应用的集成电路(ASIC). 在还一个示例中，处理系统104通过使用ASIC和通过执行计算机可执行指令提供特定功能。处理系统104的功能将在结合图3所阐述的方法流程中详细讨论。
替代地或可选地，色盲辅助系统还包括用户接口105。用户接口105在一个实施例中可以被配置来接收用户对色盲辅助系统100进行微调节的指令，例如，用户可以在1－10度的范围内对处理后的图像中特定区域的色相进行减少的调节。色盲辅助系统100的处理系统将响应于用户的这一输入进行相应的处理。替代地或可选地，用户接口105可以被配置来对色盲辅助系统100的处理模式进行选择，可选的模式例如包括第一显示模式、第二显示模式和播报模式等。选择的方式例如可以包括不同的手势（比如单击、双击、长按各表示对其中一个模式的选择），也可以设置缺省模式（比如开机缺省为第一显示模式），关于这些模式的讨论将在下面结合图3的实施例中详细说明。
替代地或可选地，色盲辅助系统还包括瞳孔定位装置106。其被配置来追踪用户左和/或右眼的视线的汇聚点从而确定焦平面，以便图像获取装置102获取该平面的图像，以及由所述处理系统104至少部分地基于所定位的汇聚点以及瞳孔位置将透视显示装置104显示的图像与透过其看到的实际的图像进行坐标匹配从而将这二者对准。坐标匹配的实质是消除由于人眼瞳孔位置和图像获取装置102的位置之间的差异性造成的获取的图像和看见的图像之间的差异性。当获得了瞳孔位置、上述汇聚点，以及图像获取装置的相对位置，则可以计算出图像获取装置102获取的图像与人眼看到的实际的图像之间的坐标差异，然后通过将一个坐标系中的图像变换到另一个坐标系中从而消除差异将获取的图像和人眼看到的实际图像对准。当图像获取装置102和透视显示装置101位于同一个平面内，则仅通过平移变换即可消除差异性，否则，则可能还涉及到图像的缩放。
替代地或可选地，色盲辅助系统还包括语音输出装置107。其被配置用于以语音的形式向用户进行输出。输出的内容可以是与处理系统所识别出的颜色相关的，或者响应于用户对模式的选择而告知用户当前的处理模式、或者提示用户进行其它操作等等。在一个实施例中，语音输出装置107是骨传导耳机。
图2示例性地绘出根据本发明一个或多个实施例的色盲辅助系统的外观图。其中201处为图像获取装置，典型地为相机（或称摄像机）；202为电源开关；203为用户接口之一的模式选择按钮；204为用户接口之二的手动调节旋钮，在图示的示例中设有3个，分别针对HSV空间变换所涉及的各个分量：色相、饱和度、亮度；205设置有语音输出装置，在一个示例中是骨传导耳机；206是两个瞳孔定位装置，分别用于定位两个瞳孔；207是透视显示装置，典型地为具有显示功能的两个透明镜片；208处的内部集成了处理系统。替代地或可选地，另一个眼镜腿上与208对称的部位也可以集成处理系统。
需注意，图2的布置仅是根据本发明的色盲辅助系统的外观的一个示例，事实上，布置可以根据色盲辅助系统的不同实施方式而有所变化，例如外形可以变化，表现形式可以是头盔、护目镜等其它形式，各个功能组件的位置和数量均可以变化等。
图3示例性地绘出根据本发明一个或多个实施例的色盲辅助系统的工作流程图。首先在步骤301由两个瞳孔定位装置106进行左和/或右眼的追踪，以定位用户左和/或右眼的视线的汇聚点从而确定焦平面。在某些情况下，比如用户单眼失明，则不再追踪该眼。需注意的是，对于某些情形，比如红绿灯的情况下，系统可以自动确定该焦平面（例如，红绿灯所在的平面）而不需通过进行左和/或右眼的追踪来确定焦平面。
而后在步骤302，图像获取装置102基于所确定的焦平面获取电子化图像，在数字化占主导的环境下，通常获取的都是数字化图像。如果获取的是模拟图像，则可以在需要的时候进行模/数转换。而后在步骤303进行数字图像处理，例如图像滤波、增强等，如果图像获取装置102获取的是模拟图像，则步骤303还可以包括模/数转换。在步骤304处理系统104确定系统的当前模式。这可以根据系统的缺省设置而确定，也可以根据用户通过用户接口105进行的输入来确定。
在系统的当前模式为第一显示模式的情况下，处理系统104在步骤305基于获取的电子化图像，对其中不易分辨的颜色的区域进行系统默认参数的HSV空间变换，以形成经处理的电子化图像。需注意，本文中不易分辨的颜色的区域可以是狭义的、仅包括红色、绿色等色盲用户无法区分的颜色的部分，也可以是广义的、包含这部分的更大一些的区域、甚至整个获取的图像。对广义的区域进行HSV空间变换可以使得变换后的图像色彩更加协调。其中HSV空间变换的方式是：
； （1）
； （2）
； （3）
其中假定红色色相的范围是[315,360)以及[0,45]，绿色色相范围是[75，165]，、和是所述经处理的电子化图像中所述区域的像素的色相，x是所述电子化图像中与所述区域对应的部分的像素的色相。
附加地或可选地，还可以对其中不易分辨的颜色的区域进行轮廓识别和颜色识别，并在轮廓内或外以明显的方式标注出区域内的颜色。该明显的方式可以是以区别于区域的颜色的文字来标注，或者在区域外标注等（图中未示出）。
附加地或可选地，还可以对其中不易分辨的颜色的区域进行颜色识别，并然后以语音的形式通过语音输出装置（例如，骨传导耳机）输出给用户（图中未示出）。
为了改善用户体验，在步骤306，处理系统104将经处理的电子化图像与透过所述透视显示装置查看的实际的图像对准（例如通过上面讨论的坐标匹配），然后在步骤307将所述经处理的电子化图像叠加在所述实际的图像之上而经由透视显示装置101进行显示。需注意，替代地或额外地，可以不进行该对准步骤而直接显示，用户可以自己通过比对经处理的电子化图像和实际的图像来确定不易分辨的颜色的区域。不足之处是两个图像会发生部分重叠影响观看效果。
如果在步骤308检测到用户通过用户接口105进行了手动调节，则在步骤309处理系统104根据该手动调节进行HSV微调参数变换。HSV微调参数变换包括根据用户输入对上面的等式（1）—（3）的、和进行1－10度的减少、对亮度和/或饱和度进行调节。
在系统的当前模式为独立于其它模式的第二显示模式的情况下，处理系统104基于所获取的电子化图像，在步骤310对其中不易分辨的颜色的区域进行轮廓识别和颜色识别，并在步骤311在轮廓内或外以明显的方式标注出区域内的颜色，以形成经处理的电子化图像。该明显的方式可以是以区别于区域的颜色的文字来标注，也可以是将区域内的颜色用默认颜色或图案覆盖然后在其上标注文字，或者在区域外标注等。在步骤312，处理系统104将经处理的电子化图像与透过所述透视显示装置查看的实际的图像对准（例如通过上面讨论的坐标匹配），然后在步骤313将所述经处理的电子化图像叠加在所述实际的图像之上经由透视显示装置101进行显示。需注意，替代地或额外地，可以不进行该对准步骤而直接显示，用户可以自己通过比对经处理的电子化图像和实际的图像来确定不易分辨的颜色的区域。不足之处是两个图像会发生部分重叠影响观看效果。
附加地或可选地，还可以对其中不易分辨的颜色的区域进行颜色识别，并然后以语音的形式通过语音输出装置（例如，骨传导耳机）输出给用户（图中未示出）。
在系统的当前模式为独立于其它模式的播报模式的情况下，处理系统104基于所获取的电子化图像，在步骤314对其中不易分辨的颜色的区域进行颜色识别，并然后在步骤315以语音的形式通过语音输出装置（例如，骨传导耳机）输出给用户。该模式特别适用于色盲用户过马路的场景，可以告知用户例如“红灯亮了，禁止前行！”。
需注意，上述结合图3讨论的步骤，除了需要以在先步骤的结果为执行前提的，均不限定执行的顺序。
根据本发明的色盲辅助系统，具有高易用性、高集成度、轻便等特点，能够最大可能地改善用户体验。
虽然已经结合具体实施例描述了本发明，但是本领域技术人员将理解，可以做出许多改变和修改，并且可以对其元件进行等效替换，而不背离本发明的真正范围。此外，可以做出许多修改来使本发明的教导与特定情况适配，而不背离其中心范围。因此，本发明并不限于这里作为实现本发明而构思的最佳模式而公开的特定实施例，相反本发明包括落入所附权利要求书范围内的所有实施例。
Claims (20)
1. 一种辅助色盲用户的系统，其特征在于，包括：
透视显示装置，其被配置来允许用户透过其来查看实际的图像，和/或允许用户查看其上显示的电子化图像；
图像获取装置，其被配置来获取对应于能够透过所述透视显示装置查看到的实际的图像的电子化图像；
存储系统，其被配置来存储与所述系统相关联的信息；
处理系统，其被配置来在系统的当前模式为第一显示模式的情况下，基于所述图像获取装置获取的电子化图像，构造经处理的电子化图像并以与透过所述透视显示装置查看的实际的图像对准的方式将所述经处理的电子化图像叠加在所述实际的图像之上显示，其中所述经处理的电子化图像包括辅助色盲用户分辨实际的图像中不易分辨的颜色的区域，该区域通过对电子化图像中与该区域对应的部分采用HSV空间变换而得到。
2. 如权利要求1所述的系统，其特征在于，该区域进一步通过对所述电子化图像中与该区域对应的部分采用文字标注的方式而得到。
3. 如权利要求1所述的系统，其特征在于，所述HSV空间变换的方式至少包括：
；
；
；
其中红色色相的范围是[315,360)以及[0,45]，绿色色相范围是[75，165]，、和是所述经处理的电子化图像中所述区域的像素的色相，x是所述电子化图像中与所述区域对应的部分的像素的色相。
4. 如权利要求3所述的系统，其特征在于，
进一步包括用户接口，其中所述处理系统被进一步配置来响应于经由用户接口接收到的用户的微调节指令来对、和进行1－10度的减少，和/或对亮度和/饱和度进行调节。
5. 如权利要求1所述的系统，其特征在于，所述处理系统被进一步配置来在系统的当前模式为独立于其它模式的第二显示模式的情况下，基于所述图像获取装置获取的电子化图像，构造经处理的电子化图像并以与透过所述透视显示装置查看的实际的图像对准的方式将所述经处理的电子化图像叠加在所述实际的图像之上显示，其中所述经处理的电子化图像包括辅助色盲用户分辨实际的图像中不易分辨的颜色的区域，该区域通过对所述电子化图像中与该区域对应的部分采用文字标注的方式而得到。
6. 如权利要求2或5所述的系统，其特征在于，所述文字标注于所述区域之内或之外。
7. 如权利要求1—5的任一个所述的系统，其特征在于，还包括瞳孔定位装置，其被配置来追踪用户左和/或右眼的视线的汇聚点从而确定焦平面，以便图像获取装置获取该焦平面的图像，以及由所述系统至少部分地基于所定位的汇聚点和瞳孔定位装置定位的瞳孔位置将所述透视显示装置显示的图像与透过其看到的实际的图像进行坐标匹配从而将这二者对准。
8. 如权利要求1、2或4所述的系统，其特征在于，还包括语音输出装置，其中所述处理系统被进一步配置来在系统的当前模式为第一显示模式、第二显示模式或独立于其它模式的播报模式的情况下：识别所述电子化图像中不易分辨的颜色并以语音的形式通过语音输出装置输出给用户。
9. 如权利要求8所述的系统，其特征在于，所述语音输出装置是骨传导耳机。
10. 如权利要求1、4或8所述的系统，其特征在于，所述用户接口进一步被配置来通过识别用户的不同手势来识别用户对当前模式的选择，以便处理器进行相应的处理。
11. 一种辅助色盲用户的方法，其特征在于，包括：
获取对应于能够透过透视显示装置查看到的实际的图像的电子化图像；
在当前模式为第一显示模式的情况下：
基于所述电子化图像，构造经处理的电子化图像；以及
以与透过所述透视显示装置查看的实际的图像对准的方式将经处理的电子化图像叠加在所述实际的图像之上显示在所述透视显示装置上；
其中所述经处理的电子化图像包括辅助色盲用户分辨实际的图像中不易分辨的颜色的区域，该区域通过对电子化图像中与该区域对应的部分采用HSV空间变换而得到。
12. 如权利要求11所述的方法，其特征在于，该区域进一步通过对所述电子化图像中与该区域对应的部分采用文字标注的方式而得到。
13. 如权利要求12所述的方法，其特征在于，所述HSV空间变换的方式至少包括：
；
；
；
其中红色色相的范围是[315,360)以及[0,45]，绿色色相范围是[75，165]，、和是所述经处理的电子化图像中所述区域的像素的色相，x是所述电子化图像中与所述区域对应的部分的像素的色相。
14. 如权利要求13所述的方法，其特征在于，进一步包括：响应于接收到的用户的微调节指令来对、和进行1－10度的减少，和/或对亮度和/饱和度进行调节。
15. 如权利要求11所述的方法，其特征在于，进一步包括：
在当前模式为独立于其它模式的第二显示模式的情况下：
基于所述电子化图像，构造经处理的电子化图像；以及
以与透过所述透视显示装置查看的实际的图像对准的方式将所述经处理的电子化图像叠加在所述实际的图像之上显示在所述透视显示装置上；
其中所述经处理的电子化图像包括辅助色盲用户分辨实际的图像中不易分辨的颜色的区域，该区域通过对所述电子化图像中对应的部分采用文字标注的方式而得到。
16. 如权利要求12或15所述的方法，其特征在于，所述文字标注于所述区域之内或之外。
17. 如权利要求11—15的任一个所述的方法，其特征在于，进一步包括：
追踪用户左和/或右眼的视线的汇聚点从而确定焦平面，以便获取该焦平面的图像，以及至少部分地基于所定位的汇聚点和定位的用户瞳孔的位置将所述透视显示装置显示的图像与透过其看到的实际的图像进行坐标匹配从而将这二者对准。
18. 如权利要求11、12或14所述的方法，其特征在于，进一步包括：在当前模式为第一显示模式、第二显示模式和独立于其它模式的播报模式的情况下：
识别所述电子化图像中不易分辨的颜色并以语音的形式通过语音输出装置输出给用户。
19. 如权利要求18所述的方法，其特征在于，所述语音通过骨传导耳机输出。
20. 如权利要求11、14或18所述的方法，其特征在于，进一步包括：识别用户的不同手势来识别用户对当前模式的选择，以便进行相应的处理。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510247952.8A CN104794700B (zh) | 2015-05-15 | 2015-05-15 | 色盲辅助系统 |
| PCT/CN2015/092713 WO2016184035A1 (zh) | 2015-05-15 | 2015-10-23 | 辅助色盲用户的系统和方法 |
| US15/122,633 US10049599B2 (en) | 2015-05-15 | 2015-10-23 | System and method for assisting a colorblind user |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510247952.8A CN104794700B (zh) | 2015-05-15 | 2015-05-15 | 色盲辅助系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104794700A true CN104794700A (zh) | 2015-07-22 |
| CN104794700B CN104794700B (zh) | 2017-12-26 |
Family
ID=53559480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510247952.8A Active CN104794700B (zh) | 2015-05-15 | 2015-05-15 | 色盲辅助系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10049599B2 (zh) |
| CN (1) | CN104794700B (zh) |
| WO (1) | WO2016184035A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105959526A (zh) * | 2016-06-22 | 2016-09-21 | 贵州万臻时代通讯技术有限公司 | 一种用于颜色识别的眼镜及系统 |
| WO2016184035A1 (zh) * | 2015-05-15 | 2016-11-24 | 京东方科技集团股份有限公司 | 辅助色盲用户的系统和方法 |
| CN106199954A (zh) * | 2016-08-30 | 2016-12-07 | 喻阳 | 一种矫正蓝黄色弱色盲的光学装置及其设计方法 |
| JP2019105723A (ja) * | 2017-12-12 | 2019-06-27 | 株式会社Ｑｄレーザ | 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778622A (zh) * | 2016-12-19 | 2017-05-31 | 宇龙计算机通信科技(深圳)有限公司 | 识别颜色的方法、装置和移动终端 |
| US10423844B2 (en) * | 2017-09-27 | 2019-09-24 | Toyota Jidosha Kabushiki Kaisha | Personalized augmented reality vehicular assistance for color blindness condition |
| CN109191587B (zh) * | 2018-08-23 | 2019-12-31 | 百度在线网络技术（北京）有限公司 | 颜色识别方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010056799A (ja) * | 2008-08-27 | 2010-03-11 | Sharp Corp | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
| CN101783964A (zh) * | 2010-03-18 | 2010-07-21 | 上海乐毅信息科技有限公司 | 基于图像识别技术的色盲或色弱者辅助驾驶系统 |
| CN101889921A (zh) * | 2009-05-19 | 2010-11-24 | 北京保益互动科技发展有限公司 | 一种视力残障人士辅助颜色识别方法及其系统 |
| CN102402367A (zh) * | 2010-09-14 | 2012-04-04 | 上海三旗通信科技股份有限公司 | 手机终端中动态主题的实现方法 |
| CN103778602A (zh) * | 2013-12-17 | 2014-05-07 | 微软公司 | 色觉缺陷校正 |
| CN104268508A (zh) * | 2014-09-15 | 2015-01-07 | 济南大学 | 便携式色盲色弱人员交通信号灯辨别方法 |
| CN104270588A (zh) * | 2014-09-18 | 2015-01-07 | 华东师范大学 | 一种色盲色觉辅助装置 |
| CN205121651U (zh) * | 2015-05-15 | 2016-03-30 | 京东方科技集团股份有限公司 | 辅助色盲用户的装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110229023A1 (en) * | 2002-11-01 | 2011-09-22 | Tenebraex Corporation | Technique for enabling color blind persons to distinguish between various colors |
| WO2004111933A1 (ja) * | 2003-06-12 | 2004-12-23 | Sbs Information Systems Co., Ltd. | 色覚異常者への色存在の教示方法および教示プログラム、並びに色名情報取得システム |
| US20070273708A1 (en) * | 2006-05-24 | 2007-11-29 | Markus Andreasson | Reading glasses for the color blind |
| EP3611555A1 (en) * | 2009-11-19 | 2020-02-19 | eSight Corporation | Image magnification on a head mounted display |
| US8542324B2 (en) * | 2010-05-28 | 2013-09-24 | Microsoft Corporation | Efficient image and video recoloring for colorblindness |
| US20120147163A1 (en) * | 2010-11-08 | 2012-06-14 | DAN KAMINSKY HOLDINGS LLC, a corporation of the State of Delaware | Methods and systems for creating augmented reality for color blindness |
| US20120212593A1 (en) * | 2011-02-17 | 2012-08-23 | Orcam Technologies Ltd. | User wearable visual assistance system |
| JP5740318B2 (ja) * | 2012-01-30 | 2015-06-24 | 楽天株式会社 | 画像処理システム、画像処理方法、及びプログラム |
| US20130194389A1 (en) * | 2012-01-31 | 2013-08-01 | Ben Vaught | Head-mounted display device to measure attentiveness |
| US20140015850A1 (en) * | 2012-07-11 | 2014-01-16 | Korea University Research And Business Foundation | Color transformation method and apparatus for person with color vision defect |
| US9370299B2 (en) * | 2013-05-16 | 2016-06-21 | Successfactors, Inc. | Display accessibility for color vision impairment |
| US20150287345A1 (en) * | 2014-04-08 | 2015-10-08 | Enrico Tanuwidjaja | Apparatus for correcting color-blindness |
| US20160005335A1 (en) * | 2014-07-01 | 2016-01-07 | King Fahd University Of Petroleum And Minerals | Color detection system and method for color detection for the visually impaired |
| US9443488B2 (en) * | 2014-10-14 | 2016-09-13 | Digital Vision Enhancement Inc | Image transforming vision enhancement device |
| CN104794700B (zh) * | 2015-05-15 | 2017-12-26 | 京东方科技集团股份有限公司 | 色盲辅助系统 |
-
2015
- 2015-05-15 CN CN201510247952.8A patent/CN104794700B/zh active Active
- 2015-10-23 US US15/122,633 patent/US10049599B2/en active Active
- 2015-10-23 WO PCT/CN2015/092713 patent/WO2016184035A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010056799A (ja) * | 2008-08-27 | 2010-03-11 | Sharp Corp | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
| CN101889921A (zh) * | 2009-05-19 | 2010-11-24 | 北京保益互动科技发展有限公司 | 一种视力残障人士辅助颜色识别方法及其系统 |
| CN101783964A (zh) * | 2010-03-18 | 2010-07-21 | 上海乐毅信息科技有限公司 | 基于图像识别技术的色盲或色弱者辅助驾驶系统 |
| CN102402367A (zh) * | 2010-09-14 | 2012-04-04 | 上海三旗通信科技股份有限公司 | 手机终端中动态主题的实现方法 |
| CN103778602A (zh) * | 2013-12-17 | 2014-05-07 | 微软公司 | 色觉缺陷校正 |
| CN104268508A (zh) * | 2014-09-15 | 2015-01-07 | 济南大学 | 便携式色盲色弱人员交通信号灯辨别方法 |
| CN104270588A (zh) * | 2014-09-18 | 2015-01-07 | 华东师范大学 | 一种色盲色觉辅助装置 |
| CN205121651U (zh) * | 2015-05-15 | 2016-03-30 | 京东方科技集团股份有限公司 | 辅助色盲用户的装置 |
Non-Patent Citations (1)
| Title |
|---|
| 周宪: "面向色盲人群的计算机辅助色彩设计系统研究", 《西安工业大学学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016184035A1 (zh) * | 2015-05-15 | 2016-11-24 | 京东方科技集团股份有限公司 | 辅助色盲用户的系统和方法 |
| US10049599B2 (en) | 2015-05-15 | 2018-08-14 | Boe Technology Group Co., Ltd | System and method for assisting a colorblind user |
| CN105959526A (zh) * | 2016-06-22 | 2016-09-21 | 贵州万臻时代通讯技术有限公司 | 一种用于颜色识别的眼镜及系统 |
| CN105959526B (zh) * | 2016-06-22 | 2022-01-11 | 贵州万臻时代通讯技术有限公司 | 一种用于颜色识别的眼镜及系统 |
| CN106199954A (zh) * | 2016-08-30 | 2016-12-07 | 喻阳 | 一种矫正蓝黄色弱色盲的光学装置及其设计方法 |
| CN106199954B (zh) * | 2016-08-30 | 2019-03-22 | 陈晓冬 | 一种矫正蓝黄色弱色盲的光学装置及其设计方法 |
| JP2019105723A (ja) * | 2017-12-12 | 2019-06-27 | 株式会社Ｑｄレーザ | 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム |
| JP7133163B2 (ja) | 2017-12-12 | 2022-09-08 | 株式会社Ｑｄレーザ | 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016184035A1 (zh) | 2016-11-24 |
| US10049599B2 (en) | 2018-08-14 |
| US20170154547A1 (en) | 2017-06-01 |
| CN104794700B (zh) | 2017-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104794700A (zh) | 色盲辅助系统 | |
| US9720238B2 (en) | Method and apparatus for a dynamic “region of interest” in a display system | |
| JP5341462B2 (ja) | 収差補正方法、画像処理装置および画像処理システム | |
| CN104079908B (zh) | 红外与可见光图像信号处理方法及其实现装置 | |
| CN105469379B (zh) | 视频目标区域遮挡方法和装置 | |
| JP7119907B2 (ja) | 顔認識モデルの訓練方法及び訓練装置 | |
| CN110708533B (zh) | 基于增强现实的视觉辅助方法及智能穿戴设备 | |
| US9870048B2 (en) | Head-mounted display device, method of controlling the same, and computer program | |
| JP6564271B2 (ja) | 撮像装置及び画像処理方法、プログラム、並びに記憶媒体 | |
| CN205121651U (zh) | 辅助色盲用户的装置 | |
| CN109785228B (zh) | 图像处理方法、装置、存储介质和服务器 | |
| JP2015176186A (ja) | 情報処理装置、情報処理方法、及び情報処理システム | |
| US20160180514A1 (en) | Image processing method and electronic device thereof | |
| CN108828771A (zh) | 可穿戴设备的参数调整方法、装置、穿戴设备及存储介质 | |
| CN204964878U (zh) | 一种可消除色差的头戴式显示装置 | |
| CN206292723U (zh) | 具有虹膜识别功能的虚拟现实眼镜 | |
| JP2017212720A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| WO2019230169A1 (ja) | 表示制御装置、プログラムおよび表示制御方法 | |
| US20020172416A1 (en) | Image processing apparatus and method, storage medium and program | |
| CN109961477A (zh) | 一种空间定位方法、装置及设备 | |
| CN107770404B (zh) | 基于alpha通道参数的隐式成像通信方法与装置 | |
| US10885337B2 (en) | External visual enhancement and correction system | |
| JP7133163B2 (ja) | 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム | |
| KR20140100658A (ko) | 착용형 디스플레이 장치 | |
| KR102394021B1 (ko) | 사용자 맞춤형 콘택트렌즈 추천 방법 및 이러한 방법을 수행하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100015 Jiuxianqiao Road, Beijing, No. 10, No. Applicant after: BOE Technology Group Co., Ltd. Address before: Beijing economic and Technological Development Zone 100176 Beijing Zelu 9 Applicant before: BOE Technology Group Co., Ltd. |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant |