CN113272888A - 用于根据外部光改变显示特性的电子装置及其方法 - Google Patents
用于根据外部光改变显示特性的电子装置及其方法 Download PDFInfo
- Publication number
- CN113272888A CN113272888A CN202080007896.XA CN202080007896A CN113272888A CN 113272888 A CN113272888 A CN 113272888A CN 202080007896 A CN202080007896 A CN 202080007896A CN 113272888 A CN113272888 A CN 113272888A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- frame data
- color
- user
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000015654 memory Effects 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims description 59
- 239000003086 colorant Substances 0.000 claims description 32
- 208000006992 Color Vision Defects Diseases 0.000 claims description 18
- 201000007254 color blindness Diseases 0.000 claims description 18
- 230000000295 complement effect Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 description 59
- 238000004891 communication Methods 0.000 description 55
- 230000000903 blocking effect Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 26
- 230000000007 visual effect Effects 0.000 description 25
- 230000003190 augmentative effect Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 17
- 210000003128 head Anatomy 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000002238 attenuated effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- 230000004379 myopia Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010020675 Hypermetropia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004305 hyperopia Effects 0.000 description 2
- 201000006318 hyperopia Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 201000009487 Amblyopia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 201000000761 achromatopsia Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000024159 perception of rate of movement Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2003—Display of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/06—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0242—Compensation of deficiencies in the appearance of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
提供了一种用于基于外部光的亮度来控制显示器的电子装置及其方法。电子装置包括:显示器;传感器;存储器;以及处理器,可操作地连接到显示器、传感器和存储器。所述处理器被配置为:识别关于指向电子装置的外部光的第一信息,基于识别的第一信息和关于用户的第二信息来获取第一帧数据,在显示器上显示第一帧数据,当在显示器上输出第一帧数据时,从存储在存储器中的应用识别与第一帧数据有区别的第二帧数据,至少部分地基于第一帧数据来调整包括在第二帧数据中的多个像素中的至少一个像素的颜色,以及基于第一帧数据或调整的第二帧数据来控制显示器。
Description
技术领域
本公开涉及一种用于基于外部光的亮度来控制显示器的电子装置及其方法。
背景技术
近年来,随着电子装置(诸如智能电话和平板个人计算机(PC))的快速发展,可以执行无线语音呼叫和信息交换的电子装置已经成为日常需要。电子装置已经仅被认为是能够进行无线语音呼叫的便携式设备。然而,随着无线语音呼叫的技术的发展和无线互联网的引入,电子装置已经发展成除了无线语音呼叫之外还执行诸如日程安排、游戏、远程控制、图像摄影、互联网搜索和社交网络服务(SNS)的功能的多媒体设备,从而满足用户的需要。
特别地,用于提供增强现实服务的电子装置最近变得可用。增强现实服务是指用于向用户显示叠加有具有附加信息的虚拟图像的真实世界图像的服务,并且可以向用户提供包括与不同于真实世界图像的外部对象相关联的内容的虚拟图像。
以上信息仅作为背景技术信息呈现,以帮助理解本公开。关于以上内容中的任何一个是否可以作为关于本公开的现有技术适用,没有做出任何确定,也没有做出断言。
发明内容
问题的解决方案
本公开的各方面是为了至少解决上述问题和/或缺点,并且至少提供下面描述的优点。因此,本公开的一方面是提供一种用于基于外部光的亮度来控制显示器的设备和方法及其方法。
当通过以重叠方式在透射外部光的显示器上显示与外部光相关联的内容来向用户提供增强现实服务时,外部光的亮度可以决定用户是否能够看到内容。例如,当相对亮的外部光到达用户时,显示给用户的内容的可见性可能降低。
本公开中追求的技术主题可以不限于上述技术主题,并且本公开领域的技术人员可以通过下面的描述清楚地理解未提及的其他技术主题。
另外的方面将部分地在下面的描述中阐述,并且将部分地从描述中显而易见,或者可以通过实践所呈现的实施例来学习。
根据本公开的一方面,提供了一种电子装置。电子装置包括:显示器;传感器;存储器;以及至少一个处理器,可操作地连接到显示器、传感器和存储器。所述至少一个处理器被配置为:响应于识别出电子装置穿戴在用户身上,通过使用传感器来识别关于指向电子装置的外部光的第一信息,基于识别的第一信息和关于用户的第二信息来获取第一帧数据,响应于获取第一帧数据,在显示器上显示第一帧数据,当在显示器上输出第一帧数据时,从存储在存储器中的应用识别与第一帧数据有区别的第二帧数据,响应于识别出第二帧数据,至少部分地基于第一帧数据来调整包括在第二帧数据中的多个像素中的至少一个像素的颜色,以及基于第一帧数据或调整的第二帧数据中的至少一个来控制显示器。
根据本公开的另一方面,提供了一种电子装置。电子装置包括:显示器;传感器;存储器;以及至少一个处理器,可操作地连接到显示器、传感器和存储器。所述至少一个处理器被配置为:通过使用传感器识别指向电子装置的第一外部光,基于识别出第一外部光,在透射第一外部光的显示器上显示具有与第一外部光相关联的第一颜色的内容,其中,所述内容是从所述至少一个处理器所执行的应用获取的,在输出基于第一颜色的内容时,通过使用传感器识别与第一外部光有区别的第二外部光,以及响应于识别出第二外部光,将在显示器上输出的内容的颜色从第一颜色改变为与第二外部光相关联的第二颜色。
根据本公开的又一方面,提供了一种电子装置的方法。所述方法包括:识别电子装置的用户是否穿戴电子装置;响应于识别出电子装置穿戴在用户身上,通过使用电子装置的传感器来识别指示指向电子装置的外部光的亮度的第一信息;基于识别的第一信息和关于用户的第二信息来获取第一帧数据;响应于获取第一帧数据,在电子装置的显示器上输出第一帧数据;当在显示器上输出第一帧数据时,从存储在电子装置的存储器中的应用识别与第一帧数据有区别的第二帧数据;响应于识别出第二帧数据,至少部分地基于第一帧数据来调整包括在第二帧数据中的多个像素中的至少一个像素的颜色;以及基于第一帧数据或调整的第二帧数据中的至少一个来控制显示器。
根据下面结合附图公开了本公开的各种实施例的详细描述,本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
通过以下结合附图的描述,本公开的特定实施例的以上和其他方面、特征和优点将更加显而易见,其中:
图1是根据本公开的实施例的网络环境内的电子装置的框图;
图2是根据本公开的实施例的电子装置和外部电子装置的框图;
图3是示出根据本公开的实施例的电子装置的操作的流程图;
图4A是示出根据本公开的实施例的可以穿戴在用户的头部的电子装置的示图;
图4B是示出根据本公开的实施例的可以穿戴在用户的头部的电子装置的示图;
图5是示出根据本公开的实施例的电子装置基于外部光获取关于第一帧数据的第一信息的操作的流程图;
图6是示出根据本公开的实施例的电子装置通过使用亮度传感器获取第一信息的操作的示图;
图7A是示出根据本公开的实施例的电子装置基于关于外部环境的第一信息和关于用户的第二信息产生第一帧数据的操作的流程图;
图7B是示出根据本公开的实施例的电子装置基于关于外部环境的第一信息和关于用户的第二信息产生第一帧数据的操作的流程图;
图8是示出根据本公开的实施例的由电子装置产生的第一帧数据中包括的多个像素的示图;
图9是示出根据本公开的实施例的电子装置基于第一帧数据调整第二帧数据的操作的流程图;
图10A是示出根据本公开的实施例的电子装置基于第一帧数据和第二帧数据控制显示器的操作的示图;
图10B是示出根据本公开的实施例的电子装置基于第一帧数据和第二帧数据控制显示器的操作的示图;
图11是示出根据本公开的实施例的电子装置产生第一帧数据和第二帧数据的顺序的流程图;
图12是示出根据本公开的实施例的电子装置基于从用户输入的信息识别关于第一帧数据的第二信息的操作的流程图;
图13A是示出根据本公开的实施例的电子装置向用户提供以便识别图12中的第二信息的用户界面(UI)的示例的示图;
图13B是示出根据本公开的实施例的电子装置向用户提供以便识别图12中的第二信息的UI的示例的示图;
图13C是示出根据本公开的实施例的电子装置向用户提供以便识别图12中的第二信息的UI的示例的示图;
图13D是示出根据本公开的实施例的电子装置向用户提供以便识别图12中的第二信息的UI的示例的示图;
图14是示出根据本公开的实施例的电子装置通过使用外部电子装置识别关于第一帧数据的第二信息的操作的流程图;
图15是示出根据本公开的实施例的电子装置基于用户启用的模式和/或状态产生第一帧数据的操作的流程图;
图16是示出根据本公开的实施例的电子装置根据外部光的变化来改变提供给用户的内容的颜色的操作的流程图;
图17是示出根据本公开的实施例的电子装置基于从图像传感器获取的图像产生第一帧数据和第二帧数据的操作的流程图;以及
图18是示出根据本公开的实施例的电子装置向用户提供增强现实服务的情况的示图。
在整个附图中,相同的附图标号将被理解为指代相同的部分、部件和结构。
具体实施方式
提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解,但是这些细节仅被认为是示例性的。因此,本领域普通技术人员将认识到,在不脱离本公开的范围和精神的情况下,可以对这里描述的各种实施例进行各种改变和修改。另外,为了清楚和简明,可以省略对公知的功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义,而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此,对于本领域技术人员显而易见的是,提供本公开的各种实施例的以下描述仅用于说明目的,而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
应当理解,除非上下文另有明确规定,否则单数形式“一”、“一个”和“该”包括复数指示物。因此,例如,对“部件表面”的指代包括对一个或更多个这样的表面的指代。
图1是示出根据本公开的实施例的网络环境100中的电子装置101的框图。
参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例,电子装置101可经由服务器108与电子装置104进行通信。根据实施例,电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子装置101中省略所述部件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中,可将所述部件中的一些部件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。
处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如,手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。
音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入装置150获得声音,或者经由声音输出装置155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例,可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块197可包括多个天线。在这种情况下,可由例如通信模块190(例如,无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的部件(例如,射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传递信号(例如,命令或数据)。
根据实施例,可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传递到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施例,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。
图2是根据本公开的实施例的电子装置101和外部电子装置230的框图。
电子装置101可以与可穿戴装置对应,其中,所述可穿戴装置包括配件型装置(例如,手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或服装集成装置(例如,电子服装)、身体附着装置(例如,皮肤垫或纹身)或生物可植入装置(例如,可植入电路)中的至少一个。稍后将参照图4A至图4B描述与可穿戴装置对应的电子装置101的示例。在实施例中,电子装置101可以与智能电话、智能平板、平板PC、个人数字助理(PDA)、膝上型PC或台式PC中的至少一个对应。稍后将参照图17至图18描述与智能电话或智能平板对应的电子装置101的示例。
参照图2,根据各种实施例的电子装置101可以包括处理器120、存储器130、传感器模块176、相机模块180、通信模块190或显示设备160中的至少一个。图2中的电子装置101和图2中的电子装置101中包括的硬件部件可以与图1中的电子装置101和图1中的电子装置101中包括的硬件部件对应。例如,处理器120、存储器130、传感器模块176、相机模块180、通信模块190或显示装置160可以通过通信总线(未示出)彼此可操作地连接或电连接。
根据各种实施例,相机模块180可以包括被配置为基于光电效应来识别到达相机模块180的外部光的多个光电二极管(PD)。多个光电二极管中的每个可以输出与外部光对应的电信号。相机模块180可以基于指定的周期(例如,12Hz、60Hz或120Hz)输出包括从多个PD输出的多个电信号的数据集。该周期可以与相机模块180的每秒帧数(FPS)相关联。在下文中,从相机模块180输出的数据集将被称为图像数据。
根据各种实施例,传感器模块176可以包括至少一个传感器,被配置为输出与测量电子装置101的外围环境的结果相关联的电信号。例如,传感器模块176可以包括被配置为测量指向电子装置的外部光的照明强度(亮度)的亮度传感器210。可以将由亮度传感器210测量的亮度或由相机模块180获取的图像数据中的至少一个传递到电子装置101的处理器120。
根据各种实施例,处理器120可以执行存储在存储器120中的至少一个指令。处理器120可以包括用于处理数据的电路(例如,集成电路(IC)、算术逻辑单元(ALU)、现场可编程门阵列(FPGA)和大规模集成电路(LSI)中的至少一个)。由处理器120处理的数据可以包括例如由亮度传感器210测量的亮度或由相机模块180获取的图像数据中的至少一个。
根据各种实施例,存储器130可存储关于电子装置101的数据。存储器130可包括易失性存储器(诸如随机存取存储器(RAM),包括静态随机存取存储器(SRAM)或动态RAM(DRAM)),或者可包括非易失性存储器(诸如只读存储器(ROM)、磁阻RAM(MRAM)、自旋转移矩MRAM(STT-MRAM)、相变RAM(PRAM)、电阻RAM(RRAM)、铁电RAM(FeRAM)、闪存存储器、嵌入式多媒体卡(eMMC)或固态驱动器(SSD))。
根据各种实施例,存储器130可以存储关于应用的指令和关于操作系统(OS)的指令。OS可以包括在由处理器120执行的系统软件中。通过执行OS,处理器120可以管理电子装置101中包括的硬件部件。OS可以向应用编程接口(API)提供与除系统软件之外的其他软件对应的应用。
根据各种实施例,作为一组多个应用的至少一个应用可以被安装在存储器130中。应用安装在存储器130中的事实表示应用以连接到存储器130的处理器120能够执行的格式被存储。基于用于提供增强现实服务的应用,电子装置101可以从相机模块180获取的图像数据中识别至少一个外部对象。
根据各种实施例,显示装置160可以包括至少一个显示器220,被配置为通过使用有机发光二极管(OLED)、液晶显示器(LCD)和发光二极管(LED)中的至少一个来向用户视觉地输出信息。由电子装置101输出的信息可以包括例如关于从图像数据识别的至少一个外部对象的信息。显示器220可以包括设置在显示器220的表面上的触摸屏面板(TSP),使得显示在显示器220上的用户界面(UI)可以由用户更直观地控制。TSP可以通过使用电阻膜、电容部件、表面声波和红外波中的至少一个来检测触摸显示装置160或悬停在显示装置160上方的对象(例如,用户的手指或触笔)的位置。
根据各种实施例,显示器220可以包括面板,被配置为将到达面板的第一表面的外部光的至少一部分透射到与第一表面相对的第二表面。在实施例中,显示器220可以与可附接到用户头部的HMD或者朝向用户头部的一侧露出的平视显示器(HUD)对应。面板的第二表面可以面向用户的眼睛,并且到达第一表面的外部光可以通过面板,使得外部光被传递到用户的眼睛。可以基于来自处理器120的控制信号来调整面板透射外部光的程度(例如,透明度)。稍后将参照图4A至图4B描述附接到用户头部的电子装置101的实施例和显示器220的结构的实施例。
根据各种实施例,处理器120可以在面板上显示UI,使得UI叠加在用户观看的外部对象上。可以基于用于提供增强现实服务的应用来产生UI。根据各种实施例,处理器120可以基于由亮度传感器210测量的亮度来改变显示器220的面板上显示的UI的颜色和/或透明度。处理器120可以基于由亮度传感器210测量的亮度来改变整个面板的颜色和/或透明度。
根据各种实施例,处理器120可以基于由亮度传感器210测量的亮度、关于用户的信息或亮度和关于用户的信息的组合来确定在整个面板上或面板的一部分上显示的UI的颜色和/或透明度。关于用户的信息可以包括例如关于用户的色弱和/或色盲中的至少一个的信息。稍后将参照图3描述处理器120基于亮度或信息中的至少一个来确定显示在整个面板上或面板的一部分上的UI的颜色和/或透明度的操作的实施例。
根据各种实施例,通信模块190可以基于无线网络(诸如蓝牙、无线保真(Wi-Fi)、近场通信(NFC)或长期演进(LTE))和有线网络(诸如局域网(LAN)或以太网)将电子装置101连接到外部电子装置230。通信模块190可以包括支持无线网络或有线网络的通信电路、通信处理器(CP)和通信接口中的至少一个。
参照图2,根据各种实施例的外部电子装置230可以包括通信模块240、处理器250或存储器260中的至少一个。通信模块240、处理器250和存储器260可以包括分别与电子装置101中包括的通信模块190、处理器120和存储器130的硬件部件类似的硬件部件。例如,通信模块240、处理器250或存储器260可以通过通信总线(未示出)彼此电连接或可操作地连接。
根据各种实施例,电子装置101和外部电子装置230可基于通信模块190和240通过无线或有线网络彼此连接。通过有线或无线网络,电子装置101可以发送关于用户的信息,其中,所述信息用于确定在整个面板上或面板的一部分上显示的UI的颜色和/或透明度。稍后将参照图14描述由电子装置101和外部电子装置230基于该信息执行的操作。
根据各种实施例,电子装置101可以调整显示器220的整个区域的颜色和/或透明度,同时将显示在显示器220内的基于增强现实的内容与通过显示器220的外部光一起朝向用户的双眼提供,以便防止用户由于外部光而不能看到内容的情况,或者用户由于内容而不能看到外部光的情况。根据各种实施例,电子装置101可以调整显示器220的整个区域的颜色和/或透明度,使得用户可以区分多种颜色,而不管色盲和/或色弱。根据各种实施例,电子装置101可以基于显示器220的整个区域的调整的颜色和/或透明度来调整内容的颜色。例如,电子装置101可以将内容的颜色改变为显示器220的整个区域的颜色的互补色。然而,这仅是示例,并且实施例不限于此。例如,电子装置101还可以调整显示器220的部分区域的颜色和/或透明度。
图3是示出根据本公开的实施例的电子装置的操作的流程图300。图3中的电子装置可以与图1至图2中的电子装置101对应。例如,图3中的操作可以由图1至图2中的电子装置101或由图1至图2中的处理器120执行。
参照图3,在操作310,根据各种实施例的电子装置可以识别关于指向电子装置的外部光的第一信息。在实施例中,可以响应于由电子装置执行与增强现实服务相关联的应用来执行操作310。可选地,在电子装置与可穿戴装置对应的实施例中,可以基于电子装置的用户是否穿戴电子装置来执行操作310。
可以基于包括在电子装置中的至少一个传感器来识别指向电子装置的外部光。例如,外部光可以是指向亮度传感器的光,其中,所述光通过电子装置的壳体的至少一部分可见。例如,外部光可以是指向相机模块的光,其中,所述光通过电子装置的壳体的至少一部分可见。
基于外部光识别的第一信息可以包括由电子装置中包括的至少一个传感器测量的参数。例如,第一信息可以包括从电子装置中包括的亮度传感器(例如,图2中的亮度传感器210)、相机模块(例如,图1至图2中的相机模块180)或亮度传感器和相机的组合获得的至少一个参数。例如,第一信息可以包括外部光的亮度。例如,第一信息可以包括在相机模块的图像传感器上二维地接收到的图像。
在操作320,根据各种实施例的电子装置可以识别关于用户的第二信息。第二信息可以包括已经存储在电子装置的存储器中的一个或更多个参数。例如,第二信息可以包括与用户的色弱和/或色盲中的至少一个相关联的一个或更多个参数。在实施例中,第二信息可以包括用户不能区分的多种颜色的类型、频率和标识符中的至少一个或它们的组合。在实施例中,第二信息可以包括用户不能区分的一种或更多种颜色的类型、频率和标识符中的至少一个或它们的组合。在实施例中,第二信息可以包括用于矫正用户的色弱和/或色盲的指定颜色的类型、频率和标识符中的至少一个或它们的组合。第二信息不限于上述示例,并且稍后将参照图15描述识别关于用户的第二信息的电子装置的操作的实施例。
在操作330,根据各种实施例的电子装置可以基于第一信息和第二信息获取第一帧数据。第一帧数据的大小和/或分辨率可以与包括在电子装置中的显示器的整个区域的大小和/或分辨率对应。第一帧数据可以包括多个像素。可以基于第一信息和第二信息来确定包括在第一帧数据中的多个像素的颜色和透明度。
在实施例中,可以基于关于用户的第二信息(例如,基于用户的偏好指定的颜色、被指定为校正用户的色弱和/或色盲的颜色)来确定第一帧数据的多个像素的颜色。在实施例中,可以基于包括在第一信息中的外部光的亮度来确定第一帧数据的多个像素的透明度。稍后将参照图7A至图7B描述由电子装置结合操作330执行的实施例。
响应于第一帧数据的获取,在操作340,根据各种实施例的电子装置可以在显示器上显示第一帧数据。在电子装置与可穿戴装置对应的实施例中,当用户穿戴电子装置时,显示器可以被设置为与用户的眼睛相邻。显示器可以将外部光的至少一部分透射到眼睛。由于电子装置在将外部光的至少一部分透射到眼睛的显示器上显示第一帧数据,因此用户可以看到第一帧数据以及外部光。当第一帧数据的大小或分辨率与显示器的整个区域的大小或分辨率对应时,用户可以看到基于第一帧数据的颜色或透明度而转换的外部光。
在操作350,根据各种实施例的电子装置可以从应用识别第二帧数据。应用可以与用于提供与增强现实相关联的内容和/或UI的应用对应。例如,电子装置可以基于应用产生包括与基于外部光识别的外部对象相关联的内容的第二帧数据。第二帧数据内的内容的位置可以与显示器上外部对象的光被穿透的位置对应。
包括在第二帧数据中的内容和/或UI的大小可以与显示器的整个区域的至少一部分的大小对应。在实施例中,第一帧数据可以与由应用提供的内容和/或UI的背景对应。例如,第一帧数据可以与由电子装置提供给用户的UI的背景图像、背景帧数据、背景颜色或背景对象相关联。例如,第二帧数据可以与由电子装置提供给用户的前景图像、前景帧数据或前景对象相关联。
响应于未能识别第二帧数据(350中的“否”),根据各种实施例的电子装置可以基于操作340保持显示第一帧数据。响应于识别出第二帧数据(350中的“是”),根据各种实施例的电子装置可以在操作360中基于第一帧数据来改变第二帧数据。根据实施例的电子装置可以响应于识别出第二帧数据,至少部分地基于第一帧数据来调整包括在第二帧数据中的多个像素中的至少一个像素的颜色。在实施例中,电子装置可以基于包括在第一帧数据中的多个像素中的至少一个像素的颜色来改变包括在第二帧数据中的多个像素中的至少一个像素的颜色。
例如,电子装置可以基于包括在第一帧数据中的多个像素的第一颜色,将包括在第二帧数据中的内容的颜色从第二颜色改变为第三颜色。例如,第三颜色可以是第一颜色的互补色。彼此互补的第一颜色和第三颜色可以是色谱中的反色。例如,红色和绿色是互补色。第三颜色可以与确定的颜色对应,使得当包括在第二帧数据中的内容与第一帧数据重叠时,不管第一颜色如何用户都可以识别出内容。例如,当内容的颜色从第二颜色改变为与第一颜色互补的第三颜色时,由于互补对比,用户可以更清楚地识别出与具有第一颜色的第一帧数据的多个像素重叠的内容。
在操作370,根据各种实施例的电子装置可以在显示器上显示第一帧数据和第二帧数据。显示在显示器上的第二帧数据可以与基于操作360改变的第二帧数据对应。电子装置可以基于第一帧数据和/或基于操作360调整的第二帧数据中的至少一个来控制显示。包括在显示器中的多个像素中的每个像素的颜色和透明度可以具有包括在第一帧数据和/或第二帧数据中的对应像素的颜色和/或透明度。
在实施例中,电子装置可以基于阿尔法混合技术合并第一帧数据的多个像素和第二帧数据的多个像素。电子装置可以在显示器上输出合并的多个像素。在实施例中,电子装置可以控制显示器,使得第二帧数据中包括的至少一个像素在与第一帧数据中包括的多个像素重叠时被显示。稍后将参照图10A至图10B描述基于第一帧数据和第二帧数据控制显示的电子装置的操作。
图4A是示出在本公开的实施例中可以穿戴在用户410的头部的电子装置101的示图。
图4B是示出在本公开的实施例中可以穿戴在用户410的头部的电子装置101的示图。图4A至图4B中的电子装置101可以与图1至图2中的电子装置101对应。图4A至图4B中的电子装置101可以与可穿戴装置对应。
参照图4A,示出用户410将电子装置101穿戴在他/她的头部的情况。电子装置101可以包括可以紧固在用户410的头部的一个或更多个带。例如,用户可以连接包括在电子装置101中的多个带,使得电子装置101穿戴在用户410的头部。
根据各种实施例,当用户410将电子装置101穿戴在他/她的头部时,电子装置101可以包括设置在用户的双眼前方的护目镜480。护目镜480的类型可以与太阳镜、护目镜或眼镜中的至少一个的类型类似。在护目镜480内,包括在电子装置101中的至少一个显示器可以设置在用户的双眼前方。布置在用户双眼前方的护目镜480和/或显示器中的至少一个可包括对指向用户双眼的外部光的至少一部分进行透射的材料。与外部对象420相关联的外部光的至少一部分可以通过护目镜480和显示器,并且因此到达用户的双眼。
参照图4A,包括在电子装置101中的相机模块180可以包括在电子装置101的设置有护目镜的一侧,以便获取用户双眼前方的场景的图像。例如,当穿戴电子装置101的用户410注视外部对象420时,电子装置101可以获取包括外部对象420的图像。电子装置101中包括的亮度传感器210也可以包括在上述一侧,以便测量指向用户双眼的外部光的亮度。在实施例中,电子装置101的相机模块180和/或亮度传感器210可以基于棱镜和/或反射镜来测量图像和/或亮度。
根据各种实施例,电子装置101可以基于从相机模块180获取的图像、由亮度传感器210测量的亮度和从用户输入的信息中的至少一个或组合来改变显示器上显示的至少一条帧数据的颜色和/或透明度。在实施例中,可以基于由亮度传感器210测量的亮度来确定在显示器上显示并且具有与显示器的整个区域的大小对应的大小的第一帧数据的透明度。在实施例中,可以基于从用户输入的信息来确定第一帧数据的颜色。
在实施例中,可以基于第一帧数据的颜色来确定第二帧数据的颜色,其中,所述第二帧数据被显示以便与显示器220的与外部对象420相关联的外部光被穿透的部分重叠,并且所述第二帧数据包括包括关于外部对象420的信息的内容。例如,电子装置101可以基于用于识别外部对象420的应用来获取包括具有一种或更多种颜色的内容的第二帧数据。电子装置101可以基于与第一帧数据相关联的颜色来改变内容的一种或多种颜色。内容的改变后的一种或多种颜色可以包括在以与第一帧数据相关联的颜色(例如,第一帧数据的颜色的互补色)为中心的颜色区域中。
根据各种实施例,电子装置101可以基于用户410的外部光的改变来调整第一帧数据和/或第二帧数据。例如,当由亮度传感器210测量的亮度改变时,电子装置101可基于改变的亮度来调整第一帧数据和/或第二帧数据的颜色和/或透明度。稍后将参照图16描述由电子装置101基于改变的亮度执行的操作的各种实施例。
根据各种实施例,电子装置101可以基于第一帧数据和/或第二帧数据来控制显示器中包括的多个像素。电子装置101中包括的显示器的数量可以是一个或更大的数量。
参照图4B,电子装置101可以包括分别与用户的双眼410-1和410-2对应的两个显示器220-1和220-2。
根据各种实施例,两个显示器220-1和220-2可以包括分别包括多个像素的像素阵列430-1和430-2。像素阵列430-1和430-2可以包括基于LCD和/或OLED的多个像素。电子装置101可基于第一帧数据和/或第二帧数据分别控制包括在像素阵列430-1和430-2中的像素。
根据各种实施例,从像素阵列430-1和像素阵列430-2中的每个中包括的像素发射的光可以分别通过在像素阵列430-1和像素阵列430-2的前表面上露出的透镜440-1和透镜440-2。在通过透镜440-1和透镜440-2中的每个之后,光可以通过波导板450-1和波导板450-2中的每个并且可以到达全息光学元件(HOE)460-1和全息光学元件460-2。在到达全息光学元件460-1和全息光学元件460-2中的每个之后,光可以沿着波导板450-1和波导板450-2传播,并且可以到达设置在用户的双眼410-1和410-2前方的全息光学元件470-1和全息光学元件470-2中的每个。在到达全息光学元件470-1和全息光学元件470-2中的每个之后,光可以与通过全息光学元件470-1和全息光学元件470-2中的每个的外部光一起朝向用户的双眼410-1和410-2被反射。
根据各种实施例,电子装置101朝向用户的双眼410-1和410-2提供叠加在外部光上并且基于第一帧数据和/或第二帧数据的光的方式不限于图4B所示的实施例。在实施例中,电子装置101可以通过使用设置在用户的双眼410-1和410-2前方并且包括液晶的面板来向用户输出叠加在外部光上并且基于第一帧数据和/或第二帧数据的光。在实施例中,电子装置101可以通过同时使用像素阵列430-1和像素阵列430-2和/或包括液晶的面板向用户输出叠加在外部光上并且基于第一帧数据和/或第二帧数据的光。
根据各种实施例的电子装置101可以改变第一帧数据和/或第二帧数据的颜色和/或透明度,以便增强外部对象420和/或电子装置101通过识别外部对象420而产生的内容的可见性。例如,可以基于关于电子装置101的外部环境和/或用户的双眼410-1和410-2的信息来改变第一帧数据和/或第二帧数据的颜色和/或透明度。电子装置101的外部环境可以与外部光的强度、亮度、大气环境和天气中的至少一个或外部光的强度、亮度、大气环境和天气的组合相关联。关于用户的双眼410-1和410-2的信息可以与色弱、色盲、视力、散光、近视和远视中的至少一个或色弱、色盲、视力、散光、近视和远视的组合相关联。
例如,电子装置101可以基于从夜晚到白天的时间流逝或用户410从室内环境到室外环境的移动来改变具有与显示器的整个区域的大小对应的大小的第一帧数据的颜色和/或透明度。在这种情况下,电子装置101的显示器可以支持基于第一帧数据根据外部环境动态地改变颜色的功能。例如,通过确定第一帧数据的颜色使得具有色弱的用户410不能区分的多个颜色被转换,电子装置101的显示器可以支持与具有色弱的用户410的矫正镜片类似的功能。
图5是示出根据本公开实施例的电子装置基于外部光获取关于第一帧数据的第一信息的操作的流程图500。图5中的电子装置可以与图1至图2和图4A至图4B中的电子装置101对应。图5中的操作可以由图1至图2中的电子装置101或由图1至图2中的处理器120执行。图5中所示的操作中的至少一个操作可以与图3中的操作310相关联。
参照图5,在操作510,根据各种实施例的电子装置可以确定用户是否穿戴电子装置。例如,当用户连接电子装置的多个带时,电子装置可以基于包括在多个带中的至少一个带中的开关来确定用户穿戴着电子装置。例如,基于通过电子装置的一侧可见的接近传感器,电子装置可以识别电子装置穿戴在用户身上。
当用户未穿戴电子装置时(510中的“否”),根据各种实施例的电子装置可能无法识别外部光。在实施例中,电子装置可以在指定时间内检测用户是否穿戴电子装置。
响应于识别出用户身上穿戴了电子装置(510中的“是”),在操作520,根据各种实施例的电子装置可以识别指向电子装置的外部光。在实施例中,电子装置可以基于亮度传感器来识别外部光。在实施例中,电子装置可以基于包括在相机模块中的图像传感器来识别外部光。
在操作530,根据各种实施例的电子装置可以获取包括识别的外部光的亮度的第一信息。在实施例中,第一信息可包括由包括在电子装置中的亮度传感器测量的亮度值。包括在第一信息中的值和/或数据不限于上述亮度值。例如,第一信息可以包括从图像传感器获取的图像数据、由温度传感器测量的温度、当前时间、地理位置或图像数据、温度、当前时间和地理位置的组合。
根据各种实施例,可以基于由电子装置执行的系统软件和/或应用(例如,用于提供增强现实服务的应用)来处理获取的第一信息。例如,获取的第一信息可用于识别包括在用户的视场中的至少一个外部对象。例如,获取的第一信息可以用于确定覆盖用户的视场(FOV)的至少一部分的显示器的颜色和/或透明度。例如,获取的第一信息可以用于获取图3中的第一帧数据。
图6是示出根据本公开实施例的通过使用亮度传感器210获取第一信息的电子装置101的操作的示图。图6中的电子装置101可以与图1至图2中的电子装置101对应。例如,图6中的电子装置101可以基于图5中的操作中的至少一个来获取第一信息。
参照图6,根据各种实施例的电子装置101的处理器120可以基于电子装置101的状态是否满足指定条件来启用亮度传感器210。在实施例中,指定条件可以与电子装置101的用户是否穿戴电子装置101相关联。在实施例中,指定条件可以与电子装置101是否处于与睡眠状态有区别的唤醒状态相关联。
在实施例中,响应于识别出电子装置101穿戴在用户身上,处理器120可以启用亮度传感器210。启用的亮度传感器210可接收指向亮度传感器210的外部光。响应于接收到外部光,亮度传感器210可以测量外部光的亮度。由亮度传感器210输出的电信号可以是具有与测量的亮度对应的电压、电流和/或频率的模拟电信号。
根据实施例的电子装置101可以包括连接到亮度传感器210的模数转换器(ADC)610,以便将从亮度传感器210输出的模拟电信号改变为数字电信号。ADC 610可以设置在亮度传感器210和处理器120之间。响应于从亮度传感器210输出的模拟电信号,ADC 610可以输出与测量的亮度对应的数字电信号。从ADC 610输出的数字电信号可以被发送到电子装置101的处理器120。
根据各种实施例,响应于从ADC 610输出的数字电信号,处理器120可以访问存储在存储器130中的表620。表620可以包括指示亮度和透明度之间的关系的信息。例如,表620可以包括关于多个亮度级别中的每个亮度级别与多个透明度级别中的一个透明度级别之间的映射的信息。透明度可以与第一帧数据的透明度和/或第一帧数据的阿尔法值相关联。表620可以由电子装置101的用户调谐,或者可以启发式地改变。
根据各种实施例,由电子装置101基于亮度传感器210获取的第一信息可包括与外部光的亮度强度相关联的各种参数。例如,第一信息可以包括从亮度传感器210输出的模拟电信号、从ADC 610输出的数字电信号、通过访问表620获取的第一帧数据的透明度和/或第一帧数据的阿尔法值中的至少一个。第一信息可以包括第一帧数据的透明度和/或第一帧数据的阿尔法值,或者可以包括用于获取第一帧数据的透明度和/或第一帧数据的阿尔法值的各种参数。
图7A是示出根据本公开实施例的电子装置基于关于外部环境的第一信息和关于用户的第二信息产生第一帧数据的操作的流程图700-1。
图7B是示出根据本公开实施例的电子装置基于关于外部环境的第一信息和关于用户的第二信息产生第一帧数据的操作的流程图700-2。图7A至图7B中的电子装置可以与图1至图2和图4A至图4B中的电子装置101对应。图7A至图7B中的操作可以由图1至图2中的电子装置101或由图1至图2中的处理器120执行。图7A至图7B中所示的操作中的至少一个可以与图3中的操作330相关联。
参照图7A,在操作710,根据各种实施例的电子装置可以基于第一信息识别包括在第一帧数据中的多个像素的透明度。第一信息是指基于图5中的至少一个操作获取的信息,并且可以与电子装置的外部环境相关联。在实施例中,电子装置可以基于第一信息中包括的外部光的亮度来识别第一帧数据中包括的多个像素的透明度。可以基于图6中的表620将多个像素的透明度确定为与亮度对应的透明度和/或阿尔法值。
在操作720,根据各种实施例的电子装置可以基于第二信息来识别包括在第一帧数据中的多个像素的颜色。第二信息是指关于用户的信息,并且例如可以与用户的眼睛相关联。在实施例中,可配置包括在第一帧数据中的多个像素的颜色,从而基于关于电子装置的用户的眼睛的信息(例如,与色弱和/或色盲中的至少一个相关联的一个或更多个参数)来改变通过显示器的外部光的颜色。稍后将参照图12描述电子装置识别来自用户的第二信息的操作。
在操作730,根据各种实施例的电子装置可以产生具有识别的颜色和识别的透明度的第一帧数据。包括在第一帧数据中的多个像素中的每个可以包括分别与红光、蓝光和绿光对应的值。包括在第一帧数据中的多个像素中的每个还可以包括指示透明度的阿尔法值。基于识别的颜色,电子装置可以确定第一帧数据的多个像素中的所有像素的红光、蓝光和绿光中的每个的强度。基于识别的透明度,电子装置可以确定第一帧数据的多个像素中的所有像素的阿尔法值。在实施例中,包括在第一帧数据的多个像素中的红光的强度、蓝光的强度、绿光的强度和阿尔法值可以彼此相同。
在操作740,根据各种实施例的电子装置可以存储产生的第一帧数据。第一帧数据可以存储在电子装置的存储器内的与第一帧数据对应的指定区域(例如,第一帧缓冲器)中。电子装置可以基于存储在第一帧缓冲器中的第一帧数据来控制显示器中包括的多个像素。在电子装置基于第一帧数据控制显示器中包括的多个像素之后,当外部光通过显示器时,可以根据在操作710中识别的透明度来衰减外部光的强度。类似地,当外部光通过显示器时,也可以根据在操作720中识别出的颜色来改变外部光的颜色。
在实施例中,电子装置可以改变包括在第一帧数据中的多个像素中的一些像素的颜色和/或透明度。包括在第一帧数据中的多个像素中的一些像素可以与设置在显示器的一部分上的像素对应,其中,外部光通过该部分像素比通过其他像素的情况更亮或更暗。
图7B是示出根据实施例的电子装置改变包括在第一帧数据中的多个像素中的一些像素的颜色和/或透明度的操作的流程图700-2。在图7B中的操作中,与图7A中类似地或相同地执行的操作的描述将在这里被省略。例如,图7B中的操作710、720和730可以与参照图7A描述的类似地执行。电子装置可以基于操作710、720和730识别包括多个像素的第一帧数据,多个像素的红光强度、蓝光强度、绿光强度和阿尔法值彼此相同。
参照图7B,在操作732,根据实施例的电子装置可以在显示器上识别与第一帧数据重叠的外部对象。电子装置可以获取关于由图像传感器捕获的外部对象的图像数据。外部对象可以被包括在穿戴电子装置的用户的视场中。电子装置可以识别从外部对象发射的外部光的强度。
在操作734,根据实施例的电子装置可以基于识别的外部对象来调整第一帧数据的至少一部分的颜色和/或透明度。响应于基于图像数据识别外部对象的亮度,电子装置可以调整第一帧数据中包括的多个像素中的与外部对象对应的至少一个像素的颜色和/或透明度。当在显示器上输出第一帧数据时,与外部对象对应的至少一个像素可以包括在第一帧数据的与外部对象重叠的部分中。
例如,当外部对象是太阳或灯泡时,外部对象的亮度可能超过指定阈值。可选地,外部对象的亮度与外部对象的周边的亮度之间的差可能超过指定阈值。响应于识别出超过对应阈值的外部对象的亮度和/或差,电子装置可以调整与外部对象对应的至少一个像素的颜色和/或透明度。例如,通过增加与外部对象对应的至少一个像素的阿尔法值,电子装置可以为用户阻挡从外部对象发射的亮度超过指定阈值的外部光。例如,当外部对象是阴影或隧道时,外部对象的亮度可能低于指定阈值。在这种情况下,电子装置可以减小与外部对象对应的至少一个像素的阿尔法值,使得外部对象不被第一帧数据的颜色遮挡。
根据各种实施例,在调整第一帧数据的至少一部分的颜色和/或透明度之后,根据实施例的电子装置可以在操作740中存储调整后的第一帧数据。可以与参照图7A所描述的类似地执行操作740。
图8是示出根据本公开的实施例的由电子装置产生的第一帧数据中包括的多个像素的示图。图8中的电子装置可以与图1至图2中的电子装置101对应。图8中的电子装置可以基于图7A或7B中的操作来获取第一帧数据。
参照图8,示出了存储在存储器的指定区域(例如,第一帧缓冲器810)中的第一帧数据的实施例。第一帧数据可以包括多个像素。包括在第一帧数据中的多个像素可以与包括在电子装置的显示器中的多个像素对应。第一帧数据的宽度和高度可以分别与显示器的宽度和高度对应。在实施例中,当电子装置包括与用户的双眼对应的两个显示器(例如,图4B中的像素阵列430-1和像素阵列430-3)时,第一帧数据的宽度和高度可以分别与两个显示器的宽度之和以及两个显示器的高度之和对应。
示出了包括在第一帧数据中的(N+1)×(M+1)个像素。第一帧数据可以与在水平方向上包括(N+1)个像素并且在垂直方向上包括(M+1)个像素的显示器对应。在图8中,设置在第一帧数据内的坐标(a,b)处的像素的红光的强度可以被称为Rab,设置在第一帧数据内的坐标(a,b)处的像素的绿光的强度可以被称为Gab,设置在第一帧数据内的坐标(a,b)处的像素的蓝光的强度可以被称为Bab,并且设置在第一帧数据内的坐标(a,b)处的像素的透明度和/或阿尔法值可以被称为Aab。
根据各种实施例,可基于通过显示器的外部光的强度和/或亮度来确定第一帧数据的透明度和/或阿尔法值。根据各种实施例,电子装置可以基于图3中的操作310、图5中的操作或图7中的操作710,根据关于电子装置的外部环境的第一信息来获取第一帧数据的透明度和/或阿尔法值。电子装置可以将获取的透明度和/或阿尔法值输入到图8中的(N+1)×(M+1)个像素的透明度和/或阿尔法值。
根据各种实施例,可以基于关于穿戴电子装置的用户的第二信息来确定第一帧数据的颜色(例如,多个像素的红光强度、多个像素的绿光强度和多个像素的蓝光强度的组合)。第二信息是指由用户预先输入的信息,并且可以包括用户偏好的颜色和由用户分别映射到多个情况的多个颜色。第二信息可以包括被指定为矫正用户的色盲和/或色弱中的至少一个的颜色。根据各种实施例,电子装置可以基于图3中的操作320或图7中的操作720,根据第二信息获取第一帧数据的颜色。电子装置可以将与获取的颜色对应的红光强度、绿光强度和蓝光强度分别输入到图8中的(N+1)×(M+1)个像素的红光强度、绿光强度和蓝光强度。
根据各种实施例,可以基于第一信息和/或第二信息来不同地调整包括在第一帧数据的多个像素中的红光的强度、绿光的强度、蓝光的强度和阿尔法值。在实施例中,可以基于由亮度传感器、紫外传感器和/或红外传感器测量的数据来确定多个像素的颜色和/或透明度。在实施例中,多个像素的颜色和/或透明度中的每个可以在第一帧数据的整个区域中具有统一的值。在实施例中,可以基于渐变效果在第一帧数据内沿着指定方向逐渐改变多个像素的颜色。
根据各种实施例,当指向电子装置的外部光改变时,电子装置可基于改变后的外部光的亮度和/或颜色来改变第一帧数据中包括的多个像素的颜色和/或透明度。例如,当用户穿戴着电子装置移动时,电子装置可以基于亮度传感器识别由外部光的改变引起的亮度的改变。响应于识别出亮度的改变,电子装置可以改变包括在第一帧数据中的多个像素的透明度。
例如,当用户从亮的地方移动到较暗的板时,电子装置可以识别亮度的降低。响应于识别出亮度的降低,电子装置可以增加包括在第一帧数据中的多个像素的透明度,或者可以减小阿尔法值。例如,当用户从暗的板移动到较亮的地方时,电子装置可以降低透明度或增大阿尔法值。当外部光改变时,电子装置可以改变第一帧数据中包括的多个像素的透明度。例如,电子装置可以改变/保持第一帧数据中包括的多个像素的透明度,使得即使外部光的亮度改变,到达用户的外部光的亮度也落入指定范围内。
根据各种实施例,包括在第一帧数据中的多个像素可至少部分地与从电子装置的应用识别的不同的帧数据合并,然后在显示器上输出。不同的帧数据可以包括在图3中的操作350中识别的第二帧数据。电子装置可以基于第一帧数据的多个像素中的至少一个像素的颜色和/或透明度来改变不同的帧数据的颜色和/或透明度。
图9是示出根据本公开实施例的基于第一帧数据调整第二帧数据的电子装置的操作的流程图900。图9中的电子装置可以与图1至图2和图4A至图4B中的电子装置101对应。图9中的操作可以由图1至图2中的电子装置101或由图1至图2中的处理器120执行。图9中所示的操作中的至少一个操作可以与图3中的操作360相关联。
参照图9,在操作910,根据各种实施例的电子装置可以识别包括在第一帧数据中的多个像素中的至少一个像素的第一颜色。可以基于图3中的操作330或参照图7A至图7B描述的操作中的至少一个来获取第一帧数据。在实施例中,电子装置可以从存储在如图8所示的存储器的指定区域中的第一帧数据(例如,图8中的第一帧缓冲器810)中识别第一颜色。第一颜色可以被指示为包括输入到包括在第一帧数据中的多个像素中的至少一个像素的红光强度、绿光强度和蓝光强度的数据。
在操作920,根据各种实施例的电子装置可以基于识别的第一颜色来改变第二帧数据中包括的像素中的至少一个像素的颜色。从当前由电子装置执行的应用获取的内容(例如,用于提供与外部对象相关联的增强现实服务的内容)可以包括在第二帧数据的一部分中。当内容包括在第二帧数据的一部分中时,电子装置可以调整包括在第二帧数据中的像素中的包括在该部分中的像素的颜色。基于包括在第一帧数据中的多个像素中的至少一个像素的第一颜色,根据实施例的电子装置可以将包括在第二帧数据中的多个像素中的至少一个像素的第二颜色改变为与第一颜色的互补色对应的第三颜色。
在操作930,根据各种实施例的电子装置可以存储改变后的第二帧数据。第二帧数据可以存储在电子装置的存储器内的与第二帧数据对应的指定区域(例如,第二帧缓冲器)中。电子装置可以基于存储在第二帧缓冲器中的第二帧数据来控制显示器中包括的多个像素。
在实施例中,电子装置可以基于图3中的操作370,通过同时使用第二帧数据和第一帧数据来控制显示。电子装置可以基于第一帧数据来调整显示器的整个区域的颜色和/或透明度,然后可以显示包括在第二帧数据中的内容。由于基于第一帧数据调整的显示器的整个区域的颜色和基于第二帧数据显示的内容的颜色彼此互补,因此电子装置的用户可以清楚地识别内容。在下文中,将描述根据实施例的电子装置通过同时使用第二帧数据和第一帧数据来控制显示器的操作。
图10A是示出根据本公开实施例的电子装置基于第一帧数据1030和第二帧数据1060控制显示器220的操作的示图。
图10B是示出根据本公开实施例的电子装置基于第一帧数据1030和第二帧数据1060控制显示器220的操作的示图。图10A至图10B中的电子装置可以与图1至图2和图4A至图4B中的电子装置101对应。
参照图10A,示出了在他/她的头部穿戴根据各种实施例的电子装置的用户的FOV中包括的图像1050的示例。由于电子装置包括设置在用户双眼前方的显示器220,因此用户可以通过使用通过显示器220的外部光来看到图像1050。
根据各种实施例,电子装置可以基于第一信息1010和第二信息1020产生第一帧数据1030。第一信息1010可以包括与电子装置的外部环境(例如,包括在用户的FOV中的图像1050)相关联的数据(例如,关于指向电子装置的外部光的亮度的数据)。电子装置可以基于图3中的操作310或图5中的操作来识别或获取第一信息1010。第二信息1020是指关于电子装置的用户的信息,并且可以包括例如指示用户偏好的颜色的数据、关于用户的双眼的数据(关于色弱和/或色盲中的至少一个的数据)或指示用户偏好的颜色的数据和关于用户的双眼的数据的组合。电子装置可以基于图3中的操作320识别或获取第二信息1020。
可以基于图3中的操作330或图7A中的操作来识别或获取图10A中的第一帧数据1030。第一帧数据1030可以在电子装置的显示器220的整个区域中具有统一的颜色和透明度。例如,第一帧数据1030中包括的所有像素的数据可以彼此相同为[RB,GB,BB,AB]。
根据各种实施例,可以基于第二信息1020确定包括在第一帧数据1030中的所有像素的颜色[RB,GB,BB]。在实施例中,包括在第一帧数据中的多个像素的颜色可以与用于基于与用户的色弱和/或色盲中的至少一个相关联的一个或更多个参数来对穿透显示器220的外部光的颜色进行转换的颜色对应。可基于第一信息1010确定包括在第一帧数据1030中的所有像素的透明度和/或阿尔法值(AB)。例如,电子装置可基于例如图6中的表620确定与由亮度传感器测量的亮度对应的阿尔法值(AB)。
根据各种实施例,电子装置可以基于电子装置当前执行的应用1040来获取第二帧数据1060。应用1040可以包括用于提供与用户感兴趣的外部对象相关联的增强现实服务的指令。电子装置可以基于应用1040识别图像1050中包括的外部对象(例如,桥)。电子装置可以基于应用1040获取将被提供给用户的至少一个内容。内容不仅可以包括关于识别的外部对象的信息,还可以包括关于用户的外部环境的信息(例如,关于当前时间、当前天气、当前温度和当前位置的信息)。
根据各种实施例,第二帧数据1060可以包括与基于应用1040获取的内容对应的视觉元素。视觉元素由电子装置产生,使得基于文本、图像、视频、图形或文本、图像、视频和图形的组合视觉地表达内容。根据各种实施例,第二帧数据1060可以包括分别对应于与增强现实服务相关联的多个内容的多个视觉元素1062、视觉元素1064和视觉元素1066。例如,视觉元素1062可以基于数字手表和/或模拟手表类型将当前时间视觉地表现为关于用户的外部环境的信息。例如,视觉元素1064可以基于仪表类型将当前温度和/或当前天气视觉地表现为关于用户的外部环境的信息。例如,视觉元素1066可以基于文本、图像、图形或者文本、图像和图形的组合视觉地表现识别外部对象的结果。第二帧数据1060的颜色和/或透明度可以独立于第一帧数据1030的颜色和/或透明度。
根据各种实施例,当电子装置合并已经被独立识别的第一帧数据1030和第二帧数据1060,然后在显示器220内输出合并的第一帧数据1030和第二帧数据1060时,包括在第二帧数据1060中的多个视觉元素1062、视觉元素1064和视觉元素1066的可见性可能由于第一帧数据1030的颜色而劣化。为了防止可见性的劣化,电子装置可以基于第一帧数据1030的颜色和/或透明度来改变独立于第一帧数据1030识别的第二帧数据1060的颜色和/或透明度。
在实施例中,电子装置可以基于图3中的操作360或图9中的操作来改变第二帧数据1060的颜色和/或透明度。例如,可以将包括在多个视觉元素1062、视觉元素1064和视觉元素1066中的多个像素的颜色改变为用于产生第一帧数据1060的颜色的互补色。例如,当第一帧数据1030的颜色是亮色时,电子装置可以将第二帧数据1060中包括的多个像素(例如,多个视觉元素1062、2064和1066中包括的多个像素)的颜色改变为暗色。例如,当第一帧数据1030的颜色是暗色时,电子装置可以将第二帧数据1060中包括的多个像素(例如,多个视觉元素1062、2064和1066中包括的多个像素)的颜色改变为亮色。
在实施例中,电子装置可以通过将伽马曲线应用于包括在第二帧数据1060的多个像素中的红光强度、绿光强度和蓝光强度中的每个来调整包括在第二帧数据1060中的多个像素的颜色。可以基于第一帧数据1030的多个像素的颜色来确定伽马曲线。例如,当第一帧数据1030的多个像素的颜色是[RB,GB,BB]=[256,0,0]时,电子装置可以调整与红光对应的伽马曲线,以便增强多个视觉元素1062、视觉元素1064和视觉元素1066中具有红色的视觉元素的可见性。通过将调整后的伽马曲线应用于第二帧数据1060,电子装置可以改变多个视觉元素1062、视觉元素1064和视觉元素1066中具有红色的视觉元素的颜色。
根据各种实施例,示出了电子装置通过基于第一帧数据1030的颜色和/或透明度调整第二帧数据1060的颜色而获取的第二帧数据1070。电子装置可以控制显示器220中包括的多个像素,使得与具有改变的颜色的第二帧数据1070对应的图像在显示器220内与第一帧数据1030对应的图像重叠。可以基于阿尔法混合技术和/或显示控制器来执行对显示器220的控制。
根据各种实施例,示出了由电子装置基于第一帧数据1030和第二帧数据1070控制显示器220的结果。穿过显示器220的外部光可以通过第一帧数据1030的颜色被转换。可以根据第一帧数据1030的透明度和/或阿尔法值使通过显示器220的外部光衰减。通过识别在显示器220内显示并且包括在用户的FOV中的图像1050而产生的多个视觉元素1062、视觉元素1064和视觉元素1066可以具有与第一帧数据1030的颜色互补的不同颜色。
在实施例中,电子装置可以基于用户的FOV内的相对亮的部分和/或暗的部分来改变第一帧数据1030的一部分的颜色和/或透明度。
参照图10B,示出了包括在用户的FOV中的图像1050-1的另一示例。相对亮的外部对象1055(例如,太阳)可以包括在用户的FOV中。电子装置可以基于包括在第一信息1010-1中的亮度和/或图像数据来识别用户的FOV内的相对亮的部分和/或暗的部分。
根据各种实施例,响应于识别出用户的FOV内的相对亮的部分和/或暗的部分,电子装置可以基于图3中的操作330或图7B中的操作来改变第一帧数据1030-1的部分1035的颜色和/或透明度。部分1035可以与在显示器220内识别出的外部对象1055所对应的外部光穿透的部分对应。例如,响应于识别出相对亮的外部对象1055,电子装置可以将第一帧数据1030-1的部分1035的透明度改变为小于其他部分的透明度的值。由于电子装置基于第一帧数据1030-1和第二帧数据1070控制显示器220,因此尽管存在相对亮的外部对象1055,但仍可以保留用户的FOV。
图11是示出根据本公开实施例的电子装置产生第一帧数据和第二帧数据的顺序的流程图1100。图11中的电子装置可以与图1至图2中的电子装置101对应。图11中的操作可以由图1至图2中的电子装置101或由图1至图2中的处理器120执行。在各种实施例中,电子装置可以分别基于彼此区分的多个进程或线程来获取第一帧数据和第二帧数据。可以与图3中的操作类似地执行图11中的操作中的至少一些操作。
参照图11,在操作1110,根据各种实施例的电子装置可以识别关于指向电子装置的外部光的第一信息。电子装置可以与图3中的操作310类似地执行操作1110。响应于识别出第一信息,根据各种实施例的电子装置可以在操作1140中基于识别的第一信息来确定透明度。
在操作1120,根据各种实施例的电子装置可以识别关于电子装置的用户的第二信息。电子装置可与图3中的操作320类似地执行操作1120。响应于识别出第二信息,根据各种实施例的电子装置可以在操作1150中基于识别的第二信息来确定颜色。
在操作1130,根据各种实施例的电子装置可以从应用识别第二帧数据。电子装置可以与图3中的操作350类似地执行操作1130。当电子装置同时执行多个应用时,电子装置可以从当前正在执行的多个应用中识别多条第二帧数据。
根据各种实施例,电子装置可以彼此独立地执行操作1110、操作1120和操作1130。例如,执行操作1110、操作1120和操作1130的时间点可以是相同的。电子装置可以基于彼此区分的多个进程或线程来独立地执行操作1110、操作1120和操作1130中的至少一个。
根据各种实施例,在分别基于第一信息和第二信息确定透明度和颜色之后,在操作1160,电子装置可以基于透明度和颜色识别第一帧数据。在实施例中,电子装置可以基于图7A或图7B中的操作来识别第一帧数据。
根据各种实施例,响应于识别出第一帧数据,在操作1170,电子装置可以基于第一帧数据来调整包括在第二帧数据中的多个像素中的至少一个像素。在实施例中,电子装置可以基于图9中的操作来调整包括在第二帧数据中的多个像素中的至少一个像素。在实施例中,当电子装置已经从当前执行的多个应用识别出多条第二帧数据时,电子装置可以针对识别的多条第二帧数据中的每条执行操作1170。
根据各种实施例,在操作1160和操作1170之后,电子装置可以在操作1180中基于第一帧数据和第二帧数据获取第三帧数据。例如,电子装置可以通过基于阿尔法混合和/或覆盖对第一帧数据和第二帧数据进行合并来获取第三帧数据。在实施例中,当电子装置已经从当前执行的多个应用识别出多条第二帧数据时,电子装置可以基于阿尔法混合和/或覆盖来合并第一帧数据和多条第二帧数据。
根据各种实施例,响应于获取第三帧数据,在操作1190,根据各种实施例的电子装置可以在显示器上输出获取的第三帧数据。电子装置的显示器可以将指向显示器的第一表面的外部光透射到与第一表面相对并且面向用户的双眼的第二表面。包括在显示器中的多个像素可以将光输出到第二表面。当电子装置基于第三帧数据控制显示器中包括的多个像素时,用户可以同时接收到从第一表面传到第二表面的外部光以及与第三帧数据中包括的多个像素对应的光。
图12是示出根据本公开实施例的电子装置基于从用户输入的信息识别关于第一帧数据的第二信息的操作的流程图1200。图12中的电子装置可以与图1至图2中的电子装置101对应。图12中的操作可以由图1至图2中的电子装置101或由图1至图2中的处理器120执行。图12中的至少一些操作可以与图3中的操作320相关联。
参照图12,在操作1210,根据各种实施例的电子装置可以确定是否已经从用户接收到与背景的改变相关联的请求。在电子装置与可穿戴装置对应的实施例中,穿戴电子装置的用户可以执行指定的手势或输入语音命令,从而向电子装置输入用于改变背景的命令。指定手势可以包括触摸电子装置的壳体的指定部分(例如,已经应用触摸面板的部分)的手势、轻敲电子装置的手势、按压或点击电子装置的指定按钮的手势和在电子装置的图像传感器的FOV内执行的手势中的至少一个或组合。用于改变背景的命令可以与用于改变显示器的颜色和/或透明度的命令对应。改变背景的命令可以与改变第一帧数据的颜色和/或透明度的命令对应。
当尚未接收到请求时(1210中的“否”),根据各种实施例的电子装置可以不获取关于电子装置的用户的双眼的信息。
响应于接收到请求(1210中的“是”),根据各种实施例的电子装置可以在操作1220中获取关于用户眼睛的信息。电子装置可以从用户获取针对用户个性化的信息(包括关于眼睛的信息)。例如,电子装置可以获取诸如用户的性别和年龄的信息。例如,电子装置可以获取用户双眼中的每只眼睛的视力、用户是否具有散光以及用户是否具有近视中的至少一个。例如,电子装置可以获取关于用户的色弱和/或色盲中的至少一个的信息。电子装置可以在显示器上向用户显示用于获取信息的UI。
响应于接收到请求,在操作1230,根据各种实施例的电子装置可以从包括在电子装置中的图像传感器获取图像。在电子装置与可穿戴装置对应的实施例中,获取的图像可以包括指向用户的双眼或通过显示器的外部光。操作1220和操作1230可以独立地执行,并且可以不限于图12中示出的顺序。
在操作1240,根据各种实施例的电子装置可以基于获取的信息和图像来识别多条帧数据。多条帧数据可与关于第一帧数据(例如,图10A中的第一帧数据1030)的候选帧数据对应。电子装置可以基于机器学习来识别多条帧数据。电子装置可以基于在处理器或连接到电子装置的外部电子装置(例如,图2中的外部电子装置230)内执行的神经网络来识别多条帧数据。稍后将参照图14描述电子装置基于外部电子装置识别多条帧数据的操作的各种实施例。
响应于识别出多条帧数据,根据各种实施例的电子装置可以在操作1250中向用户显示多条识别的帧数据的列表。可以通过电子装置的显示器将多条帧数据的列表可视地提供给用户。用户可以从显示的多条帧数据的列表中选择一条帧数据。
在操作1260,根据各种实施例的电子装置可以识别从多条帧数据中选择一条帧数据的用户输入。稍后将参照图13A至图13D描述电子装置基于操作1250和1260显示多条帧数据的列表并识别用户输入的操作。
响应于识别出用户输入,在操作1270,根据各种实施例的电子装置可以基于选择的帧数据来确定关于电子装置的用户的第二信息。例如,第二信息可以包括关于选择的帧数据的颜色的信息。第二信息可以包括在操作1220中获取的关于用户眼睛的信息。第二信息可以包括关于与从多条帧数据的列表中选择的帧数据有区别的不同条帧数据的颜色的信息。
根据各种实施例,确定的第二信息可存储在存储器中并用于确定第一帧数据的颜色。在电子装置在操作1240中基于机器学习来识别多条帧数据的实施例中,电子装置可以使用确定的第二信息来学习用户选择了哪些帧数据。在电子装置在操作1240中基于外部电子装置识别多条帧数据的实施例中,可以将确定的第二信息发送到外部电子装置。在接收到第二信息之后,外部电子装置可以获知电子装置的用户选择了哪些帧数据。
图13A是示出根据本公开实施例的电子装置向用户提供以便识别图12中的第二信息的UI的示例的示图。
图13B是示出根据本公开实施例的电子装置向用户提供以便识别图12中的第二信息的UI的示例的示图。
图13C是示出根据本公开实施例的电子装置向用户提供以便识别图12中的第二信息的UI的示例的示图。
图13D是示出根据本公开实施例的电子装置向用户提供以便识别图12中的第二信息的UI的示例的示图。图13A至图13D中的电子装置可以与图1至图2和图4A至图4B中的电子装置101对应。图13A至13D中示出的UI可以与图12中的操作1250和1260相关联。
参照图13A,示出了根据各种实施例的当用户将电子装置穿戴在他/她的头部时朝向用户的双眼设置的显示器220内的图像的示例。显示器220内的图像可以是通过显示器的外部光和从显示器的多个像素发射的光的组合。电子装置可以在显示器220内显示用于改变显示器220的背景和/或第一帧数据的视觉元素1310(例如,“背景改变”菜单)。用户可以基于指定的手势和/或语音命令来选择视觉元素1310。
根据各种实施例,响应于用户对视觉元素1310的选择,电子装置可以向用户提供多条帧数据的列表。多条帧数据可以与显示器220的背景相关联。多条帧数据可以分别具有彼此区分的颜色和/或透明度。在实施例中,多条帧数据可以具有不同的模式。在提供多条帧数据的列表之前,电子装置可以例如基于操作1220从用户获取针对用户个性化的信息(包括关于眼睛的信息)。例如,电子装置可以基于操作1230获取识别多条帧数据所需的图像数据。例如,电子装置可以基于操作1240识别与获取的信息相关联的多条帧数据。
参照图13B至图13C,示出了根据各种实施例的由电子装置显示以提供多条帧数据的列表的UI的示例。电子装置可以在显示器220内显示多条帧数据中的一条,以及用于连续探索多条帧数据的视觉元素1320。用户可以通过基于手势和/或语音命令控制视觉元素1320(例如,通过触摸或点击视觉元素1320中包括的箭头)来连续地探索多条帧数据。当用户连续地探索多条帧数据时,电子装置可以基于多条帧数据中的一条来改变显示器220的颜色和/或透明度。用户可以通过控制视觉元素1320(例如,通过输入与“OK”按钮相关联的手势和/或语音输入)从多条帧数据中选择具有优选颜色和/或透明度的一条帧数据。
参照图13D,根据各种实施例,响应于识别用户选择的帧数据,电子装置可以在显示器上显示与选择的帧数据相关联的UI。显示器的颜色和/或透明度可以与选择的帧数据的颜色和/或透明度相关联。在实施例中,选择的帧数据可以被确定为图10A中的第一帧数据1030,或者可以被存储在图8中的第一帧缓冲器810中。在实施例中,与选择的帧数据一起输出的UI可以包括用于向其他用户推荐选择的帧数据的视觉元素1330(例如,包括文本“你愿意将背景推荐给其他用户吗?”的菜单)。当用户输入用于选择视觉元素1330的手势和/或语音命令时,电子装置可以将关于选择的帧数据的信息发送到外部电子装置。
图14是示出根据本公开实施例的电子装置101通过使用外部电子装置230识别关于第一帧数据的第二信息的操作的流程图1400。图14中的电子装置101可以与图1至图2中的电子装置101对应。图14中的外部电子装置230可以与图2中的外部电子装置230对应。图14中的操作可以由图2中的电子装置101和外部电子装置230或者由图2中的处理器120和处理器250执行。图14中的操作中的至少一些操作可以与图12中的操作相关联。
参照图14,在操作1220,根据各种实施例的电子装置101可以获取关于用户眼睛的信息。在操作1230,根据实施例的电子装置101可以从包括在电子装置101中的图像传感器获取图像数据。可以与图12中的操作1220和1230类似地执行操作1220和1230。
参照图14,根据各种实施例,电子装置101可以发送从外部电子装置230获取的信息和图像数据。响应于从电子装置101接收到信息和图像数据,在操作1410,根据实施例的外部电子装置230可以基于该信息和图像数据获取多条候选帧数据。外部电子装置230可以与连接到包括电子装置101的多个电子装置的云服务器对应。外部电子装置230可以基于接收到的图像数据向电子装置101的用户推荐第一帧数据。
根据各种实施例,外部电子装置230可基于从多个电子装置收集的信息和图像数据来识别将被发送到电子装置101的多条候选帧数据。例如,外部电子装置230可以识别由具有与电子装置101的用户的信息类似的信息的另一用户使用的第一帧数据和/或由观看与电子装置101的用户观看的图像类似的图像的另一用户使用的第一帧数据。外部电子装置230可将关于识别的第一帧数据的信息作为候选帧数据发送到电子装置101。外部电子装置230可以将与多条候选帧数据中的每条对应的专家分析、用户评论、预览或者专家分析、用户评论和预览的组合发送到电子装置101。
响应于接收到关于多条候选帧数据的信息,根据各种实施例的电子装置101可在操作1420中在显示器上显示多条候选帧数据的列表。例如,可以基于图13B至图13C中的UI将多条候选帧数据的列表提供给用户。
在操作1430,根据各种实施例的电子装置101可以识别从多条候选帧数据中选择一条的用户输入。例如,用户可以通过使用图13B至图13C中的视觉元素1320从多条候选帧数据中选择一条。例如,用户可以选择使得用户能够最舒适地观看当前观看的图像的候选帧数据。例如,用户可以从多条候选帧数据中选择使得能够相对更好地校正色弱和/或色盲的候选帧数据。
根据各种实施例,响应于识别到用户输入,电子装置101可将关于选择的候选帧数据的信息发送到外部电子装置230。外部电子装置230可以使用发送的关于选择的候选帧数据的信息来向与电子装置101的用户不同的其他用户推荐候选帧数据。
响应于识别出用户输入,根据各种实施例的电子装置101可在操作1440中基于选择的候选帧数据来确定关于电子装置101的用户的第二信息。例如,第二信息可以包括关于选择的候选帧数据的颜色和/或透明度的数据。例如,第二信息可以包括在操作1220中获取的关于用户眼睛的信息。例如,第二信息可以包括在操作1230中获取的图像数据。例如,第二信息可包括关于除了从多条候选帧数据选择的一条候选帧数据之外的一条候选帧数据的数据。
根据各种实施例,在操作1440中确定的第二信息可以存储在电子装置101的存储器中。第二信息可以用于确定第一帧数据的颜色和/或透明度。在实施例中,第一帧数据可以与由用户从由外部电子装置230提供给用户的多条候选帧数据中选择的候选帧数据对应。
图15是示出根据本公开的实施例的基于用户启用的模式和/或状态产生第一帧数据的电子装置的操作的流程图1500。图15中的电子装置可以与图1至图2中的电子装置101对应。图15中的操作可以由图1至图2中的电子装置101或由图1至图2中的处理器120执行。图15中的操作可以与图3中的操作330相关联。在图15所示的实施例中,电子装置不仅可以基于关于用户的信息(例如,第二信息)还可以基于由红外传感器和/或紫外传感器测量的数据来调整第一帧数据的颜色。
参照图15,在操作1510,根据各种实施例的电子装置可以基于第一信息识别包括在第一帧数据中的多个像素的透明度。可以基于由电子装置的亮度传感器接收的外部光的亮度来确定透明度。可以基于亮度在指定范围(例如,25%至100%)内确定透明度。在操作1515,根据实施例的电子装置可以基于第二信息识别包括在第一帧数据中的多个像素的颜色。可以基于从用户输入的信息(例如,关于色弱和/或色盲中的至少一个的数据)来确定颜色。可以与图3中的操作310和操作320类似地执行操作1510和操作1515。
根据各种实施例,在使用电子装置时,用户可以在与第一帧数据相关联的多个指定模式或指定状态之间切换。指定模式可以包括优先阻挡红外线的模式(在下文中,称为红外阻挡模式)和/或优先阻挡紫外线的模式(在下文中,称为紫外阻挡模式)。响应于接收到用于在多个指定模式或指定状态之间切换的用户输入,电子装置可以基于切换的模式或状态来改变第一帧数据的颜色和/或透明度。
在操作1520,根据各种实施例的电子装置可以确定是否启用红外阻挡模式。可以基于用户的指定手势和/或语音输入来启用红外阻挡模式。电子装置可以基于与红外阻挡模式相关联的参数和/或标志来确定是否启用了红外阻挡模式。
响应于识别出启用的红外阻挡模式(1520中的“是”),在操作1525,根据各种实施例的电子装置可以从红外传感器获取红外光的强度。根据实施例的电子装置不仅可以包括亮度传感器,还可以包括红外传感器。电子装置可以基于由红外传感器测量的数据来测量指向电子装置的外部光的红外波段的强度。
响应于获取红外光的强度,在操作1530,根据各种实施例的电子装置可以基于获取的红外光的强度来调整在操作1515中识别的颜色。在实施例中,电子装置可以基于下面的表1中给出的映射数据来调整在操作1515中识别的颜色:
表1
颜色 | 紫外阻挡率 | 红外阻挡率 |
无色 | 7% | 7% |
粉红色 | 20% | 10% |
蓝色 | 95% | 12% |
黄色 | 65% | 10% |
绿色 | 90% | 90% |
棕色 | 95% | 50% |
灰色 | 80% | 40% |
在实施例中,当启用红外阻挡模式时,可以基于表1中的红外阻挡率来改变在操作1515中识别的颜色。例如,当在操作1515中识别的颜色是黄色时,电子装置可以将黄色的红外阻挡率(10%)和与红外阻挡模式对应的红外阻挡率的阈值(例如,40%)进行比较。由于黄色的红外阻挡率(10%)低于阈值,因此电子装置可以将识别的颜色改变为具有相对高的红外阻挡率的颜色。例如,电子装置可以将识别的颜色改变为具有等于或高于阈值的红外阻挡率的灰色、棕色和/或绿色之一。在实施例中,当启用红外阻挡模式时,可以基于表1中的红外阻挡率和在操作1525中获取的红外光的强度来改变在操作1515中识别的颜色。例如,基于与识别的颜色对应的红外阻挡率,电子装置可以识别在操作1525中获取的红外光的强度被识别的颜色衰减的程度。当衰减的光的强度等于或高于与红外阻挡模式对应的指定阈值时,电子装置可以将识别的颜色改变为具有相对高的红外阻挡率的不同颜色。
响应于识别出禁用的红外阻挡模式(1520中的“否”),根据各种实施例的电子装置可以在操作1535中确定是否启用紫外阻挡模式。还可以基于用户的指定手势和/或语音输入来启用紫外阻挡模式。
响应于识别出启用的紫外阻挡模式(在1535中的“是”),在操作1540,根据各种实施例的电子装置可以从紫外传感器获取紫外光的强度。根据实施例的电子装置不仅可以包括亮度传感器,还可以包括紫外传感器。电子装置可以基于由紫外传感器测量的数据来测量指向电子装置的外部光的紫外波长带的强度。
响应于获取紫外光强度,在操作1545,根据各种实施例的电子装置可以基于获取的紫外光强度来调整识别的颜色。可以基于表1中给出的紫外阻挡率来改变在操作1515中识别的颜色。例如,当在操作1515中识别的颜色是粉红色时,电子装置可以将粉红色的紫外阻挡率(20%)和与紫外阻挡模式对应的紫外阻挡率的阈值(例如,40%)进行比较。由于粉红色的紫外阻挡率低于阈值,因此电子装置可以所识别的颜色改变为具有相对高的紫外阻挡率的不同颜色。例如,电子装置可以将识别的颜色改变为具有等于或高于阈值的紫外阻挡率的灰色、棕色和/或绿色之一。
在实施例中,在启用紫外阻挡模式时,可以基于表1中的紫外阻挡率和在操作1540中获取的紫外光的强度来改变在操作1515中识别的颜色。例如,电子装置可以将与识别的颜色对应的紫外阻挡率应用于在操作1540中获取的紫外光的强度,从而计算在通过具有所识别的颜色的显示器之后的紫外光的强度。当计算的紫外光强度等于或高于与紫外阻挡模式对应的指定阈值时,电子装置可以将在操作1515中识别的颜色改变为具有相对高的紫外阻挡率的不同颜色。
在操作1550,根据各种实施例的电子装置可以产生具有调整的颜色和识别的透明度的第一帧数据。第一帧数据的透明度可以与在操作1510中识别的透明度对应。当既不启用红外阻挡模式也不启用紫外阻挡模式时(1535中的“否”),第一帧数据的颜色可以与在操作1515中识别的颜色对应。当启用红外阻挡模式时,第一帧数据的颜色可以与在操作1530中调整的颜色对应。当启用紫外阻挡模式时,第一帧数据的颜色可以与在操作1545中调整的颜色对应。
响应于产生第一帧数据,根据各种实施例的电子装置可以在操作1560中存储产生的第一帧数据。第一帧数据可被存储在存储器内的指定区域(例如,图8中的第一缓冲区域810)中。电子装置可以基于产生的第一帧数据来控制显示器的多个像素。在实施例中,显示器的多个像素的颜色和/或透明度可以与第一帧数据的多个像素的颜色和/或透明度对应。
图16是示出根据本公开的实施例的电子装置根据外部光的变化来改变提供给用户的内容的颜色的操作的流程图1600。图16中的电子装置可以与图1至图2中的电子装置101对应。图16中的操作可以由图1至图2中的电子装置101或由图1至图2中的处理器120执行。图16中的操作可以与图3中的操作相关联。
参照图16,在操作1610,根据各种实施例的电子装置可以识别指向电子装置的第一外部光。电子装置可以基于亮度传感器、紫外传感器、红外传感器和/或图像传感器来识别第一外部光。响应于识别出第一外部光,电子装置可以获取关于第一外部光的第一信息。例如,可以基于图3中的操作310获取第一信息。第一信息可以包括关于第一外部光的亮度的数据。
响应于识别出第一外部光,在操作1620,根据各种实施例的电子装置可在显示器上显示具有与第一外部颜色相关联的第一颜色的内容。在实施例中,电子装置可以基于与用户相关联的指定颜色和第一外部光来获取帧数据。电子装置可以至少部分地基于根据第一外部光的亮度获取的帧数据的颜色和指定颜色来识别第一颜色。例如,第一颜色可以与指定颜色的互补色对应。指定颜色可以与一个或更多个参数相关联,其中,所述一个或更多个参数与用户的色弱和/或色盲相关联。
根据各种实施例,显示器可以设置在电子装置的用户的双眼前方,以便将第一外部光透射到用户的双眼。电子装置可以在将内容叠加在获取的帧数据上时在显示器上显示内容。内容可以从通过处理器执行的应用被获取,并且可以与提供给电子装置的用户的增强现实服务相关联。获取的帧数据可以与图3中的第一帧数据对应,并且内容可以包括在图3中的第二帧数据中。
在显示具有第一颜色的内容时,根据各种实施例的电子装置可在操作1630中确定是否已经识别出与第一外部光有区别的第二外部光。当用户在穿戴电子装置时移动时,或者当用户的外围环境改变时,电子装置可以识别与第一外部光不同的第二外部光。与第一外部光的情况一样,还可以基于亮度传感器、紫外传感器、红外传感器和/或图像传感器来识别第二外部光。第二外部光的颜色和/或亮度也可以与第一外部光的颜色和/或亮度不同。
响应于识别出第二外部光(1630中的“是”),在操作1640,根据各种实施例的电子装置可将内容的颜色从第一颜色改变为与第二外部光相关联的第二颜色。当未能识别出第二外部光时(1630中的“否”),根据各种实施例的电子装置可以不将内容的颜色保持为第二颜色,而是可以保持第一颜色。在实施例中,响应于识别出第二外部光,电子装置可以基于第二外部光的指定颜色和亮度来改变帧数据的颜色和/或透明度。电子装置可以基于改变的帧数据的颜色和/或透明度来识别第二颜色。例如,第二颜色可以与改变的帧数据的颜色的互补色对应。
根据各种实施例,响应于用户外围的外部光的改变(例如,从第一外部光改变为第二外部光),电子装置可以不同地改变与显示器上输出的增强现实服务相关联的内容的颜色。因此,尽管通过显示器的外部光发生改变,但是用户可以清楚地识别从电子装置提供的内容。
图17是示出根据本公开实施例的电子装置基于从图像传感器获取的图像产生第一帧数据和第二帧数据的操作的流程图1700。在电子装置与智能电话和/或智能平板对应的实施例中,指向电子装置的第一表面的外部光可以不被透射到包括显示器的第二表面,而是可以被电子装置的第一表面阻挡,其中,所述第二表面由用户观看并且与第一表面相对。在电子装置与智能电话和/或智能平板对应的实施例中,电子装置不仅可以在显示器上显示上述第一帧数据和/或第二帧数据,而且可以在显示器上显示从图像传感器获取的图像数据,以便向用户提供增强现实服务。
参照图17,在操作1710,根据实施例的电子装置可以从图像传感器获取图像。图像传感器可以设置在第一表面上,以便获取指向第一表面的外部光。获取的图像可以通过当前由电子装置执行的应用被处理,并且该应用用于提供增强现实服务的目的。
在操作1720,根据实施例的电子装置可以基于在操作1710中获取的图像、亮度、用户信息或者图像、亮度和用户信息的组合来识别第一帧数据。可以根据从图像传感器获取的图像和/或由电子装置中包括的亮度传感器测量的数据来识别亮度。用户信息是指关于电子装置的用户的信息,并且可包括例如用户的视力、用户是否具有散光、用户是否具有近视、用户是否具有远视、色弱、色盲或其组合。可以基于图3中的操作330或图7A至图7B中的操作来识别第一帧数据。
在操作1730,根据实施例的电子装置可以在显示器上显示在操作1710中获取的图像和在操作1720中识别的第一帧数据。在实施例中,电子装置可以在显示器上显示图像和第一帧数据以便重叠。例如,电子装置可以显示图像和第一帧数据,使得第一帧数据叠加在图像上。
在显示图像和第一帧数据时,根据实施例的电子装置可以在操作1740中确定是否已经从应用识别出第二帧数据。应用可以与用于提供增强现实服务的应用对应。第二帧数据可以包括识别在图像上捕获的外部对象的结果和/或通过基于识别的外部对象访问web服务(例如,搜索引擎)而获取的内容。
响应于识别出第二帧数据(1740中的“是”),根据实施例的电子装置可以在操作1750中基于第一帧数据改变第二帧数据。当第二帧数据未被识别时(1740中的“否”),根据实施例的电子装置可以保持显示第一帧数据而不显示第二帧数据。在实施例中,电子装置可以基于图3中的操作360或图9中的操作来改变包括在第二帧数据中的多个像素中的至少一个像素的颜色和/或透明度。例如,可以将包括在第二帧数据中的多个像素中的至少一个像素的颜色改变为包括在第一帧数据中的多个像素的颜色的互补色。
在操作1760,根据实施例的电子装置可以通过将改变后的第二帧数据与显示的图像和第一帧数据叠加来显示改变后的第二帧数据。例如,包括在第二帧数据中的内容可以显示在显示器上以叠加在图像和第一帧数据上。基于操作1750,包括在第二帧数据中的内容的颜色与包括在第一帧数据中的多个像素的颜色的互补色对应,使得用户可以清楚地识别内容。
图18是示出根据本公开实施例的电子装置101-1向用户410提供增强现实服务的情况的示图。图18中的电子装置101-1可以与图1至图2中的电子装置101对应。图18中的电子装置101-1可以与智能电话和/或智能平板对应。图18中的电子装置101-1可以基于图17中的操作向用户410提供增强现实服务。
参照图18,电子装置101-1的用户410可以移动电子装置101-1,使得电子装置101-1的相机模块和/或图像传感器面向外部对象。响应于从图像传感器获取图像,电子装置101-1可以基于图17中的操作来控制显示器220中包括的多个像素。在这种情况下,电子装置101-1可以在显示器220内显示将被叠加在从图像传感器获取的图像上的图17中的第一帧数据和/或第二帧数据。
在实施例中,第一帧数据的大小可以与显示器220的整个区域的大小对应。当电子装置101-1在显示器上显示将被叠加在图像上的第一帧数据时,图像的颜色可以通过第一帧数据中包括的多个像素的颜色被转换,并且可以按照第一帧数据中包括的多个像素的透明度和/或阿尔法值被衰减。第二帧数据包括与外部对象相关联的内容,使得当电子装置101-1在显示器上将第二帧数据显示成被叠加在图像和第一帧数据上时,用户410可以观看内容以及具有基于第一帧数据被转换的颜色的图像。
根据各种实施例,电子装置101-1可以基于各种类型的室外的外部光来调整显示器的颜色和/或透明度。电子装置101-1可以基于关于用户410的双眼的信息来调整显示器的颜色和/或透明度。电子装置101-1可以基于显示器的调整的颜色和/或透明度来确定将被提供给用户410的与增强现实相关联的内容的颜色。当基于关于用户410和外部环境的信息来调整显示器的多个像素时,用户410可以更清楚地观看在显示器220内显示的外部对象和内容。
根据各种实施例,电子装置101-1可以将关于显示器的调整的颜色和/或透明度的信息发送到外部电子装置(例如,图2中的外部电子装置230),或者可以与外部电子装置共享信息。当用户410拥有多个电子装置(例如,与智能电话对应的图18中的电子装置101-1和与HMD对应的图4A至图4B中的电子装置101)时,可以在多个电子装置之间共享关于显示器的调整的颜色和/或透明度的信息。
根据本公开的权利要求或说明书中描述的实施例的方法可以通过硬件、软件或硬件和软件的组合被实现。
当方法由软件实现时,可以提供用于存储一个或更多个程序(软件模块)的计算机可读存储介质。存储在计算机可读存储介质中的一个或更多个程序可以被配置为由电子装置内的一个或更多个处理器执行。至少一个程序可以包括使电子装置执行根据由所附权利要求限定和/或在此公开的本公开的各种实施例的方法的指令。
程序(软件模块或软件)可以存储在非易失性存储器中,其中,所述非易失性存储器包括随机存取存储器和闪存、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、磁盘存储装置、光盘-ROM(CD-ROM)、数字通用盘(DVD)或其他类型的光学存储装置或磁带。可选地,以上内容中的一些或全部的任何组合可以形成存储程序的存储器。此外,电子装置中可以包括多个这样的存储器。
另外,程序可以存储在可附接的存储装置中,该可附接的存储装置可以通过通信网络(诸如互联网、内联网、局域网(LAN)、宽LAN(WLAN)和存储区域网络(SAN)或者互联网、内联网、局域网、宽LAN和存储区域网络的组合)访问电子装置。这样的存储装置可以经由外部端口访问电子装置。此外,通信网络上的单独的存储装置可以访问便携式电子装置。
在本公开的上述详细实施例中,根据呈现的详细实施例,本公开中包括的部件以单数或复数被表示。然而,选择单数形式或复数形式是为了便于描述适合于呈现的情况,并且本公开的各种实施例不限于部件的单个元件或多个元件。此外,说明书中表达的多个元件可以被配置为单个元件,或者说明书中的单个元件可以被配置为多个元件。
根据各种实施例的电子装置及其方法基于外部光改变显示器的颜色和/或透明度,使得用户可以清楚地识别与增强现实相关联的内容。
根据各种实施例的电子装置及其方法基于关于用户双眼的信息(例如,关于色弱或色盲的信息)来改变显示器的颜色和/或透明度,使得用户不仅可以清楚地识别与增强现实相关联的内容,而且还可以清楚地识别外部光。
可以通过本公开获得的效果不限于上述效果,并且本领域技术人员可以从以下描述中清楚地理解未提及的其他效果。
虽然已经参考本公开的各种实施例示出和描述了本公开,但是本领域技术人员将理解,在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以在其中进行形式和细节上的各种改变。
Claims (15)
1.一种电子装置,包括:
显示器;
传感器;
存储器;以及
至少一个处理器,可操作地连接到显示器、传感器和存储器,
其中,所述至少一个处理器被配置为:
响应于识别出电子装置穿戴在用户身上,通过使用传感器来识别关于指向电子装置的外部光的第一信息,
基于识别的第一信息和关于用户的第二信息来获取第一帧数据,
响应于获取第一帧数据,在显示器上显示第一帧数据,
当在显示器上输出第一帧数据时,从存储在存储器中的应用识别与第一帧数据有区别的第二帧数据,
响应于识别出第二帧数据,至少部分地基于第一帧数据来调整包括在第二帧数据中的多个像素中的至少一个像素的颜色,以及
基于第一帧数据或调整的第二帧数据中的至少一个来控制显示器。
2.如权利要求1所述的电子装置,其中,所述至少一个处理器还被配置为:
基于包括在识别出的第一信息中的外部光的亮度,识别包括在第一帧数据中的多个像素的透明度;以及
基于第二信息识别包括在第一帧数据中的多个像素的颜色。
3.如权利要求1所述的电子装置,其中,第二信息包括与用户的色弱或色盲相关联的至少一个参数。
4.如权利要求1所述的电子装置,其中,第一帧数据与用户从通过与电子装置有区别的外部电子装置基于第二信息提供给用户的多条帧数据中选择的帧数据对应。
5.如权利要求1所述的电子装置,其中,所述至少一个处理器还被配置为:基于包括在第一帧数据中的多个像素中的至少一个像素的第一颜色,将包括在第二帧数据中的多个像素中的至少一个像素的第二颜色改变为与第一颜色的互补色对应的第三颜色。
6.如权利要求1所述的电子装置,还包括:
图像传感器,
其中,所述至少一个处理器还被配置为:
从图像传感器获取关于捕获的外部对象的图像数据,以及
响应于基于图像数据识别出外部对象的亮度,调整包括在第一帧数据中的多个像素中的与外部对象对应的至少一个像素的颜色或透明度。
7.如权利要求6所述的电子装置,其中,当在显示器上输出第一帧数据时,与外部对象对应的所述至少一个像素被包括在第一帧数据的与外部对象重叠的部分中。
8.如权利要求1所述的电子装置,其中,所述至少一个处理器还被配置为:控制显示器使得第二帧数据被显示为与第一帧数据重叠。
9.如权利要求1所述的电子装置,
其中,当用户穿戴电子装置时,显示器被设置为与用户的眼睛相邻,并且
其中,显示器将外部光透射到用户的眼睛。
10.如权利要求9所述的电子装置,
其中,应用被配置为产生包括与基于外部光识别的外部对象相关联的内容的第二帧数据,以及
其中,第二帧数据内的内容的位置与外部对象的光在显示器上穿透的位置对应。
11.一种电子装置的方法,所述方法包括:
识别电子装置的用户是否穿戴电子装置;
响应于识别出电子装置穿戴在用户身上,通过使用电子装置的传感器来识别指示指向电子装置的外部光的亮度的第一信息;
基于识别的第一信息和关于用户的第二信息来获取第一帧数据;
响应于获取第一帧数据,在电子装置的显示器上输出第一帧数据;
当在显示器上输出第一帧数据时,从存储在电子装置的存储器中的应用识别与第一帧数据有区别的第二帧数据;
响应于识别出第二帧数据,至少部分地基于第一帧数据来调整包括在第二帧数据中的多个像素中的至少一个像素的颜色;以及
基于第一帧数据或调整的第二帧数据中的至少一个来控制显示器。
12.如权利要求11所述的方法,其中,获取第一帧数据的步骤包括:
基于识别出的第一信息获取包括在第一帧数据中的多个像素的透明度;以及
基于第二信息获取包括在第一帧数据中的多个像素的颜色。
13.如权利要求12所述的方法,其中,第二信息包括与用户的色弱或色盲相关联的至少一个参数。
14.如权利要求12所述的方法,其中,调整多个像素中的至少一个像素的颜色的步骤包括:
基于包括在第一帧数据中的多个像素中的至少一个像素的第一颜色,将包括在第二帧数据中的多个像素中的至少一个像素的第二颜色改变为与第一颜色的互补色对应的第三颜色。
15.如权利要求11所述的方法,其中,控制显示器的步骤包括:
控制显示器,使得第二帧数据被显示为与第一帧数据重叠。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0000636 | 2019-01-03 | ||
KR1020190000636A KR102629149B1 (ko) | 2019-01-03 | 2019-01-03 | 외부 광에 따라 디스플레이의 특성을 변경하는 전자 장치 및 방법 |
PCT/KR2020/000141 WO2020141945A1 (en) | 2019-01-03 | 2020-01-03 | Electronic device for changing characteristics of display according to external light and method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113272888A true CN113272888A (zh) | 2021-08-17 |
Family
ID=71404482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080007896.XA Pending CN113272888A (zh) | 2019-01-03 | 2020-01-03 | 用于根据外部光改变显示特性的电子装置及其方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10971053B2 (zh) |
EP (1) | EP3881311A4 (zh) |
KR (1) | KR102629149B1 (zh) |
CN (1) | CN113272888A (zh) |
WO (1) | WO2020141945A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220016713A (ko) | 2020-08-03 | 2022-02-10 | 삼성전자주식회사 | 조도 측정 방법 및 장치 |
TWI784563B (zh) * | 2021-06-09 | 2022-11-21 | 宏碁股份有限公司 | 顯示器校色方法及電子裝置 |
US11790816B1 (en) * | 2022-09-07 | 2023-10-17 | Qualcomm Incorporated | Sensor integrated circuit (IC) with opposite facing ambient light sensor and proximity sensor, and related electronic devices and fabrication methods |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170115367A (ko) * | 2016-04-07 | 2017-10-17 | 엘지전자 주식회사 | 스마트 글래스 장치 |
US20170323482A1 (en) * | 2016-05-05 | 2017-11-09 | Universal City Studios Llc | Systems and methods for generating stereoscopic, augmented, and virtual reality images |
US20170343809A1 (en) * | 2014-12-14 | 2017-11-30 | Elbit Systems Ltd. | Visual perception enhancement of displayed color symbology |
CN107533833A (zh) * | 2015-05-13 | 2018-01-02 | 索尼互动娱乐股份有限公司 | 头戴式显示器、信息处理装置、信息处理系统和内容数据输出方法 |
CN107851422A (zh) * | 2015-07-06 | 2018-03-27 | 三星电子株式会社 | 电子设备和电子设备中的显示控制方法 |
US20180180890A1 (en) * | 2016-12-22 | 2018-06-28 | Magic Leap, Inc. | Systems and methods for manipulating light from ambient light sources |
KR101885473B1 (ko) * | 2017-05-10 | 2018-08-03 | 동국대학교 산학협력단 | 시각 장애인 보조용 스마트 글래스 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102893236B (zh) * | 2010-07-20 | 2015-11-25 | 英派尔科技开发有限公司 | 增强现实临近检测 |
US8976085B2 (en) | 2012-01-19 | 2015-03-10 | Google Inc. | Wearable device with input and output structures |
US9529197B2 (en) | 2012-03-21 | 2016-12-27 | Google Inc. | Wearable device with input and output structures |
IL300790B2 (en) | 2014-05-28 | 2024-04-01 | Inoptec Ltd Zweigniederlassung Deutschland | Electronic glasses |
NZ773831A (en) * | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
KR102259693B1 (ko) | 2017-03-15 | 2021-06-02 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그의 디스플레이 방법 |
-
2019
- 2019-01-03 KR KR1020190000636A patent/KR102629149B1/ko active IP Right Grant
-
2020
- 2020-01-03 CN CN202080007896.XA patent/CN113272888A/zh active Pending
- 2020-01-03 WO PCT/KR2020/000141 patent/WO2020141945A1/en unknown
- 2020-01-03 EP EP20736173.4A patent/EP3881311A4/en active Pending
- 2020-01-03 US US16/733,768 patent/US10971053B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170343809A1 (en) * | 2014-12-14 | 2017-11-30 | Elbit Systems Ltd. | Visual perception enhancement of displayed color symbology |
CN107533833A (zh) * | 2015-05-13 | 2018-01-02 | 索尼互动娱乐股份有限公司 | 头戴式显示器、信息处理装置、信息处理系统和内容数据输出方法 |
CN107851422A (zh) * | 2015-07-06 | 2018-03-27 | 三星电子株式会社 | 电子设备和电子设备中的显示控制方法 |
KR20170115367A (ko) * | 2016-04-07 | 2017-10-17 | 엘지전자 주식회사 | 스마트 글래스 장치 |
US20170323482A1 (en) * | 2016-05-05 | 2017-11-09 | Universal City Studios Llc | Systems and methods for generating stereoscopic, augmented, and virtual reality images |
US20180180890A1 (en) * | 2016-12-22 | 2018-06-28 | Magic Leap, Inc. | Systems and methods for manipulating light from ambient light sources |
KR101885473B1 (ko) * | 2017-05-10 | 2018-08-03 | 동국대학교 산학협력단 | 시각 장애인 보조용 스마트 글래스 |
Also Published As
Publication number | Publication date |
---|---|
EP3881311A1 (en) | 2021-09-22 |
EP3881311A4 (en) | 2022-02-09 |
US20200219431A1 (en) | 2020-07-09 |
US10971053B2 (en) | 2021-04-06 |
KR20200084574A (ko) | 2020-07-13 |
KR102629149B1 (ko) | 2024-01-26 |
WO2020141945A1 (en) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10672333B2 (en) | Wearable electronic device | |
EP3419024B1 (en) | Electronic device for providing property information of external light source for interest object | |
US20180077409A1 (en) | Method, storage medium, and electronic device for displaying images | |
KR102443203B1 (ko) | 전자 장치 운용 방법 및 이를 지원하는 전자 장치 | |
KR20210058969A (ko) | 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템 | |
US20160140887A1 (en) | Wearable electronic device | |
US10971053B2 (en) | Electronic device for changing characteristics of display according to external light and method therefor | |
US20210141454A1 (en) | Method for providing haptic feedback, and electronic device for performing same | |
US11335090B2 (en) | Electronic device and method for providing function by using corneal image in electronic device | |
US20220103752A1 (en) | Ultra low power camera pipeline for cv in ar systems | |
CN108604367B (zh) | 一种显示方法以及手持电子设备 | |
US11294452B2 (en) | Electronic device and method for providing content based on the motion of the user | |
KR20150099672A (ko) | 전자 장치 및 그것의 디스플레이 제어 방법 | |
EP4357838A1 (en) | Electronic device and method for displaying content | |
KR102535918B1 (ko) | 사용자의 움직임 정보에 기반하여 디스플레이의 오버 드라이빙 정보를 조정하기 위한 방법 및 웨어러블 장치 | |
US20230117720A1 (en) | Dual system on a chip eyewear | |
US11997249B2 (en) | Dual system on a chip eyewear | |
US11829312B2 (en) | Debug access of eyewear having multiple socs | |
US20230124748A1 (en) | Dual system on a chip eyewear | |
US20230109916A1 (en) | Dual system on a chip eyewear | |
US11994751B1 (en) | Dual system on a chip eyewear | |
US20230123344A1 (en) | Dual system on a chip eyewear | |
US20230262207A1 (en) | Dual system on a chip eyewear having a mipi bridge | |
US20210295765A1 (en) | Electronic device including display driving circuit for displaying corrected time information on basis of temperature information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |