CN110546648A - 用于立体内容检测的系统和方法 - Google Patents

用于立体内容检测的系统和方法 Download PDF

Info

Publication number
CN110546648A
CN110546648A CN201880027572.5A CN201880027572A CN110546648A CN 110546648 A CN110546648 A CN 110546648A CN 201880027572 A CN201880027572 A CN 201880027572A CN 110546648 A CN110546648 A CN 110546648A
Authority
CN
China
Prior art keywords
image
electronic device
stereoscopic
determining whether
confidence value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880027572.5A
Other languages
English (en)
Other versions
CN110546648B (zh
Inventor
西亚兰·罗奇福德
托马斯·弗林
谢丹柯
特丽莎·毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110546648A publication Critical patent/CN110546648A/zh
Application granted granted Critical
Publication of CN110546648B publication Critical patent/CN110546648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4092—Image resolution transcoding, e.g. client/server architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Abstract

一种用于检测立体图像的方法，包括：接收图像并分析所述图像的至少一部分。所述方法还包括基于所述分析来确定所述图像是否为立体图像。所述方法可以包括确定所述图像的一部分是否包含期望的图标；可以确定所述图像的左半部和右半部是否包含期望的对称性；可以确定左半部和右半部的直方图是否相似等。所述方法还包括生成与确定所述图像是立体的还是非立体的相关的置信度值，该置信度值指示了所述确定正确的可能性。

Description

用于立体内容检测的系统和方法
技术领域
本公开总体上涉及图像处理。更具体地，本公开涉及图像中的立体内容的检测。
背景技术
各种立体显示设备使用立体图像来产生3D图像的错觉。在一些立体显示设备中，呈现在2D显示器上的一对立体图像通过操作者眼睛上戴的透镜聚焦，使得操作者感知到3D图像。在这样的显示设备中，在显示器上呈现非立体图像会导致操作者感知到混乱的图像。
发明内容
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：
图1示出了根据本公开的示例系统；
图2示出了根据本公开的示例电子设备；
图3示出了根据本公开的示例HMD系统；
图4示出了根据本公开的图标检测的示例；
图5示出了根据本公开的快速立体估计的示例；
图6示出了根据本公开的示例图像相似性确定；
图7示出了根据本公开的单视场内容的立体检测的示例；
图8示出了根据本公开的各种实施例的用于通过形状识别进行图标检测的示例过程；
图9示出了根据本公开的各种实施例的用于通过对称进行图标检测的示例过程；
图10示出了根据本公开的各种实施例的用于快速立体估计的示例过程；
图11示出了根据本公开的各种实施例的用于快速立体估计的示例过程；
图12示出了根据本公开的各种实施例的用于图像相似性检测的示例过程；以及
图13示出了根据本公开的各种实施例的用于单视场内容检测的示例过程。
实施本发明的最佳方式
本公开提供了用于立体内容检测的系统和方法。
在第一实施例中，一种方法包括接收图像并分析所述图像的至少一部分。所述方法还包括基于所述分析，确定所述图像是否为立体图像，并生成与所述确定相关的置信度值，该置信度值指示了所述确定正确的可能性。
在第二实施例中，一种系统包括：显示器，所述显示器被配置为显示立体图像和非立体图像；处理器，所述处理器被配置为接收图像并分析所述图像的至少一部分。所述处理器还被配置为基于所述分析来确定所述图像是否为立体图像，并生成与所述确定相关的置信度值，该置信度值指示了所述确定正确的可能性。
在第三实施例中，一种非暂时性计算机可读介质实现了计算机程序，并且所述计算机程序包括计算机可读程序代码，当所述计算机可读程序代码被执行时使至少一个处理设备接收图像并分析所述图像的至少一部分。所述计算机程序还包括计算机可读程序代码，当所述计算机可读程序代码被执行时使至少一个处理设备基于所述分析来确定所述图像是否为立体图像，并生成与所述确定相关的置信度值，该置信度值指示所述确定正确的可能性。
根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员而言将是显而易见的。
在进行下面的详细描述之前，阐述整个专利文件中使用的某些字和短语的定义可能是有利的。术语“耦接”及其派生词是指两个或更多个元件之间的任何直接通信或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词涵盖直接通信和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意味着和/或。短语“与……相关联”及其派生词意指包括、包含在其中、与……互连、包含、包含在其中、连接到或与……连接、耦接到或与……耦接、与……通信、与……协作、并置、并列、与……接近、绑定到或与……绑定、具有、拥有、与……具有某种关系等。术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分。这样的控制器可以以硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式或分布式，无论是本地的还是远程的。短语“至少一个”在其与项目列表一起使用时意味着可以使用一个或更多个所列项目的不同组合，并且可能只需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一个：A、B、C；A和B；A和C；B和C；以及A和B和C。
此外，下面描述的各种功能可以由一个或更多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于在合适的计算机可读程序代码中实施的一个或更多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输瞬时电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并随后重写数据的介质，例如可重写光盘或可擦除存储设备。
贯穿本专利文件提供了其他某些字和短语的定义。本领域普通技术人员应该理解，在很多情况下(即使不是大多数情况)，这种定义也适用于这样定义的字和短语的先前以及将来的使用。
具体实施方式
以下讨论的图1至图13以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，可以在任何适当布置的无线通信系统中实现本公开的原理。
本公开的实施例认识到，电子头戴式设备或头戴式设备(HMD)的操作者可能希望在佩戴HMD的同时使用3D应用和2D应用。在一些实施例中，HMD包括可拆卸的电子设备(诸如移动电话)，其通过集成显示器提供3D图像和2D图像。这样的设备可以使用立体技术来提供3D图像。可以通过在移动设备的显示器上显示左半部图像和右半部图像来创建立体3D图像。HMD的透镜将左半部图像聚焦在操作者的左眼上，并将右半部图像聚焦在操作者的右眼上，从而产生3D图像的错觉。因此，如果非立体2D图像呈现在显示器上并通过HMD的立体透镜投影，则操作者可能无法感知到有用的图像，因为操作者的左眼将看到非立体2D图像的左半部，并且操作者的右眼将看到非立体2D图像的右半部。因此，本公开的实施例提出了用于在HMD的显示器上显示图像之前确定图像是立体图像还是非立体图像的系统和方法。
图1示出了根据本发明的实施例的示例系统。参照图1，根据本公开的实施例，电子设备101包括在网络环境100中。电子设备101可以包括以下项中的至少一个：总线110、处理器120、存储器130、输入/输出接口150、显示器160、通信接口170或事件处理模块180。在一些实施例中，电子设备101可以排除组件中的至少一个或可以添加另一组件。
总线110可以包括用于将组件120至180彼此连接并且在组件之间传输通信(例如，控制消息和/或数据)的电路。
处理器120可以包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或更多个。处理器120可以执行对电子设备101的其他组件中的至少一个组件的控制，和/或执行与通信相关的操作或数据处理。
存储器130可以包括易失性存储器和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他组件相关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145的至少一部分可以表示为操作系统(OS)。
例如，内核141可以控制或管理用于执行以其他程序(例如，中间件143、API 145或应用程序147)实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核141可以提供接口，该接口允许中间件143、API 145或应用147访问电子设备101的各个组件以控制或管理系统资源。
中间件143例如可以用作中继器以允许API 145或应用147与内核141通信数据。可以提供多个应用147。中间件143可以例如通过将使用电子设备101的系统资源(例如，总线110、处理器120或存储器130)的优先级分配给多个应用134中的至少一个来控制从应用147接收到的工作请求。
API 145是允许应用147控制内核141或中间件143提供的功能的接口。例如，API133可以包括用于文档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
输入/输出接口150可以用作例如可以将从用户或其他外部设备输入的命令或数据传送到电子设备101的其他组件的接口。此外，输入/输出接口150可以将从电子设备101的其他组件接收到的命令或数据输出到用户或另一外部设备。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器。显示器160可以向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以接收例如使用电子笔或用户的身体部位的触摸、手势、接近或悬停输入。
例如，通信接口170可以在电子设备101与外部电子设备(例如，第一电子设备102、第二电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线或有线通信与网络162或164连接从而与外部电子设备通信。
第一外部电子设备102或第二外部电子设备104可以是可穿戴设备或在其中可以安装电子设备101的可穿戴设备(例如，头戴式/可头戴的显示器(HMD))。当电子设备101安装在HMD(例如，电子设备102)中时，电子设备101可以检测在HMD中的安装并以虚拟现实模式操作。当电子设备101安装在电子设备102(例如，HMD)中时，电子设备101可以通过通信接口170与电子设备102通信。电子设备101可以与电子设备102直接连接以与电子设备102通信，而不涉及单独的网络。
无线通信可以使用以下项中的至少一个作为蜂窝通信协议：例如，长期演进(LTE)、高级长期演进(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。有线连接可以包括通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)或普通老式电话服务(POTS)中的至少一种。
网络162可以包括通信网络中的至少一个，例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。
根据本公开的实施例，服务器106可以包括一组一个或更多个服务器。根据本公开的实施例，在电子设备101上执行的全部或一些操作可以在另一个或多个其他电子设备(例如，电子设备102和104或服务器106)上执行。根据本公开的实施例，当电子设备101应当自动地或应请求而执行某些功能或服务时，电子设备101自身不执行该功能或服务或者除执行该功能或服务之外，可以请求另一设备(例如，电子设备102和104或服务器106)执行与其相关联的至少一些功能。其他电子设备(例如，电子设备102和104或服务器106)可以执行所请求的功能或附加功能，并将执行结果传送到电子设备101。例如，其他电子设备可以执行图标检测、快速立体估计、图像相似性确定或单视场(monoscopic)内容的立体检测，如下面进一步详细所述。电子设备101可以通过按原样或另外处理接收到的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
尽管图1示出了电子设备101包括通信接口170以经由网络162与外部电子设备104或服务器106进行通信，但是根据本发明的实施例，电子设备101可以独立地操作而无需单独的通信功能。即，以下描述的所有功能可以由电子设备101执行，而无需其他电子设备102和104或服务器106的帮助。
服务器106可以支持通过执行在电子设备101上实现的操作(或功能)中的至少一个来驱动电子设备101。例如，服务器106可以包括事件处理服务器模块(未示出)，该事件处理服务器模块可以支持在电子设备101中实现的事件处理模块180。例如，事件处理服务器模块可以包括事件处理模块180的组件中的至少一个，并执行(或不执行)由事件处理模块180进行的操作(或功能)中的至少一个。
事件处理模块180可以处理从其他元件(例如，处理器120、存储器130、输入/输出接口150或通信接口170)获得的信息的至少一部分，并且可以以各种方式将其提供给用户。例如，根据本发明的实施例，事件处理模块180可以处理与事件有关的信息，该信息是在将电子设备101安装在可穿戴设备(例如，电子设备102)中以用作显示装置并以虚拟现实模式操作所生成的，以便适合虚拟现实模式并显示处理后的信息。当以虚拟现实模式操作时生成的事件是与运行应用相关的事件时，事件处理模块180可以确定该应用是立体应用还是非立体应用。可以通过下面描述的图2来提供关于事件处理模块180的附加信息。
尽管图1示出了包括电子设备101的系统的一个示例，但是可以对图1进行各种改变。例如，事件处理模块180的至少一部分可以被包括在或实现在处理器120或至少一个其他模块中，或事件处理模块180的所有功能可以被包括在或实现在所示的处理器120或另一处理器中。事件处理模块180可以与存储在存储器130中的至少一个程序140互操作来执行根据本发明的实施例的操作。
图2示出了根据本发明的实施例的示例电子设备。在一些实施例中，电子设备220可以是图1的电子设备101，其可以是能够呈现立体图像以创建虚拟现实体验的设备。在一些实施例中，电子设备220可以是外部电子设备，例如电子设备102或104或服务器106。可以理解，电子设备220可以是用于显示立体图像的任何适当的电子设备。
参照图2，根据本发明的实施例的电子设备220可以具有至少一个显示装置。在下面的描述中，电子设备220可以是主要执行显示功能的设备，或者可以表示包括至少一个显示装置并执行附加功能的普通电子设备。例如，电子设备220可以是诸如移动电话的移动电子设备。
根据本发明的实施例，电子设备220可以包括触摸屏230、控制器240、存储单元250或通信单元260中的至少一个。触摸屏230可以包括显示面板231和/或控制面板232。控制器240可以包括虚拟现实模式处理单元241、事件检测单元242、事件信息处理单元243或应用控制器244中的至少一个。
在一些实施例中，当电子设备220被安装在诸如HMD的可穿戴设备210中时，电子设备220可以运行虚拟现实模式。此外，根据本发明的实施例，即使当电子设备220未安装在可穿戴设备210中时，电子设备220也可以根据用户的设置运行虚拟现实模式，或者可以运行与虚拟现实模式相关的应用。尽管在以下实施例中将电子设备220设置为安装在可穿戴设备210中以在虚拟现实模式下运行，但是本发明的其他实施例不限于此。
根据本公开的实施例，当电子设备220在虚拟现实模式下操作时(例如，电子设备220被安装在可穿戴设备210中以在头戴式影院(HMT)模式下操作)，显示面板231可以在功能上以两个屏幕来操作，每个屏幕对应于操作者的一只眼睛。在该实施例中，显示面板231水平取向(即，设备的长边平行于地面)，并且被分成左半部和右半部，左半部和右半部中每个均显示立体图像的一部分。立体图像的左右部分被设计成互补的，使得当每只眼睛只看到立体图像的一部分时，操作者会体验到看到3D图像的错觉。为此，可穿戴设备210可以包含将显示器231的每一半(以及因此，立体图像的每个部分)聚焦在操作者的一只眼睛上的透镜，从而产生3D图像的错觉。
根据本发明的实施例，当电子设备220以虚拟现实模式操作时，控制器240可以执行控制以处理与在以虚拟现实模式操作时产生的事件相关的信息以便适合虚拟现实模式，并且显示处理后的信息。根据本发明的实施例，当在以虚拟现实模式下操作时所生成的事件是与运行应用相关的事件时，控制器240可以确定该应用是立体应用还是非立体应用。
更具体地，根据本发明的实施例，控制器240可以包括虚拟现实模式处理单元241、事件检测单元242、事件信息处理单元243或应用控制器244中的至少一个以执行根据本发明的各种实施例的功能。可以使用电子设备220的至少一个组件(例如，触摸屏230、控制器240或存储单元250)实现本发明的实施例来执行如下所述的各种操作或功能。
根据本发明的实施例，当电子设备220被安装在可穿戴设备210中，或者根据操作者的设置运行虚拟现实模式时，虚拟现实模式处理单元241可以处理与虚拟现实模式操作相关的各种功能。虚拟现实模式处理单元241可以加载存储在存储单元250中的至少一个虚拟现实(或立体)程序251来执行各种功能。虚拟现实模式处理单元241可以附加地或替代地加载存储在存储单元250中的至少一个非立体程序253来执行各种功能。
事件检测单元242可以确定当虚拟现实模式处理单元241在虚拟现实模式下操作时生成的事件。例如，事件检测单元242可以确定诸如虚拟现实程序251或非立体程序253的应用何时请求在显示面板231上显示图像。可以应用用于处理事件的各种方法。例如，事件检测单元242可以经由图标检测、快速立体估计来确定该图像是立体图像还是非立体图像。
事件信息处理单元243可以依据事件检测单元242确定的结果来处理要在屏幕上显示的事件相关图像以适合虚拟现实模式。可以应用用于处理事件相关图像的各种方法。例如，在虚拟现实模式中实现了三维(3D)图像，电子设备220可以转换事件相关信息以适合3D图像。例如，可以将以二维(2D)显示的事件相关信息转换为与3D图像对应的对应于左眼和右眼的信息，并且可以将转换后的信息合成并显示在目前正在运行的虚拟现实模式的屏幕上。
当事件检测单元242确定存在与在虚拟现实模式下操作时发生的事件相关的要运行的应用时，应用控制器244可以执行控制来阻止与事件相关的应用的运行。根据本发明的实施例，当事件检测单元242确定存在与在虚拟现实模式下操作时发生的事件相关的要运行的应用时，应用控制器244可以执行控制，使得当事件相关应用运行时，该应用在后台运行，从而不影响与虚拟现实模式对应的应用的运行或屏幕显示。
存储单元250可以存储至少一个虚拟现实程序251。虚拟现实程序251可以是与电子设备220的虚拟现实模式操作有关的应用。存储单元250也可以存储事件相关信息252。事件检测单元242可以参考存储在存储单元250中的事件相关信息252，以确定是否在屏幕上显示正发生的事件或者识别关于与正发生的事件相关的要运行的应用的信息。存储单元250还可以存储至少一个非立体程序253。非立体程序253可以是与电子设备220的正常(或非虚拟现实)模式操作相关的应用。
可穿戴设备210可以是包括图1所示的电子设备101的至少一个功能的电子设备，并且可穿戴设备210可以是可以安装电子设备220的可穿戴支架。在可穿戴设备210是电子设备的情况下，当电子设备220被安装在可穿戴设备210上时，可以通过电子设备220的通信单元260提供各种功能。例如，当电子设备220被安装在可穿戴设备210上时，电子设备220可以检测是否要被安装在可穿戴设备210上以与可穿戴设备210通信，并且可以确定是否以虚拟现实模式(或HMT模式)进行操作。
图2所示的控制器240的至少一些功能可以被包括在图1所示的电子设备101的事件处理模块180或处理器120中。图2所示的触摸屏230或显示面板231可以对应于图1的显示器160。图2所示的存储单元250可以对应于图1的存储器130。
尽管图2示出了电子设备的一个示例，但是可以对图2进行各种更改。例如，显示面板231或触摸面板232也可以作为单独的面板提供，而不是作为单个触摸屏230。此外，电子设备220可以包括显示面板231，但是不包括触摸面板232。
图3示出了根据本发明的实施例的示例HMD系统。例如，图3的HMD系统315可以是图2的电子设备220、图1的电子设备101或那些电子设备与其他设备的组合，诸如图1的第一外部电子设备102或图2的可穿戴设备210。应当理解，HMD系统315可以是用于显示立体图像的任何其他合适的HMD系统。
根据本公开的实施例，HMD系统315可以包括电子设备317和电子设备319。电子设备317可以包括能够显示立体图像和非立体图像两者的显示器，例如，触摸屏230。电子设备317可以存储诸如虚拟现实程序251的虚拟现实应用。虚拟现实应用可以是能够向用户提供类似于真实现实的图像的应用。根据实施例，虚拟现实应用可以基于立体方案显示与用户的每只眼睛对应的左眼图像和右眼图像。电子设备317也可以存储诸如非立体程序253的非立体应用。非立体应用可以在电子设备317的显示器上显示单个图像(即，它不包括左眼图像和右眼图像)。
根据实施例的电子设备319可以包括：壳体340，其被设置为佩戴在用户的头上；光密封组件330，其附接到壳体并且被设置在与用户的眼睛的位置对应的区域；以及至少一个输入按钮321，其被设置在壳体450的一个区域上。电子设备319可以包括输入板325，该输入板325可以接收来自用户的输入，诸如用户执行的滑动、轻敲或其他输入。可以使用带350将电子设备319固定在用户的头部。
光密封组件330提供密封，以防止外部光进入用户的眼睛与电子设备317之间的空间。因此，用户可以将用户的眼睛定位为紧贴光密封组件330，因此，用户可以通过由电子设备317提供的虚拟现实应用查看图像，而不受任何外部或周围光线的干扰。可以使用光密封组件330的各种合适的配置来防止外部或周围的光线干扰用户查看电子设备317的显示的能力。
电子设备317可以物理地和电气地耦接到电子设备319。电子设备317可以通过各种机构(例如，夹子、回形针、磁体、带、可重复使用的粘合剂、松紧带、密封在电子设备317周围的盖或任何其他合适的物理耦接机构)物理地耦接至电子设备319。电子设备317可以通过有线或无线地电连接到电子设备319。可以理解，如果通过连接可以在两个设备317和319之间进行数据发送/接收，则对连接没有限制。根据另一实施例，电子设备317可以直接耦接到电子设备319，而无需使用有线或无线连接。例如，电子设备317和319可以经由兼容端口直接耦接。
尽管图3示出了HMD系统的一个示例，但是可以对图3进行各种改变。例如，电子设备319可以整体地包括电子设备317的所有功能，而无需其他电子设备来提供本公开的实施例的功能。
图4示出了根据本公开的方法的图标检测的示例。图标检测方法可以与上述任何系统一起使用。可以在检测到由事件检测单元242检测出的事件之后启动图标检测。例如，当检测到与在显示面板231上显示图像的请求对应的事件之后，可以执行图标检测以确定该图像是立体图像还是非立体图像。
该方法可以利用图像处理或计算机视觉技术来确定图像400内的已知图标410的存在，该图标可以指示该图像是立体内容图像。例如，可能已知的是，为HMD的虚拟现实环境设计的应用被设计为在用于访问设置菜单的已知的标准位置中具有图标(诸如图标410)。在所示的示例中，设置图标410位于图像400的下部中心。可以使用已知图标的共同特征来确定其存在(例如，对称性、组成该图标的其他形状等)。
在通过检测图标关于中心线420的对称性的图标检测的示例中，可以获得包含图标的子图像430，然后可以将该图像分成两半部(即，分为右部分和左部分)。可以翻转一个半部并从另一半部中将其减去，以找到右部分与左部分之间的百分比差。如果差低于预定阈值(例如，小于10％差)，则表明这两个半部大致相同，并且可以确定图像是对称的，因此可以确定成功的图标检测。应该理解，可以使用其他适当的阈值。例如，可以根据经验预先确定阈值。
在一些实施例中，代替设定的阈值，可以确定置信度值并将其与对称性确定相关。例如，如果将百分比差确定为1％，则与所得对称性确定相关的置信度值可能会很高。如果将百分比差确定为10％，则可以接受与所得对称性确定相关的置信度值。如果将百分比差确定为20％，则与所得对称性确定相关的置信度值可能会很低。可以理解，这是例子，可以使用任何置信度值。
在通过检测形状(例如，图标410的嵌齿轮内的圆)进行图标检测的示例中，可以利用形状检测器以图像识别方法找到给定维度信息内的封闭形状的数量。可以从关于图标410的预期大小、形状和位置的已知信息中确定维度信息。可以将预期形状的预定列表与任何检测到的形状进行比较。例如，霍夫圆变换可以用于检测图标410内的圆。如果在图标410内找到期望的形状(在这种情况下，单个圆)，则可以确定图标检测成功。
尽管图4示出了图标检测的一个示例，但是可以对图4进行各种更改。例如，图标不必位于立体图像的中心。
图5示出了根据本公开的快速立体估计的示例。快速立体估计(QSE)方法可与上述任何系统一起使用。可以在检测到由事件检测单元242检测到的事件之后开始快速立体估计。例如，在检测到与在显示面板231上显示图像的请求对应的事件时，可以执行快速立体估计以确定图像是立体图像还是非立体图像。
该方法可以将整个图像500分为左半部(或部分)510和右半部(或部分)520。在一些实施例中，左半部510和右半部520从红色、绿色和蓝色(RGB)色彩空间转换为色相、饱和度和值(HSV)色彩空间，并且会被下采样到比图像的原始分辨率低的预定义分辨率。可以将每个半部510和520重塑为一维向量，并且可以针对每个半部510和520的一维向量表示来计算相关系数。如果相关系数低于预定阈值，则表示左半部510与右半部520之间缺少相似性，这又表示该图像是非立体图像。如果相关系数高于预定阈值，则意味着图像是立体图像。
在一些实施例中，可以对左半部510与右半部520的原始分辨率版本之间进一步进行比较，以确认图像是立体图像。网格530交叠在整个图像500的一个半部(例如，左半部510)上。样本块(例如，样本块540)可以位于网格的交点上。在一些实施例中，样本块540包括图像的设定数量的像素。例如，样本块540可以包括R行和K列像素。在一些实施例中，网格大小可以具有多行Gr和多列Gc。可以确定R、K、Gr和Gc的值，以便在计算效率与结果准确性之间取得平衡。在一些实施例中，如果样本块不被认为提供有用信息，则可以考虑将它们删除。例如，如果在样本块中检测到的边缘的数量低于预定阈值，则可以认为样本块提供有用信息。
可以在图像的右半部520上搜索对应的块。例如，可以将右半部520中的候选块550中的像素的对应集合与样本块540的像素进行比较。候选块550可以在右半部520内的邻域560中，并且可以不在与样本块540完全相同的位置。邻域560可以具有以像素为单位的预定大小，并且可以在右半部520中的与样本块540对应的区域上居中。由于立体图像的性质而搜索邻域560，其中图像500的左半部510和右半部520将是相似的，但是不相同。特别地，每个半部将包含大多数相同的信息，但位置略有不同。
在一些实施例中，将具有与块540的像素区域相同的像素区域的候选块550的像素值与样本块540的像素值进行比较，如果块之间的相似度超过预定阈值，则候选块550为被确定对应于样本块540。找到的对应块可以增加用于确定图像是否为立体图像的分数。一旦找到对应的块，就可以选择新的样本块540，并且可以在新的邻域560中执行对候选块550的搜索。下面描述该过程的更多细节。
在一些实施例中，可以确定置信度值并且该置信度值与确定对应块相关，而非设定的阈值。例如，如果确定样本块540与目标块550的像素值之间的百分比差为1％，则与彼此对应的块的结果确定有关的置信度值可能非常高。如果确定百分比差为10％，则与彼此对应的块的结果确定有关的置信度值是可以是可接受的。如果确定百分比差为20％，则与彼此对应的块的结果确定有关的置信度值可能会很低。可以理解的是此为示例，可以使用任何置信度值。
在一些实施例中，可以对网格530的正方形进行初步搜索以确定任何网格正方形是否不包含太多变化(即，确定网格正方形是否主要是纯色)。对于将一个半部与另一半部进行比较，这样的正方形可能不会提供太多有用的信息，并且可能会将它们排除在寻找相应块之外。在一些实施例中，该确定是通过正方形中颜色之间的多个边缘(或过渡)来进行的。
尽管图5示出了快速立体估计技术的一个示例，但是可以对图5进行各种更改。例如，在一些实施例中，图像的第一半部的像素的数量可以减少到单列的像素，其中针对所述图像的另一半部搜索相应的候选像素。
图6示出了根据本发明的实施例的图像相似性确定的示例。图像相似性确定方法可以与上述任何系统一起使用。可以在检测到由事件检测单元242检测到的事件之后开始图像相似性确定。例如，在检测到与在显示面板231上显示图像的请求对应的事件之后，可以执行图像相似性确定以确定图像是立体图像还是非立体图像。
该实施例利用图像直方图，该图像直方图是图像中像素值(诸如像素的RGB值)的分布的计算。在将整个显示图像600划分为左半部(或部分)610和右半部(或部分)620之后，计算每半部的直方图。如图所示，左半部直方图630交叠在图像的左半部610上，而右半部直方图640交叠在图像的右半部620上。应当理解，该交叠是出于说明的目的，并且直方图630和640与图像的下面的左半部610和右半部620分开地进行分析。如上所述，由于立体图像显示器的性质，立体图像的左半部610和右半部620是相似的，但不是100％相同。因此，比较直方图630和640，并且如果百分比相似性超过预定阈值，则初步确定图像600是立体图像。
在一些实施例中，直方图630和640可以相似，但是左半部610和右半部620的内容没有形成立体图像。具体地，当图像600是碰巧具有关于中心线650的反射对称性的非立体图像时(即，当左半部610和右半部620彼此是镜像时)，就是这种情况。在这种情况下，因为每一半的RGB内容几乎相同，所以直方图630和640将非常相似，即使左半部图像610和右半部图像620实际上是彼此的镜像而不是几乎相同的副本。也就是说，即使图像被翻转，其RGB内容也保持不变，因此直方图无法检测到这种翻转。为了检查这种情况，可以使用对称性检测。例如，可以将一个半部610或620翻转并从另一半部620或610中减去，而后可以将右半部和左半部之间的所得百分比差与预定阈值进行比较。如果该差低于预定阈值(例如，差小于10％)，则表示两个半部大致相同，并且该图像可以被确定为对称的非立体图像。在一些实施例中，可以以与以上关于图4和图5所描述的类似的方式来确定置信度值，并且该置信度值与图像相似性的确定相关。
尽管图6说明了图像相似性确定的一个示例，但可以对图6进行各种更改。例如，可以使用其他方法(例如，快速立体估计)来检查图像左半部与右半部之间的对称性，以避免左半部图像610和右半部图像620没有形成立体图像的情况。
图7示出了根据本发明的实施例的单视场内容的立体检测的示例。单视场内容的立体检测方法可以与上述任何系统一起使用。可以在检测到由事件检测单元242检测到的事件之后，开始对单视场内容的立体检测。例如，在检测到与在显示面板231上显示图像的请求对应的事件时，可以对单视场内容进行立体检测，以确定图像是立体图像还是非立体图像。
通常，有两种创建虚拟现实内容的方式：单视场生成和立体生成。单视场生成使用从同一有利位置(即从一台相机)生成的用于左眼和右眼的图像，并且由单视场生成所创建的立体图像中体验到的深度实际上在图像的任何地方都是恒定的。因此，物体将在单视场生成的立体图像的每一半部上处于相同位置。立体生成使用从不同的有利位置(即，使用两个相机)生成的用于左眼和右眼的图像，并且由立体生成所创建的立体图像中体验到的深度类似于人类在现实世界中体验到的深度。也就是说，物体的深度取决于物体到相机的距离。因此，在立体地生成的立体图像的每个半部中，物体相对于彼此处于稍微不同的位置。确定立体图像是根据单视场内容生成的还是根据立体内容生成的是有用的，从而允许更好地处理图像以在HMD或其他合适的立体显示器中显示。
单视场内容通常是根据单个图像和预定深度生成的，因此左眼图像的给定区域将对应于右眼图像中的相同区域(即，相同位置)。因此，可以通过首先选择左半部图像710的位于不同深度的至少两个区域730和740、找到右半部图像720的对应区域750和760并确定区域730和740距它们相应的区域750和760相同的距离(即，确定距离770和780是否相同)，来检测诸如图像700的单视场内容。应当理解，例如，可以使用快速立体估计、边缘检测或任何其他合适的技术来定位相应的区域。
在实施例中，区域730和750中的每个区域中的物体(例如，女人的脸)被识别，并且被用来确定显示器上示出的物体之间的距离770。类似地，识别区域740和760中的每个区域中的物体(诸如男人的脸)，以确定显示器上显示的这些物体之间的距离780。如果距离770和780相同或几乎相同，则可以确定图像700是用单视场生成的。
尽管图7示出了单视场内容的立体检测的一个示例，但是可以对图7进行各种更改。例如，应该注意的是，尽管以二维显示了以上图示，但是区域通常是三维的。还应注意，为了清楚和易于说明，附图不一定按比例绘制。
图8示出了根据本公开的各种实施例的用于通过形状识别进行图标检测的示例过程。在一些实施例中，图8的过程可以由电子设备101、电子设备220、HMD系统315或能够显示立体图像或非立体图像的任何其他合适的系统执行。为了简单起见，将过程描述为由电子设备执行。
该过程开始于电子设备在步骤805获得图像。可以以各种方式来获得图像，例如，通过从外部源接收图像、通过从视频内容提取帧等来获得图像。该过程旨在确定图像是立体图像还是非立体图像。然后，在步骤810，电子设备选择图像的一部分来进行分析。在一些实施例中，所选择的部分可以是预定部分。例如，标准可以指示特定图标(例如，设置菜单图标)在为电子设备开发的所有虚拟现实应用中显示在相同位置。在其他实施例中，图像的多个部分可能包含可识别的图标。在这种情况下，电子设备可以基于是否存在期望的图标来可行地确定图像是否是立体图像(用于虚拟现实环境中)。
然后，在步骤815，电子设备确定图像的预定部分是否包括至少一种形状。例如，图标可以是齿轮形图标。在其他实施例中，齿轮形图标可以在中心包括圆形，该圆形表示齿轮中的孔。电子设备可以通过例如边缘检测-识别齿轮形图标的特征边缘图案来确定图像是否包括齿轮形状。在一些实施例中，电子设备可以例如通过使用霍夫圆变换来确定齿轮形图标内是否存在圆。
此后，在步骤820，电子设备可以确定检测到的形状是否是预定的(即，期望的)形状。例如，电子设备可以包含在图像的预定部分中显示的图标的可能形状的表格或列表。如果在步骤815中找到形状，并且该形状与电子设备的表格或列表中的形状匹配，则电子设备可以确定检测到的形状是预定的形状。在一些实施例中，这导致在步骤825确定该图像是立体图像。类似地，如果未检测到形状，或者如果检测到形状但与电子设备的表格或列表不匹配，则这导致确定该图像是非立体图像。
接下来，在步骤830，电子设备可以生成用于确定图像是立体图像还是非立体图像的置信度值。例如，霍夫圆变换可以在报告已经检测到圆时生成置信区间或置信度值。该值可以直接使用，也可以被用来生成用于确定的不同的置信度值。
然后，在步骤835，电子设备可以确定置信度值是否可接受。例如，电子设备可以确定置信度值是否超过预定阈值，在该阈值处可以确定图像是立体图像还是不是立体图像。如果置信度值不可接受，则过程可以返回到步骤810并选择图像的新部分进行分析。如果置信度值可接受，则过程可以结束。
图9示出了根据本公开的各种实施例的用于通过对称进行图标检测的示例过程。在一些实施例中，图9的过程可以由电子设备101、电子设备220、HMD系统315或能够显示立体图像或非立体图像的任何其他合适的系统执行。为了简单起见，将过程描述为由电子设备执行。
该过程开始于电子设备在步骤905获得图像。可以以各种方式来获得图像，例如，通过从外部源接收图像、通过从视频内容提取帧等来获得图像。该过程旨在确定图像是立体图像还是非立体图像。然后，在步骤907，电子设备选择图像的一部分来进行分析。在一些实施例中，所选择的部分可以是预定部分。例如，标准可以指示特定图标(例如，设置菜单图标)在为电子设备开发的所有虚拟现实应用程序中显示在相同位置。在其他实施例中，图像的多个部分可能包含可识别的图标。在这种情况下，电子设备可以基于是否存在期望的图标来可行地确定图像是否是立体图像(用于虚拟现实环境中)。在选择了区域之后，在步骤910，电子设备可以在该区域内隔离图标，并将该图标沿垂直中心线分成两个半部。
接下来，在步骤915，电子设备确定图标的每个半部是否关于中心线对称。例如，电子设备可以翻转图标的一个半部(即，使得如果两个半部是镜像，则它们现在是相同的)，然后从另一半部减去所翻转的一个半部(例如，从另一半部减去翻转后的一个半部的像素值)。
此后，在步骤920，电子设备将相减的结果与在对称的情况下应该发生的预期结果进行比较。具体来说，如果两个半部图标是镜像，则相减的结果应该很小，或者为零。如上所述，如果发现图标是对称的，则这可以指示图像是立体图像。
一旦确定了是立体图像还是非立体图像，电子设备就可以在步骤925中为结果生成置信度值。例如，如果在镜像对称的情况下减法的期望值是零，则非零结果可能表示非立体图像，也可能只是表示图像未居中。因此，如果相减的结果不为零，而是较小的(低于用于各种误差的预定阈值)，则置信度值可能较高，而如果相减的值较大，则置信度值可能低。
然后，电子设备可以在步骤930处确定置信度值是否可接受。例如，电子设备可以确定置信度值是否超过预定阈值，在该阈值处可以确定图像是立体图像还是不是立体图像。如果置信度值不可接受，则过程可以返回到步骤907并选择图像的新部分进行分析。如果置信度值可接受，则过程可以结束。
图10示出了根据本公开的各种实施例的用于快速立体估计的示例过程。在一些实施例中，图10的过程可以由电子设备101、电子设备220、HMD系统315或能够显示立体图像或非立体图像的任何其他合适的系统执行。为了简单起见，将过程描述为由电子设备执行。
该过程开始于电子设备在步骤1005获得图像。可以以各种方式来获得图像，例如，通过从外部源接收图像、通过从视频内容提取帧等来获得图像。该过程旨在确定图像是立体图像还是非立体图像。然后，在步骤1010，电子设备将图像关于中心线分成第一半部和第二半部。在将图像划分成两半之后，电子设备在步骤1015处将每一半部重塑为代表图像的相应半部的一维矢量。在一些实施例中，在重塑之前，电子设备将图像从RGB色彩空间转换为HSV色彩空间，并将图像缩放至较低的分辨率。
此后，在步骤1020，电子设备为两个一维矢量计算相关系数。在步骤1025，电子设备使用相关系数计算的结果来确定图像是立体图像还是非立体图像。例如，如果相关系数非常高(例如，接近1)，则这指示图像的两个半部包含非常相似的信息，这又指示该图像是立体图像。类似地，如果相关系数较小，则这指示图像的两个半部不包含非常相似的信息，这又表明该图像是非立体图像。在一些实施例中，电子设备可以使用相关系数的预定阈值来确定图像是立体的还是非立体的。
一旦确定了是立体图像还是非立体图像，电子设备就可以在步骤1030生成结果的置信度值。例如，如果相关系数已经超过阈值但是接近阈值，则置信度值可以是可接受的，但是不高。如果相关系数接近1，则置信度值可能会很高。在相关系数仅可接受的一些实施例中，电子设备可以执行进一步的测试来验证图像是立体图像还是非立体图像，例如图11中所述。
图11示出了根据本公开的各种实施例的用于快速立体估计的示例过程。在一些实施例中，图11的过程可以由电子设备101、电子设备220、HMD系统315或能够显示立体图像或非立体图像的任何其他合适的系统执行。为了简单起见，将过程描述为由电子设备执行。
该过程开始于电子设备在步骤1105获得图像。可以以各种方式来获得图像，例如，通过从外部源接收图像、通过从视频内容中提取帧等来获得图像。该过程旨在确定图像是立体图像还是非立体图像。然后，在步骤1110，电子设备将图像关于中心线分成第一半部和第二半部。在一些实施例中，当在已经执行了图10的过程之后执行图11的过程时，步骤1105和1110可能已经发生，并且可以使用来自图10的步骤1005和1010的信息。
在将图像分成两个半部之后，电子设备在步骤1115继续将网格交叠到图像的至少第一半部上，该网格将图像的第一半部分成多个部分。在步骤1120，电子设备选择第一半部的一部分作为样本部分。在步骤1123，电子设备确定所选择的样本部分是否提供有用信息。例如，如果在样本部分中检测到的边缘的数量低于预定阈值，则样本部分可以被认为不提供有用信息。如果确定样本部分不提供有用信息，则过程返回到步骤1120并选择新的样本部分。
然后，电子设备在步骤1125中搜索图像第二半部中与图像的第一半部中的样本部分匹配的候选部分。在一些实施例中，电子设备搜索与图像的第一半部中的样本部分的位置对应的图像的第二半部中的位置附近的区域(或邻域)。电子设备可以例如通过从一个减去另一个或比较每个部分的直方图来确定相似性来确定候选部分与样本部分的匹配。
在步骤1130，电子设备基于是否找到与样本部分匹配的候选部分来确定图像是立体图像还是非立体图像。如果找到匹配的候选部分，则表明图像的两个半部相似，并且该图像是立体图像。在一些实施例中，可以选择一个以上的样本部分，并且应当将其与对应的候选部分匹配，以便确定图像是立体图像。在其他实施例中，样本部分和候选部分不限于网格，并且可以是例如图像的像素的列或行。
一旦确定了是立体图像还是非立体图像，电子设备就可以在步骤1135中生成结果的置信度值。例如，如果候选部分仅与样本部分有些相似，则置信度值可以接受，但是不高。如果候选部分几乎完全与样本部分相似，则置信度值可能会很高。
图12示出了根据本公开的各种实施例的用于图像相似性检测的示例过程。在一些实施例中，图12的过程可以由电子设备101、电子设备220、HMD系统315或能够显示立体图像或非立体图像的任何其他合适的系统执行。为了简单起见，将过程描述为由电子设备执行。
该过程开始于电子设备在步骤1205获得图像。可以以各种方式获得图像，例如通过从外部源接收图像、通过从视频内容提取帧等来获得图像。该过程旨在确定图像是立体图像还是非立体图像。然后，在步骤1210，电子设备将图像关于中心线分成第一半部和第二半部。然后，在步骤1215，电子设备确定图像的第一半部和第二半部的每一个的直方图。一旦确定了直方图，则在步骤1220，电子设备对直方图进行比较以确定它们的相似度。
在步骤1225，电子设备基于图像的第一半部和第二半部的直方图的相似性来确定图像是立体图像还是非立体图像。在一些实施例中，将直方图的百分比相似性与预定阈值进行比较。如果百分比相似性超过阈值，则表明图像的两个半部非常相似，这又初步表明该图像是立体图像。在这种情况下，过程进入步骤1230，以确认图像是立体图像而不是具有反射对称性的非立体图像。如果百分比相似性未达到阈值，则表明图像的两个半部不相似，这表明该图像是非立体图像，而后过程进行到步骤1235，下面进一步描述。
在百分比相似性超过阈值的情况下，电子设备可以在步骤1230进一步确定图像是否实际上是非立体图像，该非立体图像恰好具有关于将两个半部分开的中心线的反射对称性的图像。在这种情况下，可以通过翻转两个半部中的一个并从另一个半部中减去它来确定对称性(例如，彼此减去像素值)。零或接近零的结果表示两个半部是彼此的镜像，而不是立体图像。
一旦确定了是立体图像或非立体图像，电子设备就可以在步骤1235中生成结果的置信度值。例如，如果直方图彼此之间仅有些相似，则置信度值是可以接受的，但是不高。如果直方图几乎彼此完全相似，则置信度值可能会很高。
图13示出了根据本公开的各种实施例的用于单视场内容检测的示例过程。在一些实施例中，图13的过程可以由电子设备101、电子设备220、HMD系统315或能够显示立体图像或非立体图像的任何其他合适的系统执行。为了简单起见，将过程描述为由电子设备执行。
该过程开始于电子设备在步骤1305获得图像。可以以各种方式来获得图像，例如，通过从外部源接收图像、通过从视频内容提取帧等来获得图像。该过程旨在确定图像是立体图像还是非立体图像。然后，电子设备将图像关于中心线分成第一半部和第二半部(步骤1310)。
此后，在步骤1315，电子设备选择优选地包含可识别物体的图像的第一半部的两个部分，并且在图像的第二半部中定位相应的物体。例如，计算机视觉、边缘检测或其他光学识别技术可用于检测物体。
然后，电子设备在步骤1320确定第一对部分(或物体)中的每个部分(或物体)之间的第一距离，并确定第二对部分(或物体)中的每个部分(或物体)之间的第二距离。然后，电子设备可以确定如果第一距离和第二距离基本相似，则图像是单视场立体图像。类似地，如果每对物体中的物体之间的距离不同，则可以确定图像是立体图像。
一旦确定了是立体图像或非立体图像，电子设备就可以在步骤1325中生成结果的置信度值。例如，如果距离仅在某种程度上彼此相似，则置信度值可以接受，但是不高。如果距离几乎彼此完全相似，则置信度值可能会很高。

Claims (15)

1.一种方法，所述方法包括：
获得图像；
分析所述图像的至少一部分；
基于所述分析，确定所述图像是否为立体图像；以及
生成与所述确定相关的置信度值，所述置信度值指示了所述确定正确的可能性。
2.根据权利要求1所述的方法，其中，
分析所述图像的至少一部分包括：
在所述图像的至少一部分中分离出图标；以及
确定所述图标是否包括至少一种形状，并且
确定所述图像是否为立体图像包括确定所述至少一种形状是否为预定形状。
3.根据权利要求1所述的方法，其中，
分析所述图像的至少一部分包括：
在所述图像的至少一部分中分离出图标；
将所述图标关于中心线分为第一半部和第二半部；以及
比较所述第一半部和所述第二半部，
确定所述图像是否为立体图像包括确定所述图标的所述第一半部和所述第二半部是否关于所述中心线彼此对称，并且
生成所述置信度值包括：
将所述图标的所述第一半部和所述第二半部的对称性与期望值的对称性进行比较；以及
根据所述比较的结果，确定所述置信度值。
4.根据权利要求1所述的方法，其中，
分析所述图像的至少一部分包括：
将所述图像的至少一部分分为第一半部和第二半部；以及
计算所述图像的至少一部分的所述第一半部中的信息和所述图像的至少一部分的所述第二半部中的信息的相关系数，并且
确定所述图像是否为立体图像包括将所述相关系数与预定阈值进行比较。
5.根据权利要求1所述的方法，其中，
分析所述图像的至少一部分包括：
将所述图像的至少一部分分为第一半部和第二半部；
将所述第一半部分为多个第一分段；
从所述第一分段中选择所述第一半部的分段作为样本分段；以及
在所述第二半部内的与所述样本分段在所述第一半部内的位置相对应的位置周围的区域内搜索候选分段，其中，所述候选分段与所述样本分段大致相似，并且
其中，确定所述图像是否为立体图像包括确定所述第一半部的样本分段与所述第二半部的候选分段之间的相似度。
6.根据权利要求1所述的方法，其中，
分析所述图像的至少一部分包括：
将所述图像的至少一部分分为第一半部和第二半部；以及
生成所述第一半部的像素值的第一直方图和所述第二半部的像素值的第二直方图，并且
确定所述图像是否为立体图像包括确定所述第一直方图与所述第二直方图之间的相似度，并且
生成所述置信度值包括基于所述第一直方图与所述第二直方图之间的相似度来生成所述置信度值。
7.根据权利要求6所述的方法，所述方法还包括：
基于所述相似度满足或超过预定阈值，确定所述第一半部是否为所述第二半部的镜像，
其中，确定所述图像是否为立体图像包括当所述第一半部为所述第二半部的镜像时，确定所述图像不是立体图像。
8.根据权利要求1所述的方法，其中，分析所述图像的至少一部分还包括：
将所述图像的至少一部分分为第一半部和第二半部；
比较所述第一半部和所述第二半部，所述比较包括在所述第一半部中定位至少两个物体并在所述第二半部中定位至少两个对应的物体；
识别所述第一半部中的至少两个物体与所述第二半部的至少两个物体之间的对应物体对；
对于每个对应物体对，确定包括所述对的每个物体之间的距离；以及
当每个对应物体对的所述距离相等时，确定所述图像是单视场图像。
9.一种系统，所述系统包括：
显示器，所述显示器被配置为显示立体图像和非立体图像；
处理器，所述处理器被配置为：
获取图像；
分析所述图像的至少一部分；
基于所述分析，确定所述图像是否为立体图像；以及
生成与所述确定相关的置信度值，所述置信度值指示了所述确定正确的可能性。
10.根据权利要求9所述的系统，其中，所述处理器还被配置为：
通过在所述图像的至少一部分中分离出图标并确定所述图标是否包括至少一种形状，分析所述图像的至少一部分；以及
通过确定所述至少一种形状是否为预定形状，确定所述图像是否为立体图像。
11.根据权利要求9所述的系统，其中，所述处理器还被配置为：
通过以下方式分析所述图像的至少一部分：
将所述图像的至少一部分分为第一半部和第二半部；以及
计算所述图像的至少一部分的所述第一半部中的信息和所述图像的至少一部分的所述第二半部中的信息的相关系数，并且
通过将所述相关系数与预定阈值进行比较来确定所述图像是否为立体图像。
12.根据权利要求9所述的系统，其中，所述处理器被配置为：
通过以下方式分析所述图像的至少一部分：
将所述图像的至少一部分分为第一半部和第二半部；
将所述第一半部划分为多个第一分段；
从所述第一分段中选择所述第一半部的分段作为样本分段；以及
在所述第二半部内的与所述样本分段在所述第一半部内的位置相对应的位置周围的区域内搜索候选分段，其中，所述候选分段与所述样本分段大致相似，并且
通过确定所述第一半部的样本分段与所述第二半部的候选分段之间的相似度，确定所述图像是否为立体图像。
13.根据权利要求9所述的系统，其中，所述处理器被配置为：
通过以下方式分析所述图像的至少一部分：
将所述图像的至少一部分分离为第一半部和第二半部；
生成所述第一半部的像素值的第一直方图和所述第二半部的像素值的第二直方图；
通过确定所述第一直方图与所述第二直方图之间的相似度，确定所述图像是否为立体图像；以及
通过基于所述第一直方图与所述第二直方图之间的相似度生成置信度值，生成所述置信度值。
14.根据权利要求9所述的系统，其中，所述处理器还被配置为：
将所述图像的至少一部分分为第一半部和第二半部；
比较所述第一半部与所述第二半部，所述处理器被配置为通过在所述第一半部中定位至少两个物体并在所述第二半部中定位至少两个对应的物体，将所述第一半部与所述第二半部进行比较；
识别所述第一半部中的至少两个物体与所述第二半部中的至少两个物体之间的对应物体对；
对于每个对应物体对，确定包括所述对的每个物体之间的距离；以及
当每个对应物体对的所述距离基本相等时，确定所述图像是单视场图像。
15.一种计算机可读介质，所述计算机可读介质包括程序代码，所述程序代码在由至少一个处理器执行时使所述至少一个处理器执行根据权利要求1至8中任一项所述的方法。
CN201880027572.5A 2017-06-09 2018-02-14 用于立体内容检测的系统和方法 Active CN110546648B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762517851P 2017-06-09 2017-06-09
US62/517,851 2017-06-09
US15/811,094 2017-11-13
US15/811,094 US10748244B2 (en) 2017-06-09 2017-11-13 Systems and methods for stereo content detection
PCT/KR2018/001915 WO2018225932A1 (en) 2017-06-09 2018-02-14 Systems and methods for stereo content detection

Publications (2)

Publication Number Publication Date
CN110546648A true CN110546648A (zh) 2019-12-06
CN110546648B CN110546648B (zh) 2024-03-08

Family

ID=64562637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027572.5A Active CN110546648B (zh) 2017-06-09 2018-02-14 用于立体内容检测的系统和方法

Country Status (4)

Country Link
US (2) US10748244B2 (zh)
EP (1) EP3628096A4 (zh)
CN (1) CN110546648B (zh)
WO (2) WO2018225932A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114168240A (zh) * 2021-10-21 2022-03-11 北京鲸鲮信息系统技术有限公司 窗口显示方法、装置、设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748244B2 (en) * 2017-06-09 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for stereo content detection
CN110706323A (zh) * 2019-10-10 2020-01-17 南京可居网络科技有限公司 一种基于四倍高清技术的ar虚拟软装合成方法
US11240284B1 (en) * 2020-05-28 2022-02-01 Facebook, Inc. Systems and methods for application- and content-aware real-time video encoding
CN114020375A (zh) * 2021-09-22 2022-02-08 联想(北京)有限公司 一种显示方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346642A (zh) * 2010-07-29 2012-02-08 Lg电子株式会社 移动终端和控制移动终端的操作的方法
US20120038744A1 (en) * 2010-08-13 2012-02-16 Masafumi Naka Automatic 3d content detection
CN102378029A (zh) * 2010-08-18 2012-03-14 索尼公司 图像处理装置、方法和程序
CN102404601A (zh) * 2010-09-10 2012-04-04 史诺有限公司 立体图像检测
CN102740095A (zh) * 2011-04-08 2012-10-17 索尼公司 3d视频分析
US20140160250A1 (en) * 2012-12-06 2014-06-12 Sandisk Technologies Inc. Head mountable camera system
US20140282144A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Methods and apparatus for displaying images on a head mounted display
US9106894B1 (en) * 2012-02-07 2015-08-11 Google Inc. Detection of 3-D videos

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
JP4697500B2 (ja) 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
US7035479B2 (en) * 2002-02-22 2006-04-25 The Regents Of The University Of California Graded zooming
KR20050078798A (ko) 2004-02-03 2005-08-08 엘지전자 주식회사 부분 윈도우 화면의 해상도 조절방법
US7505841B2 (en) * 2005-09-02 2009-03-17 Delphi Technologies, Inc. Vision-based occupant classification method and system for controlling airbag deployment in a vehicle restraint system
US8169467B2 (en) 2006-03-29 2012-05-01 Nvidia Corporation System, method, and computer program product for increasing an LCD display vertical blanking interval
US8117554B1 (en) 2006-04-25 2012-02-14 Parallels Holdings, Ltd. Seamless integration of non-native widgets and windows with dynamically scalable resolution into native operating system
US20080136819A1 (en) 2006-12-11 2008-06-12 Michael Shivas Apparatus and method for screen scaling displays on communication devices
KR100827133B1 (ko) 2007-03-15 2008-05-02 삼성전자주식회사 이동 통신 단말기에서 3차원 입체 영상을 판별하기 위한방법 및 장치
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8799820B2 (en) * 2008-12-23 2014-08-05 At&T Mobility Ii Llc Dynamically scaled messaging content
KR20110032678A (ko) 2009-09-23 2011-03-30 삼성전자주식회사 디스플레이장치, 시스템 및 그 해상도 제어방법
US20110199469A1 (en) 2010-02-15 2011-08-18 Gallagher Andrew C Detection and display of stereo images
WO2011104151A1 (en) * 2010-02-26 2011-09-01 Thomson Licensing Confidence map, method for generating the same and method for refining a disparity map
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US8849508B2 (en) * 2011-03-28 2014-09-30 Tk Holdings Inc. Driver assistance system and method
EP3654147A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
EP2570990A1 (en) 2011-09-13 2013-03-20 Thomson Licensing Apparatus and method for determining a confidence value of a disparity estimate
US9401117B2 (en) 2011-09-23 2016-07-26 Lg Electronics Inc. Mobile terminal and resolution compatibility method thereof
US20130176300A1 (en) * 2012-01-10 2013-07-11 Thomson Licensing Disparity maps in uniform areas
US20130188045A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation High Resolution Surveillance Camera
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
KR101408719B1 (ko) 2012-09-11 2014-06-18 (주)리얼디스퀘어 3차원 영상의 스케일 변환 장치 및 그 방법
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US9811874B2 (en) 2012-12-31 2017-11-07 Nvidia Corporation Frame times by dynamically adjusting frame buffer resolution
US8970612B2 (en) 2013-01-28 2015-03-03 Shenzhen China Star Optoelectronics Technology Co., Ltd. Image processing device, image processing method, and liquid crystal display incorporated with image processing device
US20140267616A1 (en) 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US9355468B2 (en) * 2013-09-27 2016-05-31 Nvidia Corporation System, method, and computer program product for joint color and depth encoding
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking
US10007333B2 (en) 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
KR102183212B1 (ko) 2014-11-18 2020-11-25 삼성전자주식회사 화면 제어 방법 및 그 방법을 처리하는 전자 장치
US10777164B2 (en) * 2014-12-19 2020-09-15 Qualcomm Incorporated Power optimization by rendering low-resolution tiles during page load
US9508121B2 (en) * 2015-01-14 2016-11-29 Lucidlogix Technologies Ltd. Method and apparatus for controlling spatial resolution in a computer system by rendering virtual pixel into physical pixel
JP6653522B2 (ja) * 2015-02-04 2020-02-26 シナプティクス・ジャパン合同会社 表示装置、表示パネルドライバ、表示パネルの駆動方法
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
KR102321364B1 (ko) 2015-03-05 2021-11-03 삼성전자주식회사 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
US10033656B2 (en) * 2015-05-21 2018-07-24 Sap Portals Israel Ltd Critical rendering path optimization
KR101718046B1 (ko) 2015-09-30 2017-03-20 엘지전자 주식회사 동적 해상도 제어를 수행하는 이동 단말기 및 그 제어방법
KR102488333B1 (ko) * 2016-04-27 2023-01-13 삼성전자주식회사 그래픽 데이터를 합성하는 전자 장치 및 방법
CN106168890A (zh) 2016-06-30 2016-11-30 宇龙计算机通信科技(深圳)有限公司 一种基于屏幕分辨率调节的显示方法、装置及终端
KR101766149B1 (ko) * 2016-07-05 2017-08-07 현대자동차주식회사 저연산 스테레오 영상 매칭 장치 및 방법
US10748244B2 (en) * 2017-06-09 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for stereo content detection
US10666528B1 (en) * 2018-11-28 2020-05-26 Sap Portals Israel Ltd. Decoupling platform as a service providers using a service management platform

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346642A (zh) * 2010-07-29 2012-02-08 Lg电子株式会社 移动终端和控制移动终端的操作的方法
US20120038744A1 (en) * 2010-08-13 2012-02-16 Masafumi Naka Automatic 3d content detection
CN102378029A (zh) * 2010-08-18 2012-03-14 索尼公司 图像处理装置、方法和程序
CN102404601A (zh) * 2010-09-10 2012-04-04 史诺有限公司 立体图像检测
CN102740095A (zh) * 2011-04-08 2012-10-17 索尼公司 3d视频分析
US9106894B1 (en) * 2012-02-07 2015-08-11 Google Inc. Detection of 3-D videos
US20140160250A1 (en) * 2012-12-06 2014-06-12 Sandisk Technologies Inc. Head mountable camera system
US20140282144A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Methods and apparatus for displaying images on a head mounted display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
章毓晋: "中国图像工程及当前的几个研究热点", 计算机辅助设计与图形学学报, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114168240A (zh) * 2021-10-21 2022-03-11 北京鲸鲮信息系统技术有限公司 窗口显示方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US20180357781A1 (en) 2018-12-13
US10867366B2 (en) 2020-12-15
US10748244B2 (en) 2020-08-18
EP3628096A1 (en) 2020-04-01
WO2018226080A1 (en) 2018-12-13
WO2018225932A1 (en) 2018-12-13
EP3628096A4 (en) 2020-04-01
CN110546648B (zh) 2024-03-08
US20180357748A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
CN110546648B (zh) 用于立体内容检测的系统和方法
US9804395B2 (en) Range calibration of a binocular optical augmented reality system
US10003769B2 (en) Video telephony system, image display apparatus, driving method of image display apparatus, method for generating realistic image, and non-transitory computer readable recording medium
US10825217B2 (en) Image bounding shape using 3D environment representation
US20140368645A1 (en) Robust tracking using point and line features
US10037461B2 (en) Biometric authentication, and near-eye wearable device
US20090315981A1 (en) Image processing method and apparatus
EP3693925B1 (en) Information processing device, information processing method, and recording medium
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN110060205B (zh) 图像处理方法及装置、存储介质及电子设备
US10810801B2 (en) Method of displaying at least one virtual object in mixed reality, and an associated terminal and system
US20160105669A1 (en) Method and apparatus for rendering content
US20160180514A1 (en) Image processing method and electronic device thereof
US11893836B1 (en) Augmented reality system for remote product inspection
CN105511620A (zh) 中文三维输入装置、头戴式装置及中文三维输入方法
EP3038061A1 (en) Apparatus and method to display augmented reality data
US10298914B2 (en) Light field perception enhancement for integral display applications
US10586392B2 (en) Image display apparatus using foveated rendering
CN103297791A (zh) 图像显示装置及图像显示方法
US20230052104A1 (en) Virtual content experience system and control method for same
US9197874B1 (en) System and method for embedding stereo imagery
KR20160056132A (ko) 영상 변환 장치 및 그 영상 변환 방법
US11961184B2 (en) System and method for scene reconstruction with plane and surface reconstruction
US11900845B2 (en) System and method for optical calibration of a head-mounted display
US11039116B2 (en) Electronic device and subtitle-embedding method for virtual-reality video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant