CN104345885A - 立体跟踪状态指示方法及显示装置 - Google Patents

立体跟踪状态指示方法及显示装置 Download PDF

Info

Publication number
CN104345885A
CN104345885A CN201410504748.5A CN201410504748A CN104345885A CN 104345885 A CN104345885 A CN 104345885A CN 201410504748 A CN201410504748 A CN 201410504748A CN 104345885 A CN104345885 A CN 104345885A
Authority
CN
China
Prior art keywords
user
face
indication information
scope
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410504748.5A
Other languages
English (en)
Inventor
李晓鸣
范海玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Technology Co Ltd
Original Assignee
Shenzhen Super Perfect Optics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Perfect Optics Ltd filed Critical Shenzhen Super Perfect Optics Ltd
Priority to CN201410504748.5A priority Critical patent/CN104345885A/zh
Publication of CN104345885A publication Critical patent/CN104345885A/zh
Priority to US14/713,484 priority patent/US20160091966A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种立体跟踪状态指示方法及显示装置,其中,所述方法包括:追踪用户面部信息;在能够追踪到用户面部信息时,检测用户面部相对于3D显示装置的位置信息;根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;向所述用户传递第一异常状态指示信息,以提示用户根据第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。本发明可以使用户获得较佳的3D观看效果,改善用户体验。

Description

立体跟踪状态指示方法及显示装置
技术领域
本发明涉及立体显示技术领域,具体涉及一种应用于裸眼3D观看中的立体跟踪状态指示方法及显示装置。
背景技术
在立体显示技术中,人机交互不局限于二维空间,为追求真实感,在三维尺度上的交互必须与视觉效果紧密结合。当用户观看三维立体影像或者通过观看立体影像显示装置进行影像数据编辑时,都需要用户处于较佳的立体观看范围内,才能达到较佳的观看效果。但是,用户通常并不知晓自身是否位于较佳的三维(3-dimensional,3D)立体显示范围内,因此有必要提出一种通过跟踪用户面部位置信息,对用户进行状态信息指示的方法及显示装置。
发明内容
本发明的目的是提供一种立体跟踪状态指示方法、以实现通过跟踪用户面部位置信息,实时对用户进行状态信息指示,以使用户时刻保持在较佳3D观看范围内,获得较佳3D观看效果。
为实现上述目的,本发明第一方面提供了一种立体跟踪状态指示方法,该方法包括:
步骤S1,追踪用户面部信息;
步骤S2,在能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;
步骤S3,根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;
步骤S4,在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
步骤S5,向所述用户传递所述第一异常状态指示信息,以提示所述用户根据所述第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
第二方面,本发明实施例提供了一种显示装置,所述显示装置包括:
追踪单元,用于对用户面部信息进行追踪;
检测单元,用于在所述追踪单元能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;
判断单元,用于根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;
第一异常信息生成单元,用于在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
信息传递单元,用于向所述用户传递所述第一异常状态指示信息,以提示所述用户根据所述第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
第三方面,本发明实施例提供了一种显示装置,所述显示装置包括追踪设备,处理器、存储器、显示器以及将所述追踪设备、所述存储器、所述显示器电连接到所述处理器;
其中,所述存储器中存储一组程序代码,且所述处理器用于调用所述存储器中存储的程序代码,用于执行以下操作:
通过追踪设备追踪用户面部信息;
在能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;所述处理器根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;
所述处理在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
所述处理器向所述用户传递所述第一异常状态指示信息,以提示所述用户根据所述第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
通过本发明实施例提供的立体跟踪状态指示方法,能够通过显示装置关联的图像采集设备检测用户面部相对于3D显示装置的位置信息;并且根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,并且向所述用户传递该异常状态指示信息,以提示所述用户根据该异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围,获得较佳的3D观看效果,改善用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的立体跟踪状态指示方法的一种应用场景示意图;
图2为本发明提供的立体跟踪状态指示方法的一种实施方式的流程图;
图3是本发明提供的立体跟踪状态指示方法另一种实施方式的流程图;
图4是本发明提供的立体跟踪状态指示方法的一种实施方式中设定3D显示观看范围的一种确定方式的示意图;
图5A是本发明提供的立体跟踪状态指示方法的一种实施方式中异常和正常状态指示信息的示意图;
图5B是本发明提供的立体跟踪状态指示方法的另一种实施方式中异常和正常状态指示信息的示意图;
图5C是是本发明提供的立体跟踪状态指示方法的又一种实施方式中异常和正常状态指示信息的示意图;图6A是本发明提供的立体跟踪状态指示方法中正常状态指示信息一种实施方式的示意图;
图6B是本发明提供的立体跟踪状态指示方法中异常状态指示信息一种实施方式的示意图;
图7A是本发明提供的立体跟踪状态指示方法中正常状态指示信息一种实施方法的示意图;
图7B是本发明提供的立体跟踪状态指示方法中正常状态指示信息一种实施方式的示意图;
图7C是本发明提供的立体跟踪状态指示方法中正常状态指示信息一种实施方式的示意图;
图7D是本发明提供的立体跟踪状态指示方法中正常状态指示信息一种实施方式的示意图;
图8A是本发明提供的立体跟踪状态指示方法中异常状态指示信息一种实施方式的示意图;
图8B是本发明提供的立体跟踪状态指示方法中异常状态指示信息一种实施方式的示意图;
图8C是本发明提供的立体跟踪状态指示方法中异常状态指示信息一种实施方式的示意图;
图8D是本发明提供的立体跟踪状态指示方法中异常状态指示信息一种实施方式的示意图;
图9A是本发明提供的立体跟踪状态指示方法中显示状态提示信息的又一种实施方式的示意图;
图9B是本发明提供的立体跟踪状态指示方法中显示状态提示信息的又一种实施方式的示意图;
图9C是本发明提供的立体跟踪状态指示方法中显示状态提示信息的又一种实施方式的示意图;
图10是本发明提供的显示装置一种实施例的结构图;
图11是本发明提供的显示装置另一种实施例的结构图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。需要说明的是,在不会产生冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不局限于下面公开的具体实施例的限制。在本发明的具体实施方式中,为了便于区分,采用了“第一”、“第二”等术语来区分不同的技术特征,需要时可以讲该类术语进行更换,不应理解为对本发明的限制。
图1是本发明实施例的一种应用场景图,图1中,显示装置10通常是具有3D显示功能的显示装置或者具备2D及3D显示功能的显示装置,例如电视机、一体机、平板电脑、笔记本电脑、智能手机、游戏机等显示装置。用户A可以通常位于显示装置10的显示屏前方的一个位置,对显示装置10展示的画面进行3D影像数据观看。但是,由于3D立体显示的特性,并非用户位于显示装置10的显示屏前方即可获得较佳的观看效果,只有在显示装置10的显示屏前方的设定范围内,才能获得较佳的3D立体观看效果。当用户在设定范围之外时,需要提醒用户调整自身位置,特别是面部位置,以获得较佳的3D立体观看效果。
基于上述的应用场景,本发明实施例提供了一种立体跟踪状态指示方法,该实施例可以应用于3D立体影像观看的场景中,应用于具备3D显示功能的显示装置中,图2是本实施例的立体跟踪状态指示方法的流程图,如图2所示,该实施例的立体跟踪状态指示方法可以包括:
201、追踪用户面部信息;
在该步骤201中,显示装置可以通过图像采集设备采集用户面部的图像数据,其中,图像采集设备包括但不限定于摄像头,该摄像头可以是与显示装置一体设置,也可以是与显示装置电连接的外置摄像头,只要能够追踪用户相对于3D显示装置的位置信息即可,不应将摄像头与3D显示装置的连接关系,理解为对本发明实施例的限制。
除摄像头外,还可以采用其他方式对用户面部进行追踪,例如可以通过红外传感器,或者超声波发射器均可实现对用户的追踪。
需要说明的是,对面部进行跟踪的方案中,通常存在追踪范围,该追踪范围通常是显示装置可以追踪到用户头部的一个区域范围,该范围根据所采用的追踪方案不同而有所差异。例如在采用图像采集设备进行跟踪的方案中,追踪范围通常是图像采集设备能够采集图像的范围;而在采用红外传感器进行跟踪的方案中,追踪范围可以是红外线传感器能够接收到人体发出的红外线的范围。
202、在能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;
在该步骤202中,显示装置在追踪到用户面部信息之后,通过已知算法确定用户面部相对于3D显示装置的位置信息;
通常的,在追踪范围内,图像采集设备能够检测并计算出所述3D显示设备与所述用户面部的相对空间位置信息;相反的,当用户面部处于追踪范围外时,图像采集设备不能够检测并计算出与用户头部相对空间位置。
203、根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;进一步地,在步骤203中,显示装置还可以根据步骤202中获得到的用户面部位置信息,根据相关算法确定用户面部是否位于设定的3D显示观看范围内,该设定3D显示观看范围是在追踪范围内的一个选定的范围,在3D显示观看范围内,用户可以看到较佳的3D显示效果,例如,通常可以是最佳的3D显示范围,用户在该范围内的任意位置都能够获得较好的3D观看效果。
需要注意的是,该相关算法可以是现有的跟踪算法中的一种,因此不多解释。
204、在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
在该步骤中,显示装置生成第一异常状态指示信息,提示用户的面部没有处于设定3D显示观看范围内,其中,第一异常状态指示信息可以是扬声器产生的提示音、指示光源(如采用LED光源)发出的光线或者图形图标中的一种或者多种方式的结合。
205、向所述用户传递所述第一异常状态指示信息,以提示所述用户根据所述异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
在该步骤中,显示装置可以根据第一异常状态指示信息的具体类型,向用户进行传递,例如,在扬声器中发出对应提示音,或者在显示器的显示屏的适当位置展示图形、图标、图片等。
用户接收到第一异常状态指示信息之后,为获得较佳的3D观看效果,可以根据第一异常状态指示信息的指示调整自身面部位置,以获得较佳的3D观看效果。
图3是本发明实施例提供的立体跟踪状态指示方法的另一种实施例的流程图,如图3所示,在该另一种实施例中,在步骤203之后,还包括步骤206和步骤207,即:
206、在所述用户面部位于所述设定3D显示观看范围内时,生成正常状态指示信息,该正常状态指示信息用以表征所述用户面部处于所述3D显示观看范围内;
在该步骤中,正常状态指示信息也可以是图形图标、声音或者指示灯光中的一种或者几种的组合,需要注意的是,正常状态指示信息需要与异常状态指示信息进行区分。
207、向所述用户传递所述正常状态指示信息,以提示所述用户在所述设定3D显示观看范围内观看3D图像数据。
在该步骤中,与图2所示的实施例类似,生成正常状态指示信息之后,显示装置需要向用户传递该指示信息,例如通过显示器显示图形图标、通过指示光源或者通过扬声器发出提示音等,不多赘述。
该实施例可以提示用户在设定3D显示观看范围内时,保持其当前状态,即可获得较好的3D观看效果。
此外,在另外一种可选的实施例中,可返回参考图3,如果显示装置不能追踪到用户面部时(例如用户位置严重偏离显示装置,导致面部信息不能被采集到),则执行步骤208:
208,生成第二异常状态指示信息,该第二异常状态指示信息用以表征所述用户面部处于追踪范围外;
209,向所述用户传递所述第二异常状态指示信息,以提示所述用户根据所述第二异常状态指示信息调整其面部位置,使得所述用户的面部位置处于追踪范围内。
通过步骤208和209,提示所述用户根据所述第二异常状态指示信息调整其面部位置,使得所述用户的面部位置处于追踪范围内,这样为用户带来较佳的显示效果,相较于现有技术中用户需要自己去不断摸索,而且还需要用户自己去判断而言,带来了较佳的用户体验。
在该实施例中,与图2所示的实施例类似,生成第二异常状态指示信息之后,显示装置需要向用户传递该指示信息,例如通过显示器显示图形图标、通过LED灯发射灯光或者通过扬声器发出提示音等,不多赘述。在图2和图3两种实施例中,步骤203中,显示装置根据位置信息,判断所述用户面部是否位于设定3D显示观看范围内时,设定3D显示观看范围通常是最佳或者较佳的3D显示观看范围,当图像采集设备与显示装置一体时,该范围通常可以根据图像采集设备(例如摄像头)的视角和距离图像采集设备的距离等参数划定,将摄像头的设定视角等参数划定的空间中的两个切面(第一切面和第二切面)之间的空间范围。通常,所述最佳3D观看范围位于所述图像采集设备的设定视角划定的空间中垂直边界与竖直平面相切形成的第一切面和第二切面之间的空间。
最佳的3D观看范围与显示装置本身的屏幕尺寸、图像采集设备安装的位置等因素有关,这些相关因素不同,所确定的最佳3D观看范围也有所不同,例如智能手机和笔记本电脑由于这些相关元素不同,能够确定的最佳3D观看范围也有所不同;此外,同一种显示装置,图像采集设备设置在屏幕上方中部和边缘,所对应的最佳3D观看范围也有所不同,不多赘述。
可参考图4,作为一种举例,以一种屏幕尺寸为21英寸,摄像头设置在显示器顶部中央位置的显示器为例,以距离摄像头前方0.2米的近切面和距离摄像头前方1.0米的远切面之间的空间,摄像头的最大左/右偏角各40度以及摄像头的最大上偏角30度和最大下偏角50度,这几组参数划定的范围作为;设定3D显示观看范围,该观看范围可以通过实验或者相关算法确定,在此不多赘述。
在一种变形实施例中,所述显示装置生成的两种异常状态指示信息和正常状态指示信息均为图形图标,根据不同的需求,可以选择不同的图标,例如图5A中的方向图标、图5B中的手势图标、图5C中的面孔图标等,在可选的方式中,也可以选择图片、照片、文字作为指示信息。
在图5A中,第一个O型图标表示正常状态指示信息,用户可以保持当前位置进行较佳的3D影像观看;其余图标均表示用户面部没有在设定3D显示观看范围内,例如可能是用户处于3D观看范围内,但是并不是最佳的观看范围的第一异常状态指示信息,也可能是用户处于检测范围之外的第二异常状态指示信息。例如,图5A中的第二个表示用户面部位于设定3D显示观看范围外或者用户处于追踪范围之外,第三个图标表示用户面部偏下,可以通过向上方移动,将面部调整到设定3D显示范围内;类似的、第四、第五、第六个图标分别表示用户可以通过向下方、左方、右方移动,将面部调整到设定3D显示观看范围内,第七图标表示用户距离显示装置太近,可以通过远离显示装置面部调整到设定3D显示观看范围内;对应的,第八个图标分别表示用户距离显示装置太远,可以通过靠近显示装置,将面部调整到设定3D显示观看范围内,不多赘述。
类似的,在图5B中,第一个手势图标表示正常状态指示信息,用户可以保持当前位置进行较佳的3D影像观看;其余图标均表示用户面部没有在设定3D显示观看范围内,例如可能是用户处于3D观看范围内,但是并不是最佳的观看范围的第一异常状态指示信息,也可能是用户处于检测范围之外的第二异常状态指示信息。例如,图5B中的第二个手势图标表示用户面部位于设定3D显示观看范围外或者用户处于追踪范围之外,第三个图标表示用户面部偏下,可以通过向上方移动,将面部调整到设定3D显示范围内;类似的、第四、第五、第六个图标分别表示用户可以通过向下方、左方、右方移动,将面部调整到设定3D显示观看范围内,第七图标表示用户距离显示装置太近,可以通过远离显示装置面部调整到设定3D显示观看范围内;对应的,第八个图标分别表示用户距离显示装置太远,可以通过靠近显示装置,将面部调整到设定3D显示观看范围内,不多赘述。
类似的,在图5C中,第一个笑脸图标表示正常状态指示信息,用户可以保持当前位置进行较佳的3D影像观看;图5C中的第二个面孔图标表示用户面部位于设定3D显示观看范围外或者用户处于追踪范围之外,,第三个面孔图标表示用户面部偏下,可以通过向上方移动,将面部调整到设定3D显示范围内;类似的、第四、第五、第六个面孔图标分别表示用户可以通过向下方、左方、右方移动,将面部调整到设定3D显示范围内,不多赘述。
当然,图5A、图5B、图5C所示的两种通过图标来进行状态指示的方案仅仅是两种较佳的实施例,在实际应用中,还可以通过图标与不同颜色进行组合或者图标与文字进行组合、单纯的文字提示以及单纯的文字提示等方式进行状态指示,不多赘述。
需要注意的是,图5A、图5B和5C中的图标展示位置,可以设置在显示装置显示屏的任意位置,但是优选布局在不影响用户对影像数据的观看效果的位置。例如图6A和图6B所示,在一种用户通过的显示装置观看3D电影或者浏览3D图片的场景中,在显示装置的显示屏显示界面的边缘位置,分别示出了一种在显示装置显示屏的显示界面的左侧边的中部以O型图标显示正常状态指示信息与一种以方向箭头图标展示异常状态指示信息的实施方式,其中图标优选选择设置为半透明,既可以达到醒目的效果,又不影响用户对3D图像的观看。
通过上述的实施例,显示装置可以根据用户面部的位置信息,确定是否在较佳的3D观看范围内,之后以图标的形式向用户传达正常或者异常状态指示信息,以提示用户能够及时调整面部位置,获取较佳的3D观看效果。
在另一种可选的实施例中,显示装置在其显示屏的显示界面设置运行场景示意区域,在该运行场景示意区域中具有两个显示部分,即包含用户面部的用户模拟区域和模拟设定3D观看区域,其中,所述用户模拟区域用于以图像方式模拟所述用户,所述模拟设定3D观看区域用于以图像方式模拟所述设定3D观看范围。前者通过图像采集设备,例如摄像头采集到的用户图像进行模拟跟踪,后者可以根据图像采集设备的采集图像根据已有相关算法确定。
以图7A至图7D为例,当用户面部处于设定3D显示观看范围内时,显示界面中的模拟设定3D观看区域71呈现第一视觉效果,例如第一颜色(包括但不限定于绿色、黄色等,优选绿色),用户模拟区域72的用户头像面部显示轮廓线,该轮廓线可以是黄色、蓝色等,与第一视觉效果具有色差即可。此时,提醒用户可以保持面部当前的位置,以获取较佳的3D显示观看效果。
相应的,以图8A至图8D为例,当用户面部处于设定3D显示观看范围外时,显示界面中的模拟设定3D观看区域71呈现具有警示效果的第二视觉效果,例如第二颜色(包括但不限定于红色、黄色等,优选具有警示效果的红色),用户模拟区域的用户头像面部不再显示轮廓线。此时,提醒用户可以调整面部当前的位置,以获取较佳的3D显示观看效果。
此外,显示装置还可以根据实际需求进行模拟3D观看区域和用户模拟区域的显示状态调整,例如在用户面部即将偏离设定3D显示观看范围时,呈现第三视觉效果,例如以第三颜色显示模拟3D观看区域,或者在用户模拟区域的用户头像面部呈现闪烁的轮廓线,以提醒用户不要继续偏离设定3D显示观看范围,不多赘述。
需要注意的是,采用模拟3D观看区域和用户模拟区域进行结合,仅仅是一种较佳的实施例,不应理解为对本实施例的限制,在具体应用中,可以根据需求进行调整,例如,只变换模拟3D观看区域、或者只显示用户模拟区域,或者与其他实施方式进行结合,不多赘述。
上述实施例,优选适用于用户通过显示装置3D显示界面,进行3D图像编辑的场景中。例如,用户采用3D内容交互方式编辑3D图片,设计3D模型等场景中,在该种场景中,用户不仅专注于3D内容,还要求对全局的控制。
如他9A所示,当用户通过显示装置运行3D图像处理程序全屏模式运行时,运行场景示意区域的视图窗口,优选是可拖拽且可缩放的,并且与3D图像处理程序界面的其他视图窗口风格一致,其位置与大小是由用户自行设定。其中,运行场景示意区域的视图窗口的大小与显示装置的显示屏尺寸有关,由于显示屏影响到用户的合适观赏距离,运行场景示意区域的视图窗口的优选能够让用户在合适观赏距离范围内清晰的区分提示标志的状态。
此外,可以通过显示装置配置相应的软件,当3D图像处理程序以窗口模式运行时,运行场景示意区域的视图窗口可被拖拽到3D图像处理程序窗口以外,形成独立视图,节省编辑空间,如图9B所示,或者,如图9C所以,3D图像处理程序可以被配置为紧贴3D图像处理程序窗口边缘,不多赘述。
通过上述实施例,可以使得用户能够在通过显示装置进行3D图像编辑时,能够通过跟踪自身面部的位置信息,获得较佳的3D显示观看效果,以进行更加有效精准度地3D图像编辑。
在另一种可选的实施例中,显示装置可以通过内置或者外接的扬声器向用户传达正常状态指示信息或者两种异常状态指示信息,可以通过扬声器这一硬件设备播报语音来进行状态信息提示,例如,当用户面部位置处于设定3D显示观看范围下方时,可以播放“请向上方移动”或者更为简略的“上”字,来对用户进行提示,该种方式可以较为直接提示用户进行调整,不需要用户进行二次判断,提升了用户体验。
该实施例也可以被应用于图9A至9C所示的用用场景中,通过扬声器这种硬件设备播报语音来提示用户的状态信息,下面是各个状态信息对应的语音提示示例:True:"OK"或者"对",或者,Up:"Up"或者"上"。不多赘述。
在又一种可选的实施例中,显示装置可以通过内置或者外接的LED指示灯向用户传达正常状态指示信息或者两种异常状态指示信息,可以通过LED灯这一硬件设备来进行状态信息提示,可以通过闪烁不同颜色来提示正常或者异常状态信息,可以通过指示光源对用户进行提示,达到较好的提示效果。例如,当用户面部位置处于设定3D显示观看范围下方时,可以闪烁黄色指示灯,来对用户进行提示。
此外,该实施例也可以与前述的几个实施例进行组合,以获得最佳的状态信息提示效果,不多赘述。
相应的,图10是本发明实施例提供的一种显示装置的结构示意图,该实施例中的显示装置包括但不限定于智能手机、平板电脑、计算机显示器、液晶电视等具备裸眼3D显示功能的电子设备,如图10所示,该实施例中的显示装置100可以包括:
追踪单元1001,用于对用户面部信息进行追踪;
检测单元1002,用于在所述追踪单元能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;
判断单元1003,用于根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;
第一异常信息生成单元1004,用于在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
信息传递单元1005,用于向所述用户传递所述异常状态指示信息,以提示所述用户根据所述第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
在一种较佳的实施例中,所述显示装置还包括:
正常状态指示信息生成单元,在所述用户面部位于所述设定3D显示观看范围内时,生成正常状态指示信息,该正常状态指示信息用以表征所述用户面部处于所述3D显示观看范围内;
所述信息传递单元还用于:向所述用户传递所述正常状态指示信息,以提示所述用户在所述设定3D显示观看范围内观看3D图像数据。
在一种较佳的实施例中,所述显示装置还包括:
第二异常信息生成单元,用于在不能追踪到所述用户面部时,生成第二异常状态指示信息,该第二异常状态指示信息用以表征所述用户面部处于追踪范围外;
所述信息传递单元还用于:向所述用户传递所述第二异常状态指示信息,以提示所述用户根据所述第二异常状态指示信息调整其面部位置,使得所述用户的面部位置处于追踪范围内。
进一步的,所述检测单元1002进一步包括:
拍摄子单元,用于通过图像采集设备拍摄所述用户的面部图像;
计算子单元,用于根据所述面部图像,计算所述用户面部相对于3D显示装置的位置信息。
在本发明实施例中,所述第一、第二异常状态指示信息都可以包括方向图标、手势图标、面孔图标、颜色图标中的至少一种图标,均可通过软件设置进行显示,具体可参见图2-图3所示的方法实施例的描述,不多赘述。
在本发明另外的实施例中,所述第一、第二异常状态指示信息还可以包括指示灯光、提示音以及图标中的至少一种。均可通过软件设置进行显示,具体可参见图2-图3所示的方法实施例的描述,不多赘述。
在可选的实施方式中,所述最佳3D观看范围位于所述图像采集设备的设定视角划定的空间中的第一切面和第二切面之间的空间。所述设定3D观看范围为最佳3D观看范围,该最佳3D观看范围可以根据所述图像采集设备的视角划定。
在本发明另外的实施例中,所述第一异常状态指示信息通过用户模拟区域和模拟设定3D观看区域进行显示,与前述实施例类似,其中,所述用户模拟区域用于以图像方式模拟所述用户,所述模拟设定3D观看区域用于以图像方式模拟所述设定3D观看范围。该实施例可以参考图8A-8D所示,不多赘述。
通过该实施例提供的显示装置,通过显示装置关联的图像采集设备检测用户面部相对于3D显示装置的位置信息;并且根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;在所述用户面部没有位于所述设定3D显示观看范围内时,生成异常状态指示信息,并且向所述用户传递所述异常状态指示信息,以提示所述用户根据所述异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围,获得较佳的3D观看效果,改善用户体验。
相应的,如图11所示,图11是本发明实施例提供的一种显示装置的结构示意图,该实施例中的显示装置包括但不限定于智能手机、平板电脑、计算机显示器、液晶电视等具备裸眼3D显示功能的电子设备,如图11所示,该实施例中的显示装置可以包括追踪设备,处理器、存储器、显示器以及将所述追踪设备、所述存储器、所述显示器连接到所述处理器(例如通过系统总线连接);
图11中的系统存储器和大容量存储设备构成本实施例中的存储器。其中系统存储器进一步包括只读存储器ROM和随机存储器RAM,基本输入/输出系统可以存储在只读存储器ROM中;大容量存储设备用于存储操作系统、软件、数据,以及各种程序模块,例如与应用程序关联的那些程序模块。
大容量存储设备可以通过连接到系统总线的大容量存储控制器(未示出)连接到处理器。大容量存储设备以及其关联的计算机可读介质可以为计算机提供非易失性存储。
虽然对这里包含的计算机可读介质的描述涉及诸如硬盘或CD-ROM驱动器之类的大容量存储设备,但是本领域的技术人员应该明白,计算机可读介质可以是可由计算机访问的任何可用计算机存储介质。
作为示例而非限制,计算机可读介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块之类的信息或其他数据的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如,计算机可读介质包括但不限于,RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术,CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光、或其他光学存储,磁带盒、磁带、磁盘存储或其他磁存储设备,或可以用来存储所需信息并可由计算机5访问的任何其他介质。
计算机可以通过连接至总线的网络接口来连接到网络。
计算机还可以包括用于接收和处理来自包括键盘、鼠标或电子笔(未示出)的许多其他设备输入的输入/输出控制器。类似地,输入/输出控制器可以向显示器、打印机、或其他类型的输出设备(也未示出)提供输出。显示器或者可以由图形适配器或图形处理单元(也未示出)连接到总线。
特别地,在本实施例中,必须包括图像采集设备,例如摄像头,用来实时捕获图像,进而由处理器分析得到用户面部的位置信息。在不同的实施例中,可选的,显示装置还可以包括用以提示追踪状态的设备如扬声器,LED灯,振动马达等。
如上文简要地提及的,多个程序模块和数据文件可以存储在计算机的大容量存储设备和RAM中,包括适于控制显示装置正常操作的操作系统。大容量存储设备、ROM,以及RAM还可以存储一个或多个程序模块。具体地,大容量存储设备、ROM,以及RAM可以存储由处理器执行的应用程序。
其中,所述存储器中存储一组程序代码,且所述处理器用于调用所述存储器中存储的程序代码,用于执行以下操作:
通过追踪设备追踪用户面部信息;
在能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;
所述处理器根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;
所述处理在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
所述处理器向所述用户传递所述第一异常状态指示信息,以提示所述用户根据所述第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
在可能的实施方式中,处理器还调用所述存储器中存储的程序代码,在所述用户面部位于所述设定3D显示观看范围内时,生成正常状态指示信息,该正常状态指示信息用以表征所述用户面部处于所述3D显示观看范围内;通过输入/输出控制器向所述用户传递所述正常状态指示信息,以提示所述用户在所述设定3D显示观看范围内观看3D图像数据。
在可能的实施方式中,处理器还调用所述存储器中存储的程序代码,在图像采集设备不能检测到所述用户面部时,生成第二异常状态指示信息,该第二异常状态指示信息用以表征所述用户面部处于追踪范围外;通过输入/输出控制器向所述用户传递所述第二异常状态指示信息,以提示所述用户根据所述第二异常状态指示信息调整其面部位置,使得所述用户的面部位置处于追踪范围内。进一步地,图像采集设备通过图像采集设备拍摄所述用户的面部图像;处理器根据所述面部图像,计算所述用户面部相对于3D显示装置的位置信息。
更进一步的,在一种实施例中,所述第一、第二异常状态指示信息包括方向图标、手势图标、面孔图标、颜色图标中的至少一种图标。或者,两种异常状态指示信息也可以包括指示灯光、提示音以及图标中的至少一种。根据不同的异常状态指示信息显示方式,可以配置不同的硬件,例如,在配置扬声器的情况下,可以采用提示音的异常状态信息展示方式。
在本实施例中,所述设定3D观看范围为最佳3D观看范围,该最佳3D观看范围根据所述图像采集设备的视角确定。特别的,所述最佳3D观看范围位于所述图像采集设备的视角确定的空间中的两个切面之间的空间。
在另一种实施例中,所述第一异常状态指示信息通过用户模拟区域和模拟设定3D观看区域进行显示,与前述的实施例类似,其中,所述用户模拟区域用于以图像方式模拟所述用户,所述模拟设定3D观看区域用于以图像方式模拟所述设定3D观看范围。该方式可以参考图7A-图8D的阐述,不多赘述。
通过本发明实施例提供的显示装置,能够通过显示装置关联的图像采集设备检测用户面部相对于3D显示装置的位置信息;并且根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;在所述用户面部没有位于所述设定3D显示观看范围内时,生成异常状态指示信息,并且向所述用户传递所述异常状态指示信息,以提示所述用户根据所述异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围,获得较佳的3D观看效果,改善用户体验。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (19)

1.一种立体跟踪状态指示方法,其特征在于,所述方法包括:
步骤S1,追踪用户面部信息;
步骤S2,在能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;
步骤S3,根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;
步骤S4,在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
步骤S5,向所述用户传递所述第一异常状态指示信息,以提示所述用户根据所述第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
2.如权利要求1所述的方法,其特征在于,在所述步骤S3之后,还包括:
在所述用户面部位于所述设定3D显示观看范围内时,生成正常状态指示信息,该正常状态指示信息用以表征所述用户面部处于所述3D显示观看范围内;
向所述用户传递所述正常状态指示信息,以提示所述用户在所述设定3D显示观看范围内观看3D图像数据。
3.如权利要求1或2所述的方法,其特征在于,在步骤S2之后,还包括:
当不能追踪到所述用户面部时,生成第二异常状态指示信息,该第二异常状态指示信息用以表征所述用户面部处于追踪范围外;
向所述用户传递所述第二异常状态指示信息,以提示所述用户根据所述第二异常状态指示信息调整其面部位置,使得所述用户的面部位置处于追踪范围内。
4.如权利要求1-3任一项所述的方法,其特征在于,所述步骤S2进一步包括:
通过图像采集设备拍摄所述用户的面部图像;
根据所述面部图像,计算所述用户面部相对于3D显示装置的位置信息。
5.如权利要求3所述的方法,其特征在于,所述第一异常状态指示信息和所述第二异常状态指示信息包括指示光源、提示音以及图标中的至少一种。
6.如权利要求4所述的方法,其特征在于,所述设定3D观看范围为最佳3D观看范围,该最佳3D观看范围根据所述图像采集设备的视角划定。
7.如权利要求6所述的方法,其特征在于,所述最佳3D观看范围位于所述图像采集设备的设定视角划定的空间中垂直边界与竖直平面相切形成的第一切面和第二切面之间的空间。
8.如权利要求1所述的方法,其特征在于,所述第一异常状态指示信息通过用户模拟区域和模拟设定3D观看区域进行显示,其中,所述用户模拟区域用于以图像方式模拟所述用户,所述模拟设定3D观看区域用于以图像方式模拟所述设定3D观看范围。
9.如权利要求3所述的方法,其特征在于,所述第一异常状态指示信息和所述第二异常状态指示信息包括方向图标、手势图标、面孔图标、颜色图标、图片、文字中的至少一种标识。
10.一种显示装置,其特征在于,所述显示装置包括:
追踪单元,用于对用户面部信息进行追踪;
检测单元,用于在所述追踪单元能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;
判断单元,用于根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;
第一异常信息生成单元,用于在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
信息传递单元,用于向所述用户传递所述第一异常状态指示信息,以提示所述用户根据所述第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
11.如权利要求10所述的显示装置,其特征在于,还包括:
正常状态指示信息生成单元,在所述用户面部位于所述设定3D显示观看范围内时,生成正常状态指示信息,该正常状态指示信息用以表征所述用户面部处于所述3D显示观看范围内;
所述信息传递单元还用于:向所述用户传递所述正常状态指示信息,以提示所述用户在所述设定3D显示观看范围内观看3D图像数据。
12.如权利要求11或12所述的显示装置,其特征在于,还包括:
第二异常信息生成单元,用于在不能追踪到所述用户面部时,生成第二异常状态指示信息,该第二异常状态指示信息用以表征所述用户面部处于追踪范围外;
所述信息传递单元还用于:向所述用户传递所述第二异常状态指示信息,以提示所述用户根据所述第二异常状态指示信息调整其面部位置,使得所述用户的面部位置处于追踪范围内。
13.如权利要求10-12任一项所述的显示装置,其特征在于,所述检测单元进一步包括:
拍摄子单元,用于通过图像采集设备拍摄所述用户的面部图像;
计算子单元,用于根据所述面部图像,计算所述用户面部相对于3D显示装置的位置信息。
14.如权利要求12所述的显示装置,其特征在于,所述设定3D观看范围为最佳3D观看范围,该最佳3D观看范围根据所述图像采集设备的设定视角划定。
15.如权利要求14所述的显示装置,其特征在于,所述最佳3D观看范围位于所述图像采集设备的设定视角划定的空间中垂直边界与竖直平面相切形成的第一切面和第二切面之间的空间。
16.如权利要求10所述的显示装置,其特征在于,所述第一异常状态指示信息通过用户模拟区域和模拟设定3D观看区域进行显示,其中,所述用户模拟区域用于以图像方式模拟所述用户,所述模拟设定3D观看区域用于以图像方式模拟所述设定3D观看范围。
17.如权利要求12所述的显示装置,其特征在于,所述第一异常状态指示信息和所述第二异常状态指示信息包括方向图标、手势图标、面孔图标、颜色图标中的至少一种图标。
18.如权利要求12所述的显示装置,其特征在于,所述第一异常状态指示信息和所述第二异常状态指示信息包括指示灯光、提示音以及图标中的至少一种。
19.一种显示装置,其特征在于,所述显示装置包括追踪设备,处理器、存储器、显示器以及将所述追踪设备、所述存储器、所述显示器与所述处理器电连接;
其中,所述存储器中存储一组程序代码,且所述处理器用于调用所述存储器中存储的程序代码,用于执行以下操作:
通过追踪设备追踪用户面部信息;
在能够追踪到所述用户面部信息时,检测用户面部相对于3D显示装置的位置信息;
所述处理器根据所述位置信息,判断所述用户面部是否位于设定3D显示观看范围内;
所述处理在所述用户面部没有位于所述设定3D显示观看范围内时,生成第一异常状态指示信息,该第一异常状态指示信息用以表征所述用户面部处于所述设定3D显示观看范围外;
所述处理器向所述用户传递所述第一异常状态指示信息,以提示所述用户根据所述第一异常状态指示信息调整其面部位置,使得所述用户的面部位置处于所述设定3D显示观看范围内。
CN201410504748.5A 2014-09-26 2014-09-26 立体跟踪状态指示方法及显示装置 Pending CN104345885A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410504748.5A CN104345885A (zh) 2014-09-26 2014-09-26 立体跟踪状态指示方法及显示装置
US14/713,484 US20160091966A1 (en) 2014-09-26 2015-05-15 Stereoscopic tracking status indicating method and display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410504748.5A CN104345885A (zh) 2014-09-26 2014-09-26 立体跟踪状态指示方法及显示装置

Publications (1)

Publication Number Publication Date
CN104345885A true CN104345885A (zh) 2015-02-11

Family

ID=52501691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410504748.5A Pending CN104345885A (zh) 2014-09-26 2014-09-26 立体跟踪状态指示方法及显示装置

Country Status (1)

Country Link
CN (1) CN104345885A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193372A (zh) * 2017-05-15 2017-09-22 杭州隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
CN107368730A (zh) * 2017-07-31 2017-11-21 广东欧珀移动通信有限公司 解锁验证方法和装置
CN109871911A (zh) * 2017-12-04 2019-06-11 昊翔电能运动科技(昆山)有限公司 无人机监测动物健康的方法和监测动物健康的无人机
CN110908499A (zh) * 2018-09-18 2020-03-24 西安中兴新软件有限责任公司 一种3d图像显示方法和装置、及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970553A (zh) * 2011-08-31 2013-03-13 株式会社东芝 三维图像处理设备和三维图像处理方法
CN103096103A (zh) * 2011-11-04 2013-05-08 株式会社东芝 视频处理装置和视频处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970553A (zh) * 2011-08-31 2013-03-13 株式会社东芝 三维图像处理设备和三维图像处理方法
CN103096103A (zh) * 2011-11-04 2013-05-08 株式会社东芝 视频处理装置和视频处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193372A (zh) * 2017-05-15 2017-09-22 杭州隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
CN107193372B (zh) * 2017-05-15 2020-06-19 杭州一隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
CN107368730A (zh) * 2017-07-31 2017-11-21 广东欧珀移动通信有限公司 解锁验证方法和装置
CN107368730B (zh) * 2017-07-31 2020-03-06 Oppo广东移动通信有限公司 解锁验证方法和装置
CN109871911A (zh) * 2017-12-04 2019-06-11 昊翔电能运动科技(昆山)有限公司 无人机监测动物健康的方法和监测动物健康的无人机
CN110908499A (zh) * 2018-09-18 2020-03-24 西安中兴新软件有限责任公司 一种3d图像显示方法和装置、及终端

Similar Documents

Publication Publication Date Title
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
KR101930657B1 (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US20240290049A1 (en) Displaying Content in an Augmented Reality System
US20140192159A1 (en) Camera registration and video integration in 3d geometry model
US11783534B2 (en) 3D simulation of a 3D drawing in virtual reality
US11727238B2 (en) Augmented camera for improved spatial localization and spatial orientation determination
US20160227868A1 (en) Removable face shield for augmented reality device
US11562545B2 (en) Method and device for providing augmented reality, and computer program
CN104345885A (zh) 立体跟踪状态指示方法及显示装置
US20190155465A1 (en) Augmented media
KR102442637B1 (ko) 증강현실 추적 알고리즘을 위한 카메라 움직임 추정 방법 및 그 시스템
US11762618B2 (en) Immersive data visualization
US11769293B2 (en) Camera motion estimation method for augmented reality tracking algorithm and system therefor
US20190378335A1 (en) Viewer position coordination in simulated reality
CN104378621A (zh) 立体场景处理方法及装置
US20160091966A1 (en) Stereoscopic tracking status indicating method and display apparatus
CN104363435A (zh) 跟踪状态指示方法及显示装置
US20210278954A1 (en) Projecting inputs to three-dimensional object representations
JP5842634B2 (ja) 表示方法及び表示装置
WO2023209522A1 (en) Scanning interface systems and methods for building a virtual representation of a location
CN115830277A (zh) 图像处理方法和装置、电子设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180719

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen super Technology Co., Ltd.

Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen.

Applicant before: Shenzhen SuperD Photoelectronic Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150211