CN106030484A - 显示三维图形用户界面屏幕的方法和设备 - Google Patents

显示三维图形用户界面屏幕的方法和设备 Download PDF

Info

Publication number
CN106030484A
CN106030484A CN201580010474.7A CN201580010474A CN106030484A CN 106030484 A CN106030484 A CN 106030484A CN 201580010474 A CN201580010474 A CN 201580010474A CN 106030484 A CN106030484 A CN 106030484A
Authority
CN
China
Prior art keywords
viewpoint
user
new data
menu icon
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580010474.7A
Other languages
English (en)
Inventor
申丞镐
黄宣浩
郭永民
朴赞敏
李相暻
全海仁
柳宗烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2015/001954 external-priority patent/WO2015130137A1/en
Publication of CN106030484A publication Critical patent/CN106030484A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

一种根据用户的视点显示三维(3D)图形用户界面(GUI)屏幕的方法,该方法包括:通过设备感测用户的视点,根据感测到的用户的视点对3D GUI屏幕进行渲染,以及在所述设备的显示单元上显示渲染后的3D GUI屏幕。当用户的视点改变时,在所述3D GUI屏幕上附加地显示至少一个新对象。

Description

显示三维图形用户界面屏幕的方法和设备
技术领域
一个或多个示范性实施例涉及一种在设备上显示三维(3D)图形用户界面(GUI)屏幕的方法。
背景技术
最近,许多设备已提供三维(3D)图形用户界面(GUI)屏幕,以便用户可以更加直观和方便地使用设备。
为了显示3D GUI屏幕,对要在屏幕上显示的菜单对象进行渲染。此外,可以显示根据渲染视点在各种方向观看3D GUI屏幕中所包括的菜单对象的结果。
即,由于3D GUI屏幕的表现范围根据渲染视点而变化,因此不仅可以向用户提供更加逼真和有趣的屏幕,而且能够容易地扩展UI。
发明内容
技术问题
一个或多个示范性实施例包括通过使用设备感测用户的视点并根据感测到的视点进行渲染而在设备的屏幕上显示三维(3D)图形用户界面(GUI)屏幕的方法。
一个或多个示范性实施例包括根据是否接收到应用程序的新数据或者根据设备和用户之间的距离来显示3D GUI屏幕的方法。
解决问题的技术方案
根据一个或多个示范性实施例,一种方法包括通过设备感测用户的视点;根据感测到的用户的视点对三维(3D)图形用户界面(GUI)屏幕进行渲染;以及在该设备的显示单元上显示渲染后的3D GUI屏幕,其中,当用户的视点改变时,在该3D GUI屏幕上附加地显示至少一个新对象。
技术效果
根据本发明的一个或多个示范性实施例,可以感测用户的视点,可以根据用户的视点对3D GUI屏幕进行渲染,并且然后可以显示渲染后的3D GUI屏幕,从而向用户提供更加直观的UI体验。此外,随着用户的视点的改变,可以在3D GUI屏幕中显示新的菜单或对象,以在屏幕上显示更多的菜单或对象,从而扩展UI。此外,可以考虑用户的各种状态(例如用户相对于设备的位置,用户的手势等)对3D GUI屏幕进行渲染,从而增加用户的直观性。
此外,当应用程序接收到新数据时,可以对与该应用程序相对应的菜单图标进行3D渲染,并且可以在该菜单图标的侧面显示关于该新数据的通知。因此,用户可以确定是否接收到新数据并检查新数据的内容,而不用在屏幕之间切换。
附图说明
结合附图,根据示范性实施例的以下描述,这些和/或其它方面将变得显而易见和更加容易理解,附图中:
图1是图示根据一示范性实施例的注视移动设备的用户的图;
图2是图示根据一示范性实施例的根据用户的视点对三维(3D)屏幕中包括的对象进行渲染的方法的图;
图3A至3C是图示根据一示范性实施例的随着被显示的3D图形用户界面(GUI)屏幕的用户的视点的改变而添加新对象的处理的图;
图4A和4B是图示根据一示范性实施例的随着被显示的3D GUI屏幕的用户的视点的改变而附加地显示新菜单的处理的图;
图5是图示根据一示范性实施例的考虑用户相对于设备的位置来确定渲染视点的处理的图;
图6是图示根据一示范性实施例的根据用户的视点的改变,改变和限制渲染视点的处理的图;
图7是图示根据一示范性实施例的响应于用户的手势,显示3D GUI屏幕的方法的图;
图8是图示根据一示范性实施例的在被显示的3D GUI屏幕中的对象关于用户的触摸输入的交互的图;
图9是图示根据一示范性实施例的根据用户的视点来显示3D GUI屏幕的方法的设备的框图;
图10至12是图示根据多个示范性实施例的根据用户的视点显示3D GUI屏幕的方法的流程图;
图13是图示根据一示范性实施例的在接收到新消息时,在3D菜单图标的侧面显示关于该新消息的通知的图;
图14是图示根据另一示范性实施例的在接收到新消息时,在3D菜单图标的侧面显示关于该新消息的通知的图;
图15是图示根据一示范性实施例的在接收到新消息时,在3D菜单图标的侧面显示关于该新消息的通知的方法的流程图;
图16是图示根据另一示范性实施例的在接收到新消息时,在3D菜单图标的侧面显示关于该新消息的通知的方法的流程图;
图17A和17B是图示根据一示范性实施例的,当选择在3D菜单图标的侧面所显示的关于新消息的通知时,所显示的该新消息的全部内容的图;
图18是图示根据一示范性实施例的,当选择3D菜单图标的侧面所显示的关于新消息的通知时,所显示的预览的图;
图19和20是图示根据多个示范性实施例的选择在3D菜单图标的侧面所显示的关于新消息的通知的方法的流程图;
图21A至21C是图示根据一示范性实施例的扩展3D菜单图标和选择在该3D菜单图标的侧面所显示的关于新消息的通知的方法的图;
图22是图示根据一示范性实施例的扩展3D菜单图标和选择在该3D菜单图标的侧面所显示的关于新消息的通知的方法的流程图;
图23是图示根据一示范性实施例的移动设备的框图;
图24A和24B是图示根据一示范性实施例的基于移动设备和用户之间的距离来改变菜单图标显示方法的方法的图;
图25是图示根据一示范性实施例的基于移动设备和用户之间的距离来改变菜单图标显示方法的方法的流程图;以及
图26是图示根据另一示范性实施例的移动设备的框图。
具体实施方式
根据一个或多个示范性实施例,一种方法包括通过设备感测用户的视点;根据感测到的用户的视点对三维(3D)图形用户界面(GUI)屏幕进行渲染;以及在该设备的显示单元上显示渲染后的3D GUI屏幕,其中,当用户的视点改变时,在该3D GUI屏幕上附加地显示至少一个新对象。
现在将详细参考实施例,其示例在附图中被图示出,附图中各处相似的参考标号指代相似的元件。为了更加清楚地解释在此所阐述的示范性实施例,对于这些实施例所属的领域的普通技术人员众所周知的事情,下面将不进行详细描述。在这方面,本实施例可以具有不同的形式并且不应被解释为受限于在此阐述的描述。因此,下面通过参照附图描述示范性实施例,仅仅为了解释本描述的各方面。
图1是图示根据一示范性实施例的注视移动设备100的用户10的图。参见图1,用户10注视移动设备100的显示单元110。三维(3D)图形用户界面(GUI)屏幕显示在移动设备100的显示单元110上。移动设备100包括视点传感器120,例如,摄像头。视点传感器120感测用户10的视点11。视点传感器120可以是通常安装在平板个人计算机(PC)的彩色摄像头或者是能够测量到对象的距离的深度摄像头。
移动设备100根据通过视点传感器120感测到的用户10的视点11对3DGUI屏幕进行渲染,并在显示单元110上显示渲染后的3D GUI屏幕。即,移动设备100根据通过视点传感器120感测到的用户10的视点11确定图形流水线中的渲染视点,并对3D GUI屏幕进行渲染。
在这种情况下,对确定3D GUI屏幕的渲染视点有影响的用户10的视点11意指注视显示单元110的用户10的眼睛的方向。具体地,用户10的视点11可以被理解为由显示单元110和用户10的眼睛的方向所形成的角度。
尽管图1将移动设备100图示为平板PC,但是移动设备100可以是笔记本计算机,或智能手机。然而,示范性实施例并不受限于移动设备100,而是适用于台式PC,或电视(TV)等。
移动设备100中包括的陀螺仪传感器可以单独使用或者与摄像头一起使用,以感测用户10的视点11。
图2是图示根据一示范性实施例的根据用户的视点11对3D屏幕中包括的对象进行渲染的方法的图。参见图2,三个对象21至23在3D世界20中排成一行。
在图2中,左下图示出了用户的视点11朝向显示单元110a的前面的状态。感测用户的视点11,并基于感测到的用户的视点11确定渲染视点。由于用户的视点11朝向显示单元110a的前面,因此渲染视点被确定为朝向3D世界20的前面,并且然后根据该渲染视点对3D GUI屏幕进行渲染。因此,在排成一行的三个对象21至23中,只有最前面的对象21显示在屏幕上,而其它两个对象22和23被最前面的对象21隐藏,并且在屏幕上看不到。
在图2中,右下图示出了用户的视点11在右对角线方向上朝向显示单元110b的状态。因此,渲染视点也被确定为在右对角线方向上朝向3D空间20中的三个对象21至23。因此,所有排成一行的三个对象21至23都显示在屏幕上,尽管部分地被不同对象隐藏。
如上所述,通过感测用户的视点11、基于用户的视点11确定渲染视点、和对3D屏幕进行渲染,可以根据用户的视点11显示各种3D屏幕。
具体地,如示出了只有最前面的对象21被显示在屏幕上的图2的左下图和示出了所有三个对象21至23都被显示在屏幕上的图2的右下图所示,当用户的视点11改变时,可以将不能从之前的视点看到的新对象显示在屏幕上。
因此,包括各种菜单和对象的用户界面(UI)屏幕可以被配置,以便随着用户的视点改变,在屏幕上附加地显示新的菜单和对象,从而扩展UI。下面将参照附图详细描述其示范性实施例。
图3A至3C是图示根据一示范性实施例的随着被显示的3D GUI屏幕的用户的视点的改变而添加新对象的处理的图。
参见图3A,用户的视点11朝向移动设备100的显示单元110。移动设备100中包括的视点传感器120感测用户的视点11。然后,根据用户的视点11所渲染的3D GUI屏幕显示在显示单元110上。参见图3A,由于用户的视点11朝向显示单元110的前面,因此根据前面的渲染视点对所有菜单图标例如“三星Apps”图标31、“联系人”图标32、“S笔记”图标33和“消息”图标34进行渲染。
参见图3B,与图3A相比,用户的视点11改变为在右对角线方向上朝向显示单元110。随着如上所述用户的视点11的改变,渲染视点也改变。因此,在菜单图标31至34的后面显示并因而从显示单元110的前面看不到的新对象31a、31b、32a、32b、33a和34a被显示在屏幕上。新对象31a、31b、32a、32b、33a和34a可以分别为等效于或从属于菜单图标31至34的菜单。
例如,在“三星Apps”图标31的后面显示的对象31a和31b可以对应于由三星制造和分发的应用程序。在“联系人”图标32的后面显示的对象32a和32b可以对应于“收藏夹”和“最近的”,其为从属于“联系人”图标32的菜单。同样的,在“S笔记”图标33和“消息”图标34的后面显示的对象可以与等效于或从属于“S笔记”图标33和“消息”图标34的菜单相对应。
尽管图3B图示了随着用户的视点11的改变,要被添加的每一个新的菜单或对象在相对应的菜单图标的后面被显示为具有与用户的视点11改变之前显示在屏幕上的菜单图标中的那些相对应的菜单图标相同的大小和形状,但是新的菜单或对象可以被显示为具有各种大小和形状。具体地,可以确定图标的大小和形状,以便可以适当地显示该图标所属的菜单的特征。
即使菜单图标31至34后面的图标被其它图标隐藏并因而被部分显示,但是可以根据用户的触摸输入选择图标。即,UI可以被提供为与每个可能的用户的视点进行交互。
由于菜单图标31至34后面的对象被部分看到,因此用户将难以通过只看到部分显示的对象来识别该对象所属的菜单。为了解决这个问题,在随着用户的视点11的改变,在屏幕上附加地显示新图标时,与该新图标相对应的菜单的名称可以与该图标一起显示,或者当用户触摸图标时,可以显示与该图标相对应的菜单的名称。在3D GUI屏幕的对象中,一个对象被另一个对象部分隐藏的情况下,该对象的名称可以在该对象旁边最初地显示或者当用户触摸被部分隐藏的对象时显示。
参见图3C,与图3B中相比,用户的视点11移动到右边。随着用户的视点11移动到右边,渲染视点也被移动到右边。结果,如图3C所示,菜单图标31至34与菜单图标31至34后面的图标之间的距离增加。即,由于渲染视点也根据用户的视点11而改变,并且因此在屏幕上显示的对象的相对位置改变。如上所述,随着用户的视点11的改变,对象的位置被显示为仿佛看到真实的3D世界,并且因此,用户可以更加直观地体验移动设备100的使用。
尽管渲染视点随着用户的视点的改变而改变,但是可以防止在用户的视点的改变超出预定范围时改变渲染视点,如下面将参照图6详细描述的。
图4A和4B是图示根据一示范性实施例的随着被显示的3D GUI屏幕的用户的视点11的改变而附加地显示新菜单的处理的图。
参见图4A,用户的视点11朝向移动设备100的显示单元110的前面。移动设备100中包括的视点传感器120感测用户的视点11。根据用户的视点11所渲染的3D GUI屏幕显示在显示单元110上。参见图4A,由于用户的视点11朝向显示单元110的前面,因此根据前面的渲染视点对包括“联系人”图标41和“消息”图标42的所有菜单图标进行渲染。
参见图4B,与图4A相比,用户的视点11改变为在右对角线方向上朝向显示单元110。如上所述随着用户的视点11的改变,渲染视点也改变。因此,在屏幕上附加地显示从显示单元110的正面看不到的位于菜单图标41和42侧面的对象41a、41b、42a和42b。
即,与等效于或从属于菜单图标41和42的菜单相对应的对象被显示在菜单图标41和42的侧面。具体而言,“收藏夹”图标41a和“最近的”图标41b显示在“联系人”图标41的侧面,并且与多个被存储的消息相对应的“消息1”图标42a和“消息2”图标42b被显示在“消息”图标42的侧面。用户可以在如图4B所示的下级菜单被显示在菜单图标41和42的侧面的状态下,通过触摸输入来选择下级菜单。
尽管图4B图示了与下级菜单相对应的对象被显示在菜单图标41和42的右侧面,但是这些对象可以根据用户的视点被显示在菜单图标41和42的下侧面或上侧面。
图5是图示根据一示范性实施例的考虑用户相对于设备的位置来确定渲染视点的处理的图。
参见图5的左图50A和右图50B,由用户10的眼睛的方向和移动设备100所形成的角度是相同的,但是从移动设备100到用户10的距离是不同的(即,在左图50A中该距离为d1,而右图50B中该距离为d2)。
如上所述,尽管由用户10的眼睛的方向和移动设备100所形成的角度是相同的,但是渲染视点可能根据移动设备100和用户10之间的距离而变化。这是因为透视图根据从移动设备100到用户10的距离而变化。
因此,可以考虑由用户10的眼睛的方向和移动设备100的显示单元110所形成的角度以及从移动设备100到用户10的距离两者来确定渲染视点,由此提供更加逼真的3D屏幕。
图6是图示根据一示范性实施例的根据用户的视点的改变来改变和限制渲染视点的处理的图。
如上所述,渲染视点随着用户的视点的改变而改变。然而,当根据UI设计无需显示与超出预定范围的渲染视点相对应的屏幕时,渲染视点的改变范围可以限制在预定范围。即,当改变用户的视点超出预定范围时,可以限制渲染视点的改变。
参见图6,当注视移动设备100的用户10的视点从视点11a改变为视点11b并且最后改变为视点11c时,也应当改变渲染视点。然而,可以将渲染视点设定为保持与视点11b相对应,即使用户10的视点经过视点11b。具体而言,当用户10的视点从视点11a改变为视点11b时,也改变渲染视点,但是当用户10的视点从视点11b改变为视点11c时,保持与视点11b相对应的渲染视点。
即,控制渲染视点以便根据由移动设备的显示单元110和用户10的眼睛的方向所形成的角度的改变而改变,并且当该角度的改变超出预定范围时不再改变。
图7是图示根据一示范性实施例的响应于用户的手势输入,显示3D GUI屏幕的方法的图。上述在前的实施例与感测用户的视点和根据用户的视点改变渲染视点有关。与此相反,在图7的示范性实施例中,在确定渲染视点的过程中反映用户的手势输入。
参见图7,当用户在移动设备100的显示单元110的前面从右到左移动他/她的手输入手势时,体现为摄像头的视点传感器120感测该手势输入。然后,移动设备100通过根据该手势输入改变渲染视点来对3D GUI屏幕进行渲染,并且在显示单元110上显示渲染后的3D GUI屏幕。参见图7,在菜单图标71和72的后面附加地显示与等效于或从属于菜单图标71和72的菜单相对应的新对象71a、71b、72a和72b,作为输入用户的手势的结果。
如上所述,通过在确定渲染视点的过程中反映用户的手势输入,3D GUI屏幕可以由用户以各种方式进行操作。
可以考虑用户的视点和用户的手势输入两者或者仅根据用户的手势输入来确定渲染视点。
图8是图示根据一示范性实施例的在被显示的3D GUI屏幕中的对象关于用户的触摸输入的交互的图。
在图8中,靠上的图示出了用户的视点朝向移动设备300的前面的状态。因此,只能看到在移动设备300的显示单元310上显示的菜单图标81的前表面。当用户的视点向右移动时,在移动设备300的显示单元310上显示菜单图标81的侧面,如图8的靠下的图所示。
如上所述,当用户在渲染视点随着用户的视点的改变而改变的状态下触摸处于菜单图标81的角落时,菜单图标81关于轴82旋转。也就是说,根据与用户当前视点对应的屏幕来确定对象的交互。因此,用户能够更加直观地操作UI。
图9是图示根据一示范性实施例的被配置为根据用户的视点来进行显示3D GUI屏幕的方法的设备100的框图。参见图9,根据一示范性实施例,设备100可以包括显示单元110、控制器130、视点传感器120、渲染视点确定单元141和渲染进行单元142。
显示单元110显示3D GUI屏幕。具体而言,显示单元110经由控制器130接收通过渲染进行单元142所渲染的3D GUI屏幕,并在其屏幕上显示该3D GUI屏幕。此外,显示单元110可以接收来自用户的用于选择3D GUI屏幕中的菜单或对象的触摸输入。
视点传感器120可以感测用户注视显示单元110的视点,并将感测用户的视点的结果传输到控制器130和渲染视点确定单元141。视点传感器120可以是彩色摄像头或深度摄像头。视点传感器120可以通过测量由注视显示单元110的用户的眼睛的方向和显示单元110所形成的角度来感测用户的视点。
当视点传感器120是摄像头时,该视点传感器120可以接收用户的手势输入,并将用户的手势输入传输到渲染视点确定单元141,以便可以在确定渲染视点的过程中反映用户的手势输入。
控制器130控制设备100中包括的所有组件的操作。具体地,控制器130控制一系列处理,其中,渲染视点确定单元141根据通过视点传感器120感测到的用户的视点来确定渲染视点,并且渲染进行单元142根据该渲染视点对3D GUI屏幕进行渲染。
渲染视点确定单元141根据通过视点传感器120感测到的用户的视点来确定渲染视点。确定渲染视点的方法可以通过使渲染视点与通过视点传感器120感测到的用户的视点相等来进行,或者通过考虑用户的视点和用户的位置两者来进行。
例如,可以测量由用户的眼睛的方向和显示单元110所形成的角度并且可以将渲染视点的角度设置为与测量到的角度相等。否则,可以通过将从显示单元110到用户的距离反映在该渲染视点中来补偿根据测量到的角度而确定的渲染视点。
此外,可以通过测量用户的状态(例如用户的眼睛的方向和用户的位置)和使用基于测量用户的状态的结果的各种方法,来进行用户的视点的感测和根据用户的视点确定渲染视点。
渲染进行单元142根据通过渲染视点确定单元141确定的渲染视点对3DGUI屏幕进行渲染,并将渲染后的3D GUI屏幕传输到控制器130。控制器130在显示单元110上显示渲染后的3D GUI屏幕。
渲染进行单元142确定从通过渲染视点确定单元141所确定的渲染视点在3D GUI屏幕中要被看到的至少一个对象,并对所确定的至少一个对象进行渲染。当渲染视点根据用户的视点的改变而改变时,渲染进行单元142确定要被添加到3D GUI屏幕的至少一个新对象,并对要添加该至少一个新对象的3D GUI屏幕进行渲染。
尽管未示出,但是设备100还可以包括辅助性地用以感测用户的视点的陀螺仪传感器等。
图10至12是图示根据多个示范性实施例的根据用户的视点显示3D GUI屏幕的方法的流程图。
参见图10,在操作S1001中,设备感测用户的视点。用户的视点可以通过测量由注视显示单元的用户的眼睛的方向和显示单元所形成的角度来进行感测。
在操作S1002中,根据感测到的用户的视点对3D GUI屏幕进行渲染。然后,在操作S1003中,在显示单元上显示渲染后的3D GUI屏幕。在这种情况下,当用户的视点改变时,可以在该3D GUI屏幕上附加地显示至少一个新对象。
参见图11,在操作S1101中,设备感测用户的视点。在操作S1102中,根据感测到的用户的视点确定渲染视点。渲染视点可以通过使渲染视点与感测到的用户的视点相等来确定,或者通过考虑感测到的用户的视点和用户的位置两者来确定。
在操作S1103中,确定从所确定的渲染视点在3D GUI屏幕上要被看到的至少一个对象。具体而言,确定在从所确定的渲染视点观看的3D GUI屏幕上要被看到的至少一个对象。在操作S1104中,对所确定的至少一个对象进行渲染。然后,在操作S1105中,在显示单元上显示渲染后的3D GUI屏幕。
参见图12,在操作S1201中,设备感测用户的视点。在操作S1202中,根据感测到的用户的视点对3D GUI屏幕进行渲染。在操作S1203中,在显示单元上显示渲染后的3D GUI屏幕。
在操作S1204中,当用户的视点改变时,确定要被添加到3D GUI屏幕的至少一个对象。具体而言,当用户的视点改变时,渲染视点根据改变后的用户的视点而改变,并且确定在渲染视点改变以前看不到而从改变后的渲染视点将新看到的至少一个对象。
在操作S1205中,根据改变后的用户的视点对3D GUI屏幕进行渲染。在操作S1206中,在显示单元上显示渲染后的3D GUI屏幕。
下面将参照图13至23描述当根据示范性实施例的移动设备接收到新数据时,对接收其新数据的菜单图标进行三维(3D)渲染,并在该菜单图标的侧面显示关于该新数据的通知的方法。
图13是图示根据一示范性实施例的在接收到新消息时,在3D菜单图标的侧面显示关于该新消息的通知的图。
参见图13,移动设备100从消息管理服务器1000接收新消息。移动设备100确定接收新数据(即,新的消息)的应用程序是消息应用程序,并对与该消息相对应的菜单图标1300进行三维(3D)渲染。在3D渲染后的菜单图标1300的侧面显示关于该新数据的通知。参见图13,在关于该新消息的通知1310和1320中分别显示该新消息的发送者的名称。
图14是图示根据另一示范性实施例的在接收到新消息时,在3D菜单图标的侧面显示关于该新消息的通知的图。
参见图14,移动设备100从消息管理服务器1000接收新消息。移动设备100确定接收新数据(即,新的消息)的应用程序是消息应用程序,并对与该消息相对应的菜单图标1400进行3D渲染。在3D渲染后的菜单图标1400的侧面显示关于该新消息的通知。参见图14,在关于该新消息的通知1410和1420上部分显示新消息的内容。
尽管图13和14图示了在关于新消息的通知中显示新消息的发送者的名称或新消息的部分内容的情况,但是示范性实施例不限于此,而是关于新消息的通知可以以各种形式被显示以标识新数据。例如,可以在关于新消息的通知中显示发送者的名称和部分内容这两者。
如上所述,在接收到新数据时,对与接收新数据的应用程序相对应的菜单图标进行3D渲染,并在3D渲染后的菜单图标的侧面显示关于新数据的通知。因此,用户可以容易地确定是否接收到新数据,并检查新数据的简要内容等。
尽管上述示范性实施例中描述了新数据是消息的情况,但是示范性实施例不限于此,而是上述方法适用于应用程序接收新数据的各种情况。例如,,当移动设备100接收到指示未接来电的通知时,可以对电话的菜单图标进行3D渲染,并且可以在3D渲染后的菜单图标的侧面显示与未接来电相对应的电话号码。
图15是图示根据一示范性实施例的在接收到新数据时,在3D菜单图标的侧面显示关于该新数据的通知的方法的流程图。
参见图15,在操作S1501中,移动设备接收新数据。在这种情况下,新数据的类型可以取决于接收新数据的应用程序的类型。例如,当消息应用程序接收新数据时,该新数据可以是消息,而当电话应用程序接收新数据时,该新数据可以是指示未接来电的通知。
在操作S1502中,移动设备检测与接收新数据的应用程序相对应的菜单图标。在这种情况下,移动设备可以参考存储在移动设备的存储单元中的映射表,其中应用程序和菜单图标彼此映射。
在操作S1503中,移动设备对检测到的菜单图标进行3D渲染,并在3D菜单图标的侧面显示关于新数据的通知。在这种情况下,在3D菜单图标的侧面所显示的关于新数据的通知可以包括标识该新数据的内容。即,当新数据是例如消息时,关于新数据的通知可以包括该消息的发送者的名称、消息的部分内容等。
图15的方法可以根据应用程序的通知的设置是否被激活而被不同地配置,如下面将参照图16详细描述的。
图16是图示根据另一示范性实施例的在接收到新数据时,在3D菜单图标的侧面显示关于该新数据的通知的方法的流程图。
参见图16,在操作S1601中,移动设备接收新数据。新数据的类型可以取决于接收新数据的应用程序的类型。例如,当消息应用程序接收新数据时,该新数据可以是消息,或者当电话应用程序接收新数据时,该新数据可以是指示未接来电的通知。
在操作S1602中,移动设备确定接收新数据的应用程序的通知的设置是否被激活。例如,当消息应用程序接收新消息时,移动设备确定该消息应用程序的通知的设置是否被激活。
当确定接收新数据的应用程序的通知的设置被激活时,进行移动设备检测与接收新数据的应用程序相对应的菜单图标的操作S1603。然而,当确定接收新数据的应用程序的通知的设置没有被激活时,该方法结束。
在操作S1604中,移动设备对检测到的菜单图标进行3D渲染,并在3D菜单图标的侧面显示关于新数据的通知。在这种情况下,在3D菜单图标的侧面所显示的关于新数据的通知可以包括标识该新数据的内容。例如,当新数据是消息时,关于新数据的通知可以包括该消息的发送者的名称和消息的部分内容等。
图17A和17B是图示根据一示范性实施例的,当选择3D菜单图标的侧面所显示的关于新消息的通知时,所显示的该新消息的全部内容的图。
参见图17A,在移动设备100的显示单元110上显示应用程序的菜单图标。对在菜单图标中与消息应用程序相对应的菜单图标1700进行3D渲染并显示,并且在该菜单图标1700的侧面显示新消息的通知1710和1720。
当用户在菜单图标1700的侧面所显示的新消息的通知1710和1720中触摸并选择通知1710时,当前屏幕切换到显示与所选通知1710相对应的新消息的全部内容的屏幕。图17B中图示了显示所选通知1710的新消息的全部内容的移动设备100。
如图17B所示,当选择了新消息时,当前屏幕可以切换到显示新消息的全部内容的屏幕。然而,还可以显示所选新消息的预览,以便用户可以检查所选新消息的内容,而不用在屏幕之间切换。
图18是图示根据一示范性实施例的,当选择3D菜单图标的侧面所显示的关于新消息的通知时,所显示的预览的图。
参见图18,在移动设备100的显示单元110上显示应用程序的菜单图标,对与应用程序中的消息应用程序相对应的菜单图标1800进行3D渲染并显示,并且在该菜单图标1800的侧面显示关于新消息的通知1810和1820。
当用户通过悬浮在菜单图标1800的侧面所显示的关于新消息的通知1810和1820中选择通知1810时,在菜单图标1800的附近显示与通知1810相对应的新消息的预览。在本说明书中,术语“悬浮”应当理解为通过在预定距离内接近对象而不直接接触对象而进行的输入方式。如上所述,用户可以通过悬浮选择关于新消息的通知来观看新消息的预览,从而方便地检查新消息的内容,而不用在屏幕之间切换。
尽管上述示范性实施例中已经描述了根据消息是通过触摸关于该消息的通知还是通过悬浮来选择而显示所选消息的全部内容或预览的方法,但是可以根据触摸输入持续时间来显示消息的全部内容或预览。
例如,当关于新消息的通知被触摸较短时间时,可以如图17B所示显示新消息的全部内容,而当关于新消息的通知被触摸较长时间时,可以如图18所示显示新消息的预览。
图19和20是图示根据多个示范性实施例的选择在3D菜单图标的侧面所显示的关于新消息的通知的方法的流程图。
参见图19,在操作S1901中,移动设备接收新数据。新数据的类型可以取决于接收新数据的应用程序的类型。例如,当消息应用程序接收新数据时,该新数据可以是消息,而当电话应用程序新数据时,该新数据可以是指示未接来电的通知。
在操作S1902中,移动设备检测与接收新数据的应用程序相对应的菜单图标。在这种情况下,移动设备可以参照存储在移动设备的存储单元中的映射表,其中应用程序和菜单图标彼此映射。
在操作S1903中,移动设备对检测到的菜单图标进行3D渲染,并在3D渲染后的菜单图标的侧面显示关于新数据的通知。在这种情况下,在3D菜单图标的侧面所显示的新数据的通知可以包括标识该新数据的内容。例如,当新数据是消息时,新数据的通知可以包括该消息的发送者的名称和消息的部分内容等。
在操作S1904中,移动设备确定关于新数据的通知是通过悬浮还是根据触摸输入而被选择的。如果确定新数据的通知根据触摸输入被选择的,则进行移动设备在显示单元上显示新数据的全部内容的操作S1906。如果确定关于新数据的通知通过悬浮被选择的,则进行移动设备显示新数据的预览的操作S1905。在后一种情况下,移动设备可以在菜单图标的附近显示新数据的预览,而不用在屏幕之间切换。
参见图20,在操作S2001中,移动设备接收新数据。新数据的类型可以取决于接收新数据的应用程序的类型。例如,当消息应用程序接收新数据时,该新数据可以是消息,或者当电话应用程序接收新数据时,该新数据可以是指示未接来电的通知。
在操作S2002中,移动设备检测与接收新数据的应用程序相对应的菜单图标。在这种情况下,移动设备可以参考存储在移动设备的存储单元中的映射表,其中应用程序和菜单图标彼此映射。
在操作S2003中,移动设备对检测到的菜单图标进行3D渲染,并在3D渲染后的菜单图标的侧面显示关于新数据的通知。在这种情况下,在3D菜单图标的侧面所显示的关于新数据的通知可以包括标识该新数据的内容。例如,当新数据是消息时,关于新数据的通知可以包括该消息的发送者的名称、消息的部分内容等。
在操作S2004中,移动设备确定关于新数据的通知是否被触摸而被选择。如果确定关于新数据的通知被触摸,则进行移动设备确定关于新数据的通知是否被继续触摸了预定的时间段的操作S2005。
如果在操作S2005中确定关于新数据的通知被继续触摸了预定的时间段,则进行移动设备显示新数据的预览的操作S2006。然而,如果在操作S2005中确定关于新数据的通知没有被继续触摸预定的时间,则进行移动设备在其屏幕上显示新数据的全部内容的操作S2007。
图21A至21C是图示根据一示范性实施例的扩展3D菜单图标和选择在该3D菜单图标的侧面所显示的关于新消息的通知的方法的图。
参见图21A,在移动设备100的显示单元110上显示与应用程序相对应的菜单图标,对在菜单图标中与消息应用程序相对应的菜单图标2100进行3D渲染并显示,并且在该菜单图标2100的侧面显示关于新消息的通知2110和2120。
当用户通过悬浮选择菜单图标2100时,扩展并显示菜单图标2100。因此,用户可以更加准确地检查在菜单图标2100的侧面所显示的关于新消息的通知2110和2120,并且容易地选择通知2110和2120之一。
参见图21B,当扩展菜单图标2100时,用户可以选择在菜单图标2100的侧面所显示的关于新消息的通知2110和2120的之一。参见图21B,当关于新消息的通知2110被触摸而被选择时,可以如图21C所示在屏幕上显示与通知2110相对应的新消息的全部内容。
图22是图示根据一示范性实施例的扩展3D菜单图标和选择在该3D菜单图标的侧面所显示的关于新消息的通知的方法的流程图。
参见图22,在操作S2201中,移动设备接收新数据。新数据的类型可以取决于接收新数据的应用程序的类型。例如,当消息应用程序接收新数据时,该新数据可以是消息,或者当电话应用程序接收新数据时,该新数据可以是指示未接来电的通知。
在操作S2202中,移动设备检测与接收新数据的应用程序相对应的菜单图标。在这种情况下,移动设备可以参考存储在移动设备的存储单元中的映射表,其中应用程序和菜单图标彼此映射。
在操作S2203中,移动设备对检测到的菜单图标进行3D渲染,并在3D渲染后的菜单图标的侧面显示关于新数据的通知。在这种情况下,在3D菜单图标处所显示的关于新数据的通知可以包括标识该新数据的内容。即,当新数据是例如消息时,指示新数据的通知可以包括该消息的发送者的名称、消息的部分内容等。
在操作S2204中,移动设备确定3D渲染后的菜单图标是否通过悬浮而被选择。如果确定该菜单图标通过悬浮被选择,则进行移动设备扩展并显示所选菜单图标的操作S2205。如果确定该菜单图标没有通过悬浮被选择,则进行操作S2206。
在操作S2206中,移动设备确定关于新数据的通知是否被触摸而被选择。如果确定关于新数据的通知被触摸,则进行移动设备显示新数据的全部内容的操作S2207。
图23是图示根据一示范性实施例的移动设备100的框图。
参见图23,根据示范性实施例的移动设备100可以包括显示单元110、输入单元111、控制器130、存储单元150和通信单元160。
显示单元110被配置为显示包括应用程序的菜单图标等的UI屏幕,并且可以包括液晶显示(LCD)面板等。
输入单元111被配置为接收用户输入,并且可以包括例如触摸屏、键盘等。
控制器130被配置为控制移动设备100的各种组件的操作,并且可以包括处理器、中央处理单元(CPU)等。在参照图17A至22的上述示范性实施例中,控制器130可以进行确定和渲染,并请求显示单元110显示UI屏幕。
详细地,控制器130检测与接收新数据的应用程序相对应的菜单图标,对检测到的菜单图标进行3D渲染,在显示单元110上显示3D渲染后的菜单图标,并且在3D渲染后的菜单图标的侧面显示关于新数据的通知。
此外,控制器130可以分析经由输入单元111所接收的用户输入的类型,并控制显示单元110上显示的UI屏幕。例如,当输入单元111是触摸屏时,根据用于选择菜单图标或关于新数据的通知的用户输入是触摸输入还是悬浮输入或者根据触摸输入的持续时间,可以显示新数据的全部内容或预览或者可以扩展并显示菜单图标。
存储单元150是在其中存储数据的空间,并且可以包括存储器,例如随机存取存储器(RAM)或只读存储器(ROM)、硬盘驱动器(HDD)等。用于操作移动设备100的各种数据,并且具体地,在其中应用程序和菜单图标彼此映射的映射表,可以存储在存储单元150中。当接收到新数据时,控制器130可以基于存储在存储单元150中的映射表,检测与接收新数据的应用程序相对应的菜单图标。
通信单元160被配置为以有线/无线方式建立与外部服务器或设备的通信,并且可以包括Wi-Fi模块等。通信单元160可以从外部服务器或设备接收新数据。
移动设备100可以测量移动设备100和用户之间的距离,并基于测量到的距离来改变显示菜单图标的方法。下面将参照图24A至25描述根据各种示范性实施例的基于移动设备和用户之间的距离来改变菜单图标显示方法的方法。
图24A和24B是图示根据一示范性实施例的基于移动设备和用户之间的距离来改变菜单图标显示方法的方法的图。
参见图24A,视点传感器120,例如摄像头,测量移动设备100和用户10之间的距离d1。当距离d1超过阈值时,如图24A所示的在显示单元110所显示的UI屏幕上二维地显示所有菜单图标,该阈值是用于确定是否要改变显示菜单图标的方法的参考值。同样地,二维地显示存储新数据的应用程序的子菜单或菜单图标2410和2420。
当用户10接近移动设备100以将与移动设备100的距离减小为小于或等于该阈值时,移动设备100改变该方法,以改变在UI屏幕上显示菜单图标的方法。下面将参照图24B对其进行详细描述。
参见图24B,视点传感器120测量移动设备100和用户10之间的距离d2,并将距离d2与阈值进行比较,该阈值是用于确定是否要改变显示菜单图标的方法的参考值。如果比较结果表明距离d2小于或等于该阈值,则移动设备100检测接收到新数据的应用程序的子菜单或菜单图标2410和2420。移动设备100对检测到的菜单图标2410和2420进行3D渲染,并在3D渲染后的菜单图标2410和2420的侧面显示子菜单或关于新数据的通知2411、2412、2421和2422。
即,当用户10接近移动设备100处于预定距离内时,用户10可以通过3D渲染后的菜单图标来检查菜单图标的子菜单或新数据,而不用在屏幕之间切换。
图25是图示根据一示范性实施例的基于移动设备和用户之间的距离来改变菜单图标显示方法的方法的流程图。
参见图25,在操作S2501中,移动设备测量移动设备和用户之间的距离。可以使用安装在移动设备中的摄像头等来测量移动设备和用户之间的距离。
在操作S2502中,移动设备确定测量到的距离是否小于或等于预定的值。即,移动设备确定测量到的距离是否小于或等于阈值,该阈值是用于确定是否要改变显示菜单图标的方法的参考值。
当确定测量到的距离小于或等于阈值时,进行移动设备检测具有子菜单或新数据的菜单图标的操作S2503。当确定测量到的距离大于阈值时,结束图25的方法。
在操作S2504中,移动设备对检测到的菜单图标进行3D渲染,并在该菜单图标的侧面显示子菜单或关于新数据的通知。
图26是图示根据另一示范性实施例的移动设备100的框图。
参见图26,根据另一示范性实施例的移动设备100可以包括显示单元110、输入单元111、控制器130、存储单元150和距离测量单元170。
显示单元110被配置为显示包括应用程序的菜单图标等的UI屏幕,并且可以包括液晶显示(LCD)面板等。
输入单元111被配置为接收用户输入,并且可以包括例如触摸屏、键盘等。
距离测量单元170被配置为测量移动设备100和用户之间的距离,并且可以包括用于测量与要被拍照的对象的距离的深度摄像头等。距离测量单元120测量移动设备100和用户之间的距离并将测量距离的结果传输到控制器130。
控制器130被配置为控制移动设备100的各种组件的操作,并且可以包括处理器、CPU等。在参照图24A至25的上述示范性实施例中,控制器130可以进行确定和渲染,并请求显示单元110显示UI屏幕。
详细地,控制器130可以基于从距离测量单元120接收的测量距离的结果,控制对UI屏幕上所显示的菜单图标的渲染。例如,控制器130将测量到的距离与预定的阈值进行比较。该预定的阈值是用于确定是否要改变显示菜单图标的方法的参考值,并且必要时可以被不同地设置。当比较结果表明测量到的距离超过预定的阈值时,控制器130控制UI屏幕上的所有菜单图标被二维渲染并在显示单元110上显示。然而,当比较结果表明测量到的距离小于或等于预定的阈值时,控制器130检测具有子菜单或新数据的菜单图标。然后,控制器130对检测到的菜单图标进行3D渲染,并在每个菜单图标的侧面显示子菜单或关于新数据的通知。
存储单元150用于存储数据,并且可以包括存储器,例如RAM或ROM、HDD等。用于操作移动设备100的各种数据,并且具体地,包括彼此映射的应用程序和菜单图标的映射表,可以存储在存储单元150中。当测量到的距离小于或等于预定的阈值时,控制器130可以基于存储在存储单元150中的映射表,检测与具有子菜单或新数据的应用程序相对应的菜单图标。
如上所述,根据一个或多个上述示范性实施例,可以感测用户的视点,可以根据用户的视点对3D GUI屏幕进行渲染,并且然后可以显示渲染后的3D GUI屏幕,从而向用户提供更加直观的UI体验。此外,随着用户的视点的改变,可以在3D GUI屏幕中显示新的菜单或对象,以在屏幕上显示更多的菜单或对象,从而扩展UI。此外,可以考虑用户的各种状态(例如用户相对于设备的位置,用户的手势等)对3D GUI屏幕进行渲染,从而增加用户的直观性。
此外,当应用程序接收到新数据时,可以对与该应用程序相对应的菜单图标进行3D渲染,并且可以在该菜单图标的侧面显示关于该新数据的通知。因此,用户可以确定是否接收到新数据并检查新数据的内容,而不用在屏幕之间切换。
应当理解,其中描述的示范性实施例应当在描述性的意义上来考虑,而不是为了限制的目的。在每个示范性实施例中对特征或方面的描述通常应当被认为可用于其它示范性实施例中的其它相似特征或方面。
尽管已经参照附图描述了一个或多个示范性实施例,但是本领域普通技术人员将理解,可以对其在形式和细节上作出各种改变,而不脱离通过以下权利要求所定义的精神和范围。

Claims (15)

1.一种方法,包括:
通过设备感测用户的视点;
根据感测到的用户的视点对三维(3D)图形用户界面(GUI)屏幕进行渲染;以及
在所述设备的显示单元上显示渲染后的3D GUI屏幕,
其中,当所述用户的视点改变时,在所述3D GUI屏幕上附加地显示至少一个新对象。
2.一种设备,包括:
视点传感器,用于感测用户的视点;
渲染视点确定单元,用于根据感测到的用户的视点确定渲染视点;
渲染进行单元,用于根据所确定的渲染视点对三维(3D)图形用户界面(GUI)屏幕进行渲染;
显示单元,用于显示渲染后的3D GUI屏幕;以及
控制器,
其中,当所述用户的视点改变时,在所述3D GUI屏幕上附加地显示至少一个新对象。
3.如权利要求2所述的设备,其中,当所述用户的视点改变时,扩展并显示等效于或从属于在所述用户的视点改变之前显示在所述3D GUI屏幕上的至少一个菜单的菜单。
4.如权利要求2所述的设备,其中,所述渲染进行单元根据所确定的渲染视点确定在所述3D GUI屏幕上要被看到的至少一个对象,并对所确定的至少一个对象进行渲染。
5.如权利要求4所述的设备,其中,所述视点传感器测量由所述设备的显示单元和所述用户的眼睛的方向所形成的角度。
6.如权利要求4所述的设备,其中,所述渲染视点确定单元基于感测到的用户的视点和从所述用户输入的手势输入来确定所述渲染视点。
7.如权利要求2所述的设备,其中,当所述用户的视点改变时,所述渲染进行单元确定要被添加到所述3D GUI屏幕的至少一个新对象,并根据改变后的用户的视点对所确定的要添加的至少一个新对象的3D GUI屏幕进行渲染。
8.一种方法,包括:
通过使用设备接收新数据;
检测与接收所述新数据的应用程序相对应的菜单图标;以及
对检测到的菜单图标进行三维(3D)渲染,并在3D渲染后的菜单图标的侧面显示关于所述新数据的通知。
9.一种电子设备,包括:
显示单元,用于显示屏幕;
输入单元,用于接收用户输入;
通信单元,用于建立通信;
存储单元,用于存储数据;以及
控制器,用于控制所述电子设备的操作,
其中,当经由所述通信单元接收到新数据时,所述控制器检测与接收所述新数据的应用程序相对应的菜单图标,对检测到的菜单图标进行3D渲染,并在3D渲染后的菜单图标的侧面显示关于所述新数据的通知。
10.如权利要求9所述的设备,其中,当经由所述输入单元选择关于所述新数据的通知时,所述控制器控制所述显示单元显示所述新数据的内容。
11.如权利要求10所述的设备,其中,所述控制器确定用于选择关于所述新数据的通知的输入是触摸输入还是悬浮输入,并且当确定所述输入是触摸输入时,显示所述新数据的全部内容,而当确定所述输入是悬浮输入时,显示所述新数据的预览。
12.如权利要求10所述的设备,其中,所述控制器测量用于选择关于所述新数据的通知的触摸输入是连续输入的持续时间,将测量到的持续时间与预定的时间段进行比较,并且当所述测量到的持续时间小于所述预定的时间段时,控制所述显示单元显示所述新数据的全部内容,而当所述测量到的持续时间大于所述预定的时间段时,控制所述显示单元显示所述新数据的预览。
13.如权利要求9所述的设备,其中,当经由所述输入单元接收到用于选择3D渲染后的菜单图标的悬浮输入时,所述控制器控制所述显示单元扩展并显示所述菜单图标。
14.一种方法,包括:
通过使用设备测量所述设备和用户之间的距离;
确定测量到的距离是小于还是等于预定值;
当确定测量到的距离小于或等于所述预定值时,检测与具有子菜单或新数据的应用程序相对应的菜单图标;以及
对检测到的菜单图标进行3D渲染,并在3D渲染后的菜单图标的侧面显示所述子菜单或关于所述新数据的通知。
15.一种电子设备,包括:
显示单元,用于显示屏幕;
输入单元,用于接收用户输入;
存储单元,用于存储数据;
距离测量单元,用于测量所述电子设备和用户之间的距离;以及
控制器,用于控制所述电子设备的操作,
其中,当通过所述距离测量单元测量到的所述电子设备和用户之间的距离小于或等于预定值时,所述控制器检测与具有子菜单或新数据的应用程序相对应的菜单图标,对检测到的菜单图标进行3D渲染,并且控制所述显示单元在3D渲染后的菜单图标的侧面显示所述子菜单或关于所述新数据的通知。
CN201580010474.7A 2014-02-27 2015-02-27 显示三维图形用户界面屏幕的方法和设备 Pending CN106030484A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20140023708 2014-02-27
KR10-2014-0023708 2014-02-27
KR10-2014-0175379 2014-12-08
KR1020140175379A KR20150101915A (ko) 2014-02-27 2014-12-08 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
PCT/KR2015/001954 WO2015130137A1 (en) 2014-02-27 2015-02-27 Method and device for displaying three-dimensional graphical user interface screen

Publications (1)

Publication Number Publication Date
CN106030484A true CN106030484A (zh) 2016-10-12

Family

ID=54242926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580010474.7A Pending CN106030484A (zh) 2014-02-27 2015-02-27 显示三维图形用户界面屏幕的方法和设备

Country Status (3)

Country Link
US (1) US20160357399A1 (zh)
KR (1) KR20150101915A (zh)
CN (1) CN106030484A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038746A (zh) * 2017-03-27 2017-08-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN109918003A (zh) * 2019-01-25 2019-06-21 努比亚技术有限公司 一种应用显示切换方法、终端及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017075515A1 (en) * 2015-10-30 2017-05-04 Loji, Llc Interactive icons with embedded functionality used in text messages
ITUA20162242A1 (it) * 2016-04-01 2017-10-01 St Biochimico Italiano Giovanni Lorenzini Spa Un nuovo anticorpo anti-erbb2
ES2968143T3 (es) 2016-04-21 2024-05-08 Wayne Fueling Systems Llc Dispensadores inteligentes de combustible
US10582264B2 (en) * 2017-01-18 2020-03-03 Sony Corporation Display expansion from featured applications section of android TV or other mosaic tiled menu
US10768426B2 (en) 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US20230400960A1 (en) * 2022-06-13 2023-12-14 Illuscio, Inc. Systems and Methods for Interacting with Three-Dimensional Graphical User Interface Elements to Control Computer Operation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233496A (zh) * 2005-06-29 2008-07-30 高通股份有限公司 用于3d用户界面程序的视觉调试系统
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
US20100064259A1 (en) * 2008-09-11 2010-03-11 Lg Electronics Inc. Controlling method of three-dimensional user interface switchover and mobile terminal using the same
WO2012132201A1 (en) * 2011-03-31 2012-10-04 Sony Corporation Information processing apparatus, image display apparatus, and information processing method
CN103119628A (zh) * 2010-08-04 2013-05-22 苹果公司 利用运动特性的显示器上三维用户界面效果

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61178731A (ja) * 1985-02-05 1986-08-11 Res Dev Corp Of Japan 磁気記録媒体の製法
JP2719056B2 (ja) * 1991-08-20 1998-02-25 富士通株式会社 三次元物体描画装置
US5446842A (en) * 1993-02-26 1995-08-29 Taligent, Inc. Object-oriented collaboration system
US5608850A (en) * 1994-04-14 1997-03-04 Xerox Corporation Transporting a display object coupled to a viewpoint within or between navigable workspaces
CA2180899A1 (en) * 1995-07-12 1997-01-13 Yasuaki Honda Synchronous updating of sub objects in a three dimensional virtual reality space sharing system and method therefore
US5838973A (en) * 1996-05-03 1998-11-17 Andersen Consulting Llp System and method for interactively transforming a system or process into a visual representation
JP3709509B2 (ja) * 1996-12-04 2005-10-26 株式会社セガ ゲーム装置
US5923324A (en) * 1997-04-04 1999-07-13 International Business Machines Corporation Viewer interactive three-dimensional workspace with interactive three-dimensional objects and corresponding two-dimensional images of objects in an interactive two-dimensional workplane
GB2337435B (en) * 1998-05-14 2002-07-10 Mitel Corp 3d view of incoming communications
US6054989A (en) * 1998-09-14 2000-04-25 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which provides spatialized audio
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
KR101238608B1 (ko) * 2004-07-30 2013-02-28 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
US8717423B2 (en) * 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US20070016636A1 (en) * 2005-07-14 2007-01-18 Yahoo! Inc. Methods and systems for data transfer and notification mechanisms
US8933967B2 (en) * 2005-07-14 2015-01-13 Charles D. Huston System and method for creating and sharing an event using a social network
CN101300621B (zh) * 2005-09-13 2010-11-10 时空3D公司 用于提供三维图形用户界面的系统和方法
US7750911B2 (en) * 2006-02-21 2010-07-06 Chrysler Group Llc Pen-based 3D drawing system with 3D mirror symmetric curve drawing
KR101257849B1 (ko) * 2006-09-29 2013-04-30 삼성전자주식회사 3차원 그래픽 객체 렌더링 방법 및 장치, 이를 위한 렌더링객체 최소화 방법 및 장치
WO2008094458A1 (en) * 2007-01-26 2008-08-07 F-Origin, Inc. Viewing images with tilt control on a hand-held device
US7782319B2 (en) * 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US8314789B2 (en) * 2007-09-26 2012-11-20 Autodesk, Inc. Navigation system for a 3D virtual scene
US8416152B2 (en) * 2008-06-11 2013-04-09 Honeywell International Inc. Method and system for operating a near-to-eye display
CN102105854A (zh) * 2008-10-30 2011-06-22 夏普株式会社 便携信息终端
US9520040B2 (en) * 2008-11-21 2016-12-13 Raytheon Company System and method for real-time 3-D object tracking and alerting via networked sensors
US8645871B2 (en) * 2008-11-21 2014-02-04 Microsoft Corporation Tiltable user interface
US20100275122A1 (en) * 2009-04-27 2010-10-28 Microsoft Corporation Click-through controller for mobile interaction
EP2439934A4 (en) * 2009-06-05 2014-07-02 Lg Electronics Inc IMAGE DISPLAY DEVICE AND METHOD OF OPERATING IT
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
KR101393942B1 (ko) * 2010-01-29 2014-06-30 주식회사 팬택 이동 단말기 및 이동 단말기를 이용한 정보 표시 방법
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US8581905B2 (en) * 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
JP5598703B2 (ja) * 2010-05-25 2014-10-01 株式会社セガ プログラム、ゲーム装置及びその制御方法
US8730267B2 (en) * 2010-06-21 2014-05-20 Celsia, Llc Viewpoint change on a display device based on movement of the device
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
WO2012015106A1 (ko) * 2010-07-24 2012-02-02 Chung Hyun In 인테그럴 포토그라피 기술을 응용한 인터레이스 패턴구조 및 입체영상 장치
US9035944B2 (en) * 2010-08-06 2015-05-19 Intergraph Corporation 3-D model view manipulation apparatus
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
JP5664036B2 (ja) * 2010-09-07 2015-02-04 ソニー株式会社 情報処理装置、プログラム及び制御方法
WO2012036324A1 (ko) * 2010-09-13 2012-03-22 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US20120124477A1 (en) * 2010-11-11 2012-05-17 Microsoft Corporation Alerting users to personalized information
JP5742187B2 (ja) * 2010-11-26 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
KR101852428B1 (ko) * 2011-03-09 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 3d객체 제어방법
US8769422B2 (en) * 2011-05-10 2014-07-01 Echostar Technologies L.L.C. Apparatus, systems and methods for facilitating social networking via a media device
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
KR20130030406A (ko) * 2011-09-19 2013-03-27 엘지전자 주식회사 이동 단말기
US9791922B2 (en) * 2011-10-13 2017-10-17 Panasonic Intellectual Property Corporation Of America User interface control device, user interface control method, computer program and integrated circuit
WO2013067392A1 (en) * 2011-11-02 2013-05-10 Hendricks Investment Holdings, Llc Device navigation icon and system, and method of use thereof
US9898852B2 (en) * 2011-11-15 2018-02-20 Trimble Navigation Limited Providing a real-time shared viewing experience in a three-dimensional modeling environment
US9442517B2 (en) * 2011-11-30 2016-09-13 Blackberry Limited Input gestures using device movement
WO2013081435A1 (ko) * 2011-12-02 2013-06-06 엘지전자 주식회사 3d 영상 표시 장치 및 방법
JP5954982B2 (ja) * 2011-12-21 2016-07-20 キヤノン株式会社 眼科装置および制御方法並びに制御プログラム
US20150154798A1 (en) * 2011-12-30 2015-06-04 Google Inc. Visual Transitions for Photo Tours Between Imagery in a 3D Space
US8767040B2 (en) * 2012-01-11 2014-07-01 Google Inc. Method and system for displaying panoramic imagery
US9075451B2 (en) * 2012-02-24 2015-07-07 Blackberry Limited Handheld device with notification message viewing
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US9904457B2 (en) * 2012-04-25 2018-02-27 Nokia Technologies Oy Causing display of a three dimensional graphical user interface with dynamic selectability of items
CN104364754A (zh) * 2012-06-12 2015-02-18 索尼公司 信息处理设备、信息处理方法及程序
US9069455B2 (en) * 2012-06-22 2015-06-30 Microsoft Technology Licensing, Llc 3D user interface for application entities
US10554608B2 (en) * 2013-02-28 2020-02-04 Oath Inc. Method and system for displaying email messages
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
US10067634B2 (en) * 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
KR20150034062A (ko) * 2013-09-25 2015-04-02 삼성전자주식회사 동일한 그룹의 데이터를 라우팅하는 방법 및 장치, 렌더링 유닛을 재구성하는 방법 및 장치
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
AU2014334870B2 (en) * 2013-10-17 2019-06-13 Children's Healthcare Of Atlanta, Inc. Methods for assessing infant and child development via eye tracking
US10242400B1 (en) * 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
US11250615B2 (en) * 2014-02-21 2022-02-15 FLIR Belgium BVBA 3D bottom surface rendering systems and methods
US10852428B2 (en) * 2014-02-21 2020-12-01 FLIR Belgium BVBA 3D scene annotation and enhancement systems and methods
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
JP6906898B2 (ja) * 2016-03-10 2021-07-21 キヤノン株式会社 眼科撮影装置
WO2017179722A1 (ja) * 2016-04-15 2017-10-19 パナソニックIpマネジメント株式会社 画像処理装置及び撮像装置
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
CN107193372B (zh) * 2017-05-15 2020-06-19 杭州一隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
KR102304225B1 (ko) * 2017-05-23 2021-09-23 한국전자통신연구원 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
JP2019185114A (ja) * 2018-04-02 2019-10-24 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、表示制御方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233496A (zh) * 2005-06-29 2008-07-30 高通股份有限公司 用于3d用户界面程序的视觉调试系统
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
US20100064259A1 (en) * 2008-09-11 2010-03-11 Lg Electronics Inc. Controlling method of three-dimensional user interface switchover and mobile terminal using the same
CN103119628A (zh) * 2010-08-04 2013-05-22 苹果公司 利用运动特性的显示器上三维用户界面效果
WO2012132201A1 (en) * 2011-03-31 2012-10-04 Sony Corporation Information processing apparatus, image display apparatus, and information processing method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038746A (zh) * 2017-03-27 2017-08-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN107038746B (zh) * 2017-03-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN109918003A (zh) * 2019-01-25 2019-06-21 努比亚技术有限公司 一种应用显示切换方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
KR20150101915A (ko) 2015-09-04
US20160357399A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
CN106030484A (zh) 显示三维图形用户界面屏幕的方法和设备
US11698706B2 (en) Method and apparatus for displaying application
US10387016B2 (en) Method and terminal for displaying a plurality of pages,method and terminal for displaying a plurality of applications being executed on terminal, and method of executing a plurality of applications
RU2679540C2 (ru) Обнаружение жеста панорамирования и выбора
US10275113B2 (en) 3D visualization
EP2954387B1 (en) Digital device for recognizing double-sided touch and method for controlling the same
US8966387B2 (en) Method and apparatus for managing icon in portable terminal
US10126914B2 (en) Information processing device, display control method, and computer program recording medium
KR101412419B1 (ko) 개선된 사용자 인터페이스 기능을 갖는 이동통신 단말과 사용자 인터페이스 제공 방법
JP6198745B2 (ja) 接触制御をアンロックするための接触制御端末、方法及びデバイス
EP2560086B1 (en) Method and apparatus for navigating content on screen using pointing device
US20130147793A1 (en) Mobile terminal and controlling method thereof
EP2757459A1 (en) Apparatus and method for an adaptive edge-to-edge display system for multi-touch devices
KR20140030379A (ko) 단말의 표시 제어 방법 및 그 단말
KR20110037657A (ko) 모션을 이용한 gui 제공방법 및 이를 적용한 디스플레이 장치
CN104238887B (zh) 常用应用程序的图标查找方法和装置
US9477398B2 (en) Terminal and method for processing multi-point input
US9377944B2 (en) Information processing device, information processing method, and information processing program
US20150116239A1 (en) Moving an image displayed on a touchscreen of a device having a motion sensor
EP2290515A2 (en) Apparatus and method for providing GUI-interacting according to recognized user approach
CN104808936A (zh) 界面操作方法与应用该方法的便携式电子装置
KR20160031397A (ko) 어플리케이션 선택 화면을 통해 어플리케이션들을 실행하는 방법 및 장치
US20140089845A1 (en) Apparatus and method capable of switching displayed pictures
EP3271806B1 (en) Method for controlling notification and electronic device thereof
US10289293B2 (en) Method and apparatus for adjusting a graphical object according to operator preference

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012