CN104756063A - 图像显示系统、电子设备、程序以及图像显示方法 - Google Patents

图像显示系统、电子设备、程序以及图像显示方法 Download PDF

Info

Publication number
CN104756063A
CN104756063A CN201280076821.2A CN201280076821A CN104756063A CN 104756063 A CN104756063 A CN 104756063A CN 201280076821 A CN201280076821 A CN 201280076821A CN 104756063 A CN104756063 A CN 104756063A
Authority
CN
China
Prior art keywords
viewing area
content
mark
event
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280076821.2A
Other languages
English (en)
Inventor
川松龙也
鹿刚
斋藤雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carkcho Warld Ltd
Original Assignee
Carkcho Warld Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carkcho Warld Ltd filed Critical Carkcho Warld Ltd
Publication of CN104756063A publication Critical patent/CN104756063A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1092Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing by means of TV-scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种图像显示系统,具有摄像机部和显示部,其中,所述显示部对该摄像机部拍摄的图像进行显示,所述图像显示系统具备:标识检测部,所述标识检测部检测通过所述摄像机部拍摄的图像中存在有被预先规定的标识;内容再现部,所述内容再现部在所述显示部的显示区域,对与所述标识相对应的内容进行再现;事件检测部,所述事件检测部检测是否发生了用于变更所述内容显示样式的事件;以及区域变更部,所述区域变更部将对所述内容进行再现的显示区域,变更为与检测到的事件相对应的显示区域;并且,所述内容再现部在被变更了的显示区域,对被再现了的所述内容进行再现。

Description

图像显示系统、电子设备、程序以及图像显示方法
技术领域
本发明涉及将摄像机部拍摄的图像在显示部进行显示的图像显示系统。
背景技术
近年来,正在开展将虚拟信息叠加于摄像机部拍摄的图像而进行显示的增强现实(AR;Augumented Reality)技术的开发。
具体为如下技术:在具备摄像机部以及显示部的终端装置,将摄像机部拍摄的图像在显示部进行显示,同时使文字信息等叠加于图像区域,其中,该图像区域作为检测对象的标识而从该图像中被指定(参照专利文献1~2)。
现有技术文献
专利文献
专利文献1:日本特开第2010-238096号公报
专利文献2:日本专利第3700021号公报
发明内容
发明要解决的问题
此外,对于此种技术,可以认为有以下用途,即,在由摄像机部拍摄的图像中,在以标识为基准的规定图像区域,对与该标识相对应的其他的内容(例如静止图像、动态图像等)进行再现。
具体为以下用途,即,通过摄像机部对包括预先准备的标识的区域进行拍摄,由此,在于显示部的显示区域中、以标识为基准的图像区域,对作为与该标识的对应物而获取的内容进行再现。据此,能够虚拟地制造出在现实空间中标识所在的区域对内容进行再现的情形。
不过,在这样的用途中,由于依赖于现实空间的标识而对内容进行再现,从而有可能使再现以及浏览该内容时的自由度受到阻碍。
例如,对于浏览方面需要一定以上时间的内容,为了持续地浏览内容,用户必须在现实空间通过摄像机部对包括标识的区域持续进行拍摄,而该浏览姿势等的自由度未必能说是高的。这对于提供利用增强现实技术的服务的从业人员一方来讲,有可能会在提供服务方面造成限制。
对于增强现实技术,希望在内容的再现以及浏览时,使自由度不会受到阻碍。
解决问题的技术方案
本发明的第一方面为图像显示系统,具有摄像机部和显示部,其中所述显示部对该摄像机部拍摄的图像进行显示,所述图像显示系统具备:标识检测部、内容再现部、事件检测部、以及区域变更部。
其中,在通过所述摄像机部进行的拍摄开始之后,或在该拍摄的图像于所述显示部的显示开始之后,所述标识检测部检测该拍摄的图像中存在有作为检测对象而被预先规定的标识;在通过所述标识检测部检测到标识的状态下,所述内容再现部在所述显示部的以该标识为基准而规定的显示区域,对与该标识相对应的内容进行再现;在通过所述内容再现部进行的内容再现开始之后,所述事件检测部检测对该图像显示系统,是否发生了用于变更该内容显示样式的事件;当通过所述事件检测部检测到事件发生时,所述区域变更部至少将对所述内容进行再现的显示区域,变更为与该检测到的事件相对应的显示区域。
并且,在通过所述区域变更部对所述显示区域进行变更之后,所述内容再现部在该被变更了的显示区域,对在此之前被再现了的所述内容进行再现。
在该发明中,能够将对内容进行再现的显示区域从以图像中的标识为基准的显示区域,变更至与对图像显示系统发生的事件相对应的显示区域。
这样,通过变更到与事件相对应的显示区域,能够与在此之前标识所在的显示区域没有关系地,对与该标识相对应的再现内容进行再现。由此,不必拘泥于通过摄像部是否已对包括标识的区域进行了拍摄,便能够持续对内容进行再现,因此,内容的再现及其浏览时的自由度高。
该第1方面中,可以考虑将作为检测对象的标识规定为具有特定图像特征(形状或色彩分布等)的图像区域。在此情况下,能够从摄像机部拍摄的图像中,对具有该图像特征的图像区域进行识别,并以此作为标识来进行检测。
此外,基于图像显示系统的位置或方向等信息,能够对摄像机部拍摄的图像所包括的图像区域在现实空间中的位置进行确定,如果是该情形的话,则可以考虑对包括现实空间中特定位置的图像区域(地点或者建筑物等)进行识别,并以此作为标识来进行检测。
此外,在上述方面中,在通过摄像机部进行的图像拍摄开始的时刻,或在检测到标识的时刻,会适宜地对与标识相对应的内容进行访问,并对其进行再现。此时,对内容所进行的访问,如果是存放该内容的地方便可以,可以考虑为网络上的存放处或为图像显示系统中存储部的存放处。
此外,在上述方面中,作为用于对图像显示区域进行变更的事件,例如可以考虑有:对图像显示系统进行用于指示变更显示区域的操作等。
具体地,可以考虑用于指示在不依赖于标识的显示区域进行再现的操作。在此情况下,可以考虑使上述方面的发明为如下所表示的第2方面。
在本发明的第2方面中,在通过所述内容再现部进行的内容再现开始之后,所述事件检测部以对该图像显示系统进行区域指示操作作为事件来进行检测,所述区域指示操作用于指示在不依赖于所述标识的显示区域,对所述内容进行再现;在通过所述事件检测部检测到所述区域指示操作时,所述区域变更部将对所述内容进行再现的显示区域,变更为所述显示部中不以所述标识为基准的规定显示区域。
在该发明中,在检测到区域指示操作之后,能够在不依赖于标识的显示区域对内容进行再现。因此,通过对图像显示系统进行区域指示操作,用户不必对包括标识的区域持续地进行拍摄,便能够对与该标识相对应的内容持续地进行浏览。
此外,在上述方面中,“不依赖于标识的显示区域”如果是不以在此之前的标识为基准的显示区域便可以,对于其具体的区域不进行特别的限定。
例如,可以考虑将如下区域等作为“不依赖于标识的显示区域”,即,将显示部显示区域中的规定位置作为基准的、内容再现所需要的范围的显示区域;从在此之前对内容进行了再现的显示区域、在上下左右移动了规定量后的显示区域;以及成为显示部显示区域的中心的显示区域等。
此外,对于作为检测对象而被规定的标识,当再现与该标识相对应的内容所需要的范围与所述显示部的显示区域整体为相似形状时,可以考虑将该显示区域整体作为“不依赖于标识的显示区域”。在此情况下,可以考虑使上述方面的发明为如下所表示的第3方面。
在本发明的第3方面中,当通过所述事件检测部检测到所述区域指示操作时,所述区域变更部将对所述内容进行再现的显示区域,变更为所述显示部中的显示区域整体。
如果是这样的发明,当检测到区域指示操作之后,能够在显示部中的显示区域整体对内容进行再现。因此,通过对图像显示系统进行区域指示操作,用户能够通过全屏面显示的方式持续地对与该标识相对应的内容进行浏览。
此外,在上述各方面中作为“不以标识为基准的显示区域”,可以考虑是以不同于在此之前的标识的、其他标识为基准的显示区域。在此情况下,可以考虑使上述各方面的发明为如下所表示的第4方面。
在本发明的第4方面中,在通过所述内容再现部进行的内容再现开始之后,所述事件检测部以对该图像显示系统进行标识指示操作作为事件来进行检测,所述标识指示操作用于指示将在该时刻(再现开始的时刻)作为检测对象而被规定的标识变更为其他标识;当通过所述事件检测部检测到所述标识指示操作时,所述区域变更部将对所述再现内容进行了再现的显示区域,变更为以对应该标识指示操作的标识(所述其他标识)为基准而被规定的显示区域;当接收了所述标识指示操作的所述区域变更部对所述显示区域进行变更之后,在通过所述标识检测部检测到所述其他标识的状态下,所述内容再现部在所述显示部的以该其他标识为基准而被规定的显示区域,对在此之前被再现了的所述内容进行再现。
如果是该发明的话,在检测到标识指示操作以后,能够在以对应该操作的其他标识为基准的显示区域,对内容进行再现。因此,通过对图像显示系统进行标识指示操作,用户能够在以其他标识为基准的显示区域,对与原标识相对应的内容进行浏览。
在该方面的标识指示操作中,例如,可以考虑将在该时刻(要进行标识指示操作的时刻)通过摄像机部获取的图像的一部分或者全部作为“其他标识”来进行指定,或者将特定图像作为“其他标识”而进行指定,该特定图像被存放于图像显示系统的存储部或被存放于网络等。
此外,上述图像显示系统中,将内容叠加于摄像机部拍摄的图像而实现了虚拟现实,不过为了进一步提高虚拟现实感,可以考虑对这样被再现的内容进行与图像显示系统的动作相配合的某些渲染。
作为具体例,可以考虑使上述各方面的发明为如下所表示的第5方面。
在本发明的第5方面,还具备位移检测部和方向确定部。
并且,所述位移检测部检测该图像显示系统正以一定以上的加速度向特定方向进行位移;所述方向确定部基于通过所述位移检测部检测到的位移方向、以及所述显示部的方向,对所述显示部的显示区域中、与被所述位移检测部检测到的位移方向相反的方向进行确定,其中,根据与该能够检测到的位移方向的关系而对所述显示部的方向进行规定;当通过所述内容再现部进行的内容再现开始之后,所述事件检测部将由所述位移检测部而使该图像显示系统的位移开始的动作,作为事件而进行检测;当通过所述区域变更事件检测部检测到位移开始时,所述区域变更部使对所述内容进行再现的显示区域,向在该时刻(检测到位移开始的时刻)通过所述方向确定部确定的方向,以一定量的规定速度进行位移,之后再以规定速度向原位置返回。
如果是该发明的话,能够进行如下的渲染,即,相对于图像显示系统本身的位移,使通过显示部而被再现的内容延迟地进行跟随,由此,能够进一步提高虚拟现实感。
此外,本发明的第6方面为一种电子设备,使摄像机部拍摄的图像在显示部进行显示,具备标识检测部、内容再现部、事件检测部、以及区域变更部。其中,在通过所述摄像机部进行的拍摄开始之后,或在该拍摄的图像于所述显示部的显示开始之后,所述标识检测部检测该拍摄的图像中存在有作为检测对象而被预先规定的标识;在通过所述标识检测部检测到标识的状态下,所述内容再现部在所述显示部的以该标识为基准而规定的显示区域,对与该标识相对应的内容进行再现;在通过所述内容再现部进行的内容再现开始之后,所述事件检测部检测对该电子设备,是否发生了用于变更该内容显示样式的事件;当通过所述事件检测部检测到事件发生时,所述区域变更部至少将对所述内容进行再现的显示区域,变更为与该检测到的事件相对应的显示区域。
并且,在通过所述区域变更部对所述显示区域进行变更之后,所述内容再现部在该被变更了的显示区域,对在此之前被再现了的所述内容进行再现。
如果是该电子设备的话,可以构成上述各方面的图像显示系统的一部分。
此外,在该方面中,可以构成为:通过接口对外置的摄像机部以及显示部的任一方或者两方进行有线连接或无线连接,以对其运行进行控制;或者可以构成为:作为构成要素,具备摄像机部以及显示部的任一方或者两方。
此外,本发明的第7方面为一种程序,用于使计算机作为上述各方面的任一方面所述的所有构成要素来发挥作用。
安装有该程序的计算机系统会获得与上述各方面的发明相同的作用和效果。
此外,该程序例如能够在被记录于CD-ROM或DVD等光盘、磁盘、半导体制存储器等、能够通过计算机进行读取的记录媒体的状态下,被提供给图像处理系统或者其用户。
此外,本发明的第8方面为图像显示方法,使摄像机部和该摄像机部拍摄的图像显示于至少一台计算机上,包括标识检测步骤、内容再现步骤、事件检测步骤、以及区域变更步骤。
其中,在通过所述拍摄步骤进行的拍摄开始之后,或在该拍摄的图像于所述显示步骤的显示开始之后,所述标识检测步骤检测该拍摄的图像中存在有作为检测对象而被预先规定的标识;在通过所述标识检测步骤检测到标识的状态下,所述内容再现步骤在所述显示步骤的以该标识为基准而规定的显示区域,对与该标识相对应的内容进行再现;在通过所述内容再现步骤进行的内容再现开始之后,所述事件检测步骤检测对该计算机,是否发生了用于变更该内容显示样式的事件;当通过所述事件检测步骤检测到事件发生时,所述区域变更步骤至少将对所述内容进行再现的显示区域,变更为与该检测到的事件相对应的显示区域。
并且,在通过所述区域变更步骤对所述显示区域进行变更之后,所述内容再现步骤在该被变更了的显示区域,对在此之前被再现了的所述内容进行再现。
通过这样的方法对图像进行显示的图像显示系统,会获得与上述各方面的发明相同的作用和效果。
附图说明
图1是示出图像显示系统整体构成的框图。
图2是示出内容再现处理的流程图。
图3A是示出标识例的图;图3B是示出标识以及再现显示区域的图;图3C是示出将内容叠加到标识的状态的图。
图4是示出事件处理的流程图。
图5是示出进行区域指示操作时的运行的图(1)。
图6是示出进行区域指示操作时的运行的图(2)。
图7是示出进行标识指示操作时的运行的图。
附图标记的说明
1…图像显示系统;11…控制部;13…通信部;15…存储部;
21…摄像机部;23…输入部;25…显示部;27…声音输入输出部;
31…GPS传感器;33…加速度传感器;
具体实施方式
以下参照附图对本发明的实施方式进行说明。
(1)整体构成
如图1所示,图像显示系统1具备控制部11、通信部13、存储部15、摄像机部21、输入部23、显示部25、声音输入输出部27、GPS传感器31、以及加速度传感器33等。此外,本实施方式对将图像显示系统1安装在便携电话终端的情形进行例示,但是该图像显示系统1也可以通过以下方式而实现,即,通过接口使不具备摄像机部21、显示部25以及输入部23触控面板中的任一个以上的构成要素的电子设备,与这些构成要素进行有线连接或无线连接。
其中,控制部11通过内置的微计算机和存储器对图像显示系统1整体的运行进行控制。
此外,通信部13由多个通信模块组成并对图像显示系统1的无线通信进行控制,其中,该多个通信模块对应于分别不同的通信规格(面向便携电话的通信规格、无线LAN规格、近距离无线通信规格)。
此外,输入部23包括:与显示部25的显示面一体构成的触控面板、以及设置于图像显示系统1主体的按键开关类,并通过这些来接受用户的输入操作。
此外,GPS传感器31为构成为基于来自多个GPS(GlobePositioning System)卫星的接收电波,对图像显示系统1的当前位置进行确定的传感器。
此外,加速度传感器33为构成为对施加于图像显示系统1的加速度及其方向进行检测的传感器。
(2)内容再现处理
在此参照图2说明控制部11按照存放于存储部15的应用程序所执行的内容再现处理的处理步骤。当对输入部23进行用于起动该内容再现处理的操作时,会执行该内容再现处理。
如果启动该内容再现处理,首先开始进行摄像机部21的图像拍摄和开始进行这样拍摄的图像(以下称为“拍摄图像”)于显示部25的显示(s110)。
接下来,通过通信部13对预先规定的网络上的存放处进行访问,开始获取(下载)于该存放处存放的规定内容(s120)。
此外,在此构成为:在上述s110进行的对拍摄图像的显示开始后,开始内容的获取,但是也可以构成为:在通过摄像机部21进行的拍摄开始的时刻,或在之后的处理(s140)中检测到后述标识的时刻等,开始内容的获取。
接下来,对之后的处理中作为检测对象的标识进行设定(s130)。在此,将以下元素图像在之后的处理中作为检测对象的标识而进行设定(存放于内置存储器),即,作为与在上述s120中开始获取的内容相对应的元素图像而被决定下来的规定元素图像。
接下来,检查从拍摄图像中是否检测到在上述s130中被设定的标识(s140)。在此,当拍摄图像中包括有在上述s130中作为标识而被设定的元素图像时,则判断为检测到标识。
例如,如果对将由矩形区域形成的插图的元素图像规定为标识的情形而进行例示的话(参照图3A),则检查拍摄图像中是否存在有与由该插图形成的标识相同特征(形状或色彩分布等)的图像区域,并将以下图像区域检测为标识,即,作为特征的一致度为规定阈值以上的图像区域。
上述s110中开始图像显示以后,所经过的时间在到达规定时间(成为超时)之前(s150:是),反复进行s140的检查(s150:否→s140)。
而对于该反复,当成为超时的情况下(s150:是),结束在上述s120开始的内容获取(s160),并且结束在上述s110开始的拍摄和显示(s170),之后结束该内容再现处理。
并且,在上述s160中对在此之前被获取的内容进行废弃。
另一方面,通过上述s140的检查而检测到标识时(s140:是),显示部25中以拍摄图像中的标识为基准而规定的显示区域被设定为:应该对在上述s120中开始获取的内容进行再现的显示区域(再现显示区域)(s180)。
接下来,在显示部25的显示区域中的、于上述s180中被设定的再现显示区域,对上述s120中开始获取的内容开始进行再现(s190)。
例如,与上述相同,对以下情形进行例示,即,将由矩形区域形成的插图规定为标识,而内容为应在矩形中进行再现的静止图像或动态图像的情形,在上述s180中,将该标识上的矩形区域设定为再现显示区域(参照图3B),并可以考虑在上述s190中,在此处对内容进行再现(参照图3C)。
这样在内容的再现开始后,检查对图像显示系统1是否发生了事件(s210)。在本实施方式中,将以下情形判断为事件的发生,即,对输入部23的触控面板进行了操作,或者通过加速度传感器33检测到有一定以上的加速度。
当在该s210中判断发生了事件时(s210:是),在实施了与该事件相对应的处理(事件处理)(s220)后,向下一个处理(s230)进行转移。
随后将对详细的处理进行叙述,在该事件处理中,将实施以下处理等,即,对应于发生的事件,将内容显示区域设定变更为不依赖于标识的显示区域的处理、将作为检测对象的标识设定变更为其他标识的处理、以及在内容显示区域添加作为增强现实的渲染的处理等。
另一方面,在上述s210中,如果判断为没有发生事件(s210:否),则不实施上述事件处理,而向下一个处理(s230)进行转移。
接下来,检查在该时刻(转移到s230的时刻)是否成为能够对再现显示区域进行设定的状态(s230)。
在此,在上述事件处理中,当将再现显示区域设定变更为不依赖于标识的显示区域时,以此判断为已成为能够对再现显示区域进行设定的状态。此外,在上述事件处理中,当没有将再现显示区域设定变更为不依赖于标识的显示区域时,或者当将作为检测对象的标识设定变更为其他标识时,与上述s140相同,通过检测到标识,以此来判断成为能够对再现显示区域进行设定的状态。相反的,在此情况下,如果没有检测到标识,则判断为没有成为能够对再现显示区域进行设定的状态。
在该s230中判断为能够对再现显示区域进行设定时(s230:是),则将该时刻(判断为能够进行设定的时刻)的显示区域、或者将与标识的设定状态相对应的显示区域(不依赖于标识的显示区域、基于标识的显示区域)设定为再现显示区域(s240),之后行程返回s190。
对于此时的s190,如果在后述的处理(s250)中内容的再现已被中断的话,则自该被中断的再现位置起的再现会重新开始。
在该s240中,当没有将再现显示区域设定变更为不依赖于标识的显示区域时,或当作为检测对象的标识被设定变更为其他标识时,为了与拍摄图像中标识的位置相对应地对再现显示区域进行调整,而将显示部25中、以该时刻(s240实施的时刻,即,在s230中判断为能够进行设定的时刻)的拍摄图像中的标识为基准而规定的显示区域,设定为再现显示区域。此外,当再现显示区域被设定变更为不依赖于标识的显示区域时,则不需要与拍摄图像中标识的位置相对应地,对再现显示区域进行调整,因此,在该s240中不进行任何处理。
此外,上述s230中当判断为没有成为能够对再现显示区域进行设定的状态(即,从拍摄图像中没有检测到标识)时(s230:否),上述s190中开始的内容再现会被中断(s250)。此外,当内容已经中断时,则在该s250中将维持这样中断的状态。
当内容再现的中断所维持的时间到达规定时间(成为超时)以前(s260:是),会反复进行该上述s210、s230的检查(s260:否→s210)。
而对于该反复,当成为超时的情况下(s260:是),结束在上述s190开始的内容再现(s270),在行程向s170转移并结束拍摄和显示以后(s170),结束该内容再现处理。在上述s170中对在此之前被获取的内容进行废弃。
此外,上述s270中,在该时刻(s260中成为超时判断为“是”的时刻)如果内容的获取没有结束的话,则与上述s160相同,也会结束其获取。
(2)事件处理
接下来,参照图4对内容再现处理中s220的事件处理的处理步骤进行说明。
该事件处理中,首先,对在上述s210中被判断为发生的事件是否为区域变更事件而进行检查(s310)。在此,作为对输入部23的操作,将进行以下操作判断为“区域变更事件”,即,用于指示在不依赖于标识的显示区域,对内容进行再现的区域指示操作(在本实施方式中,为不分地点而对触控面板进行一次触控的操作)。
在该s310中当判断为区域变更事件时(s310:是),则将显示部25中不以拍摄图像中的标识为基准的显示区域,设定为再现显示区域(s320)。
在此,例如以显示部25中显示区域中的规定位置为基准,将内容的再现所需要范围的显示区域设定为再现显示区域。具体地,为从在此之前的再现显示区域在上下左右移动了规定量后的显示区域,或者为:使内容位于显示部25的显示区域的中心这样的显示区域等。
此外,当内容的再现所需要的范围与显示部25的显示区域整体(用于图像显示的区域整体)为相似形状时,也可以考虑将该显示区域整体设定为再现显示区域。此外,在此情况下(为相似形状时),可构成为:作为信息,获取显示部25中的显示区域整体的形状以及内容再现所需要的显示区域的形状(如果是四角形则为长宽比),之后对两者形状的一致度进行比较,由此积极地确认两个形状是否为相似的形状。
这样,如果结束s320的话,将返回内容再现处理,进行上述s230之后的处理。
此外,在上述s210被判断为发生的事件,当不是区域变更事件时(s310:否),则检查该事件是否为标识变更事件(s330)。
在此,作为对输入部23触控面板的操作,将进行如下操作判断为“标识变更事件”,即用于指示将在该时刻(在s330中将要进行检查的时刻)作为检测对象而被规定的标识变更为其他标识的标识指示操作。
在本实施方式中,该“标识指示操作”为:例如,将在该时刻(要进行标识指示操作的时刻)拍摄的图像的一部分或者全部指定为其他标识的操作,或者为:将存放于存储部15或网络上的特定图像指定为其他标识的操作。
当在该s330中判断为标识变更事件时(s330:是),通过标识指示操作而被指定的“其他标识”会作为图像数据而被获取(s340)。
此外,在该s340中,可设定为:基于形状或色彩分布等,对能否将获取的图像数据作为标识而适当地使用进行判断,并仅在能够使用的情况下才向之后的处理进行转移。在此情况下,当判断为不能使用时,在显示部25对表示该意思的出错信息进行显示后,返回内容再现处理,并且进行上述s230之后的处理即可。
接下来,对在之后的处理中作为检测对象的标识进行设定(s350)。在此,与上述s130相同,将作为在上述s340中获取的“其他标识”的图像设定为,在之后的处理中成为来自图像中的检测对象的标识。
这样,如果结束s350的话,将返回内容再现处理,进行上述s230之后的处理。
此外,在上述s210判断为发生的事件,当不是标识变更事件时(s330:否),则检查该事件是否为渲染添加事件(s360)。在此,将以下情形判断为“渲染添加事件”,即,由加速度传感器33检测到一定以上的加速度。
当在该s360中判断为是渲染添加事件时(s360:是),则对应该添加到内容显示区域中的渲染的样式进行决定(s370)。
本实施方式中,为了添加:相对于图像显示系统1本身的位移,使再现显示区域向反方向进行位移后再返回到原位置这样的渲染,作为该渲染样式,而对使再现显示区域进行位移的方向进行决定。具体地,基于加速度传感器33检测到的加速度的方向(图像显示系统1的位移方向)、以及基于由与该位移方向的关系而规定的显示部25的方向,来确定显示部25的显示区域中与加速度传感器33检测到的位移方向相反的方向(相反位移方向)。
在此,也可以设定为:基于加速度传感器33检测到的加速度,来决定相反的位移方向并且决定向该相反的位移方向进行位移时的速度。
接下来,根据在上述s370中决定的样式,开始添加对内容的渲染(s380)。在此,开始进行用于添加以下渲染的处理,即,使再现显示区域,以一定量的规定速度向上述s370中决定的相反的位移方向进行位移,之后,再以规定的速度返回原来的位置这样的渲染。
此外,上述s370中,在决定向位移方向进行位移时的速度时,在该s380中,可以设定为使再现显示区域按照该速度进行位移。
这样,s380结束的话,返回内容再现处理,并进行上述s230之后的处理。
此外,在上述210中判断为发生的事件,当被判断为不是上述任一个事件时(s360:否),则在进行了与该事件相对应的处理(其他处理)(s380)之后,返回内容再现处理,并进行上述s230之后的处理。
(4)作用、效果
这样构成的图像显示系统1,能够将对内容进行再现的再现显示区域,从以图像中的标识为基准的显示区域,变更为与对于图像显示系统1发生的事件相对应的显示区域(s210~s240)。
这样,通过变更为与事件相对应的再现显示区域,能够与在此之前的、标识所在的显示区域没有关系地、对与该标识相对应的再现内容进行再现。由此,不必拘泥于是否通过摄像机部21对包括标识的区域进行了拍摄,便能够持续地对内容进行再现,因此内容的再现及其浏览时的自由度高。
此外,在上述构成中,在检测到区域指示操作之后(s310“是”),能够在不依赖于标识的显示区域对内容进行再现(s320)。因此,如图5所示,通过对图像显示系统1进行区域指示操作(在此为点击触控面板的操作),用户不必持续对包括标识的区域进行拍摄,便可以持续地对与该标识相对应的内容进行浏览。
此外,在上述构成中,当使内容的再现所需要的范围与显示部25的显示区域整体为相似形状时,在检测到区域指示操作以后(s310“是”),能够在显示部25的显示区域整体上对内容进行再现(s320)。因此,如图6所示,通过对图像显示系统1进行区域指示操作(同上),用户能够以全屏面显示的方式持续地对与该标识相对应的内容进行浏览。
此外,在上述构成中,当检测到标识指示操作之后(s330“是”),能够在以对应于该操作的其他标识为基准的显示区域,对内容进行再现(s340~s350→s240)。因此,如图7所示,通过对图像显示系统1进行标识指示操作(在此为对“其他标识”进行拍摄的操作),用户能够在以其他标识为基准的显示区域,对与原标识相对应的内容进行浏览。
此外,在上述构成中,当检测到渲染添加事件的发生时(s360“是”),能够进行以下渲染,即,使在显示部25正被再现的内容相对于图像显示系统1本身的位移,延迟地进行跟随,由此,能够进一步提高虚拟现实感。
(5)变形例
以上对本发明的实施方式进行了说明,但是,本发明不限于上述任何实施方式,当然在本发明所属技术范围内能够采取各种实施方式。
例如,在上述实施方式中,构成为:将作为检测对象的标识规定为具有特定图像特征的图像区域,从摄像机部21拍摄的图像,对具有该图像特征的图像区域进行识别,并以此作为标识而进行检测。
但是,作为检测对象的标识,可以构成为:基于图像显示系统1的位置(通过GPS传感器31而确定)或方向(通过加速度传感器33而确定)等信息(具体为包括“位置”、“方向”的多种信息中的1个以上),对摄像机部21拍摄的图像所包括的图像区域在实际空间中的位置进行确定,之后对包括实际空间中确定位置的图像区域(地点或建筑物等)进行识别,并以此作为标识而进行检测。在此情况下,在标识指示操作中,可以为:将地图等中的该地点或位置信息等,指定为“其他标识”。
此外,上述实施方式中,构成为:每一次内容再现处理要经由网络来获取内容。但是也可以构成为:将内容预先存放在图像显示系统1的存储部15内,以从此处进行获取。
此外,在上述实施方式中,构成为:将以下情形判断为事件的发生,即,对输入部23的触控面板进行操作、或由加速度传感器33检测到一定以上的加速度。但是也可以构成为:将这些以外的操作,或将由其他传感器类的检测结果来判断的外部环境的变化等,也判断为事件的发生,并进行与此相对应的处理(s390)。
此外,上述实施方式中,构成为:接收到渲染添加事件的发生,添加使再现显示区域相对于图像显示系统1本身的位移,延迟地进行跟随这样的渲染。但是也可以构成为:作为对内容所添加的渲染,如果是用于提高虚拟现实感的渲染即可,也可以添加除此之外的渲染。
此外,在上述实施方式中,构成为:当进行了标识指示操作时,仅将检测对象的标识设定变更为“其他标识”,而对应该再现的内容不进行变更。但是,也可以构成为:在接收到该标识指示操作时,不仅对标识进行变更,而且对内容也进行变更。为此,可以考虑如下构成,即,在上述s340中,不仅开始获取作为标识的图像,而且也开始获取与该标识相对应的内容,并对在此之前被获取的内容进行废弃。
此外,在上述实施方式中,构成为:在事件处理中,按照区域变更事件、标识变更事件、渲染添加事件这样的顺序,对事件内容进行检查,但是对该事件内容进行检查的顺序不限于该顺序。
(6)与本发明的对应关系
在上述实施方式中,内容再现处理的s140、s230为本发明的标识检测部的一例,该s190为本发明的内容再现部的一例,该s210以及事件处理的s310、s330、s360为本发明的事件检测部的一例,内容再现处理的s130、s240、以及事件处理的s320为本发明的区域变更部的一例,事件处理的s370为本发明的方向确定部的一例。

Claims (8)

1.一种图像显示系统,具备摄像机部和显示部,其中所述显示部对该摄像机部拍摄的图像进行显示,所述图像显示系统的特征在于,
具备:标识检测部、内容再现部、事件检测部、以及区域变更部,其中,
在通过所述摄像机部进行的拍摄开始之后,或在该拍摄的图像于所述显示部的显示开始之后,所述标识检测部检测该拍摄的图像中存在有作为检测对象而被预先规定的标识;
在通过所述标识检测部检测到标识的状态下,所述内容再现部在所述显示部的以该标识为基准而规定的显示区域,对与该标识相对应的内容进行再现;
在通过所述内容再现部进行的内容再现开始之后,所述事件检测部检测对该图像显示系统,是否发生了用于变更该内容显示样式的事件;
当通过所述事件检测部检测到事件发生时,所述区域变更部至少将对所述内容进行再现的显示区域,变更为与该检测到的事件相对应的显示区域,并且,
在通过所述区域变更部对所述显示区域进行变更之后,所述内容再现部在该被变更了的显示区域,对在此之前被再现了的所述内容进行再现。
2.根据权利要求1所述的图像显示系统,其特征在于,
在通过所述内容再现部进行的内容再现开始之后,所述事件检测部以对该图像显示系统进行区域指示操作作为事件来进行检测,所述区域指示操作用于指示在不依赖于所述标识的显示区域,对所述内容进行再现;
在通过所述事件检测部检测到所述区域指示操作时,所述区域变更部将对所述内容进行再现的显示区域,变更为所述显示部中不以所述标识为基准的规定显示区域。
3.根据权利要求2所述的图像显示系统,其特征在于,
对于作为检测对象而被规定的标识,当再现与该标识相对应的内容所需要的范围与所述显示部的显示区域整体为相似形状时,
当通过所述事件检测部检测到所述区域指示操作时,所述区域变更部将对所述内容进行再现的显示区域,变更为所述显示部中的显示区域整体。
4.根据权利要求1至3中任一项所述的图像显示系统,其特征在于,
在通过所述内容再现部进行的内容再现开始之后,所述事件检测部以对该图像显示系统进行标识指示操作作为事件来进行检测,所述标识指示操作用于指示将在该时刻作为检测对象而被规定的标识变更为其他标识;
当通过所述事件检测部检测到所述标识指示操作时,所述区域变更部将对所述再现内容进行了再现的显示区域,变更为以对应该标识指示操作的标识(所述其他标识)为基准而被规定的显示区域;
当接收了所述标识指示操作的所述区域变更部对所述显示区域进行变更之后,在通过所述标识检测部检测到所述其他标识的状态下,所述内容再现部在所述显示部的以该其他标识为基准而被规定的显示区域,对在此之前被再现了的所述内容进行再现。
5.根据权利要求1至4中任一项所述的图像显示系统,其特征在于,
还具备位移检测部和方向确定部,并且,
所述位移检测部检测该图像显示系统正以一定以上的加速度向特定方向进行位移;
所述方向确定部基于通过所述位移检测部检测到的位移方向、以及所述显示部的方向,对所述显示部的显示区域中、与被所述位移检测部检测到的位移方向相反的方向进行确定,其中,根据与该能够检测到的位移方向的关系而对所述显示部的方向进行规定;
当通过所述内容再现部进行的内容再现开始之后,所述事件检测部将由所述位移检测部而使该图像显示系统的位移开始的动作,作为事件而进行检测;
当通过所述区域变更事件检测部检测到位移开始时,所述区域变更部使对所述内容进行再现的显示区域,向在该检测到位移开始的时刻、通过所述方向确定部确定的方向,以一定量的规定速度进行位移,之后再以规定速度向原位置返回。
6.一种电子设备,使摄像机部拍摄的图像在显示部进行显示,其特征在于,
具备标识检测部、内容再现部、事件检测部、以及区域变更部,其中,
在通过所述摄像机部进行的拍摄开始之后,或在该拍摄的图像于所述显示部的显示开始之后,所述标识检测部检测该拍摄的图像中存在有作为检测对象而被预先规定的标识;
在通过所述标识检测部检测到标识的状态下,所述内容再现部在所述显示部的以该标识为基准而规定的显示区域,对与该标识相对应的内容进行再现;
在通过所述内容再现部进行的内容再现开始之后,所述事件检测部检测对该电子设备,是否发生了用于变更该内容显示样式的事件;
当通过所述事件检测部检测到事件发生时,所述区域变更部至少将对所述内容进行再现的显示区域,变更为与该检测到的事件相对应的显示区域;并且,
在通过所述区域变更部对所述显示区域进行变更之后,所述内容再现部在该被变更了的显示区域,对在此之前被再现了的所述内容进行再现。
7.一种程序,用于使计算机作为权利要求1至6中任一项所述的所有构成要素来发挥作用。
8.一种图像显示方法,使摄像机部和该摄像机部拍摄的图像显示于至少一台计算机上,其特征在于,
包括标识检测步骤、内容再现步骤、事件检测步骤、以及区域变更步骤,其中,
在通过所述拍摄步骤进行的拍摄开始之后,或在该拍摄的图像于所述显示步骤的显示开始之后,所述标识检测步骤检测该拍摄的图像中存在有作为检测对象而被预先规定的标识;
在通过所述标识检测步骤检测到标识的状态下,所述内容再现步骤在所述显示步骤的以该标识为基准而规定的显示区域,对与该标识相对应的内容进行再现;
在通过所述内容再现步骤进行的内容再现开始之后,所述事件检测步骤检测对该计算机,是否发生了用于变更该内容显示样式的事件;
当通过所述事件检测步骤检测到事件发生时,所述区域变更步骤至少将对所述内容进行再现的显示区域,变更为与该检测到的事件相对应的显示区域;并且,
在通过所述区域变更步骤对所述显示区域进行变更之后,所述内容再现步骤在该被变更了的显示区域,对在此之前被再现了的所述内容进行再现。
CN201280076821.2A 2012-10-31 2012-10-31 图像显示系统、电子设备、程序以及图像显示方法 Pending CN104756063A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/078192 WO2014068706A1 (ja) 2012-10-31 2012-10-31 画像表示システム、電子機器、プログラムおよび画像表示方法

Publications (1)

Publication Number Publication Date
CN104756063A true CN104756063A (zh) 2015-07-01

Family

ID=50626674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280076821.2A Pending CN104756063A (zh) 2012-10-31 2012-10-31 图像显示系统、电子设备、程序以及图像显示方法

Country Status (6)

Country Link
US (1) US20150286871A1 (zh)
EP (1) EP2916204A4 (zh)
JP (1) JP5960836B2 (zh)
CN (1) CN104756063A (zh)
HK (1) HK1209860A1 (zh)
WO (1) WO2014068706A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109752972A (zh) * 2017-11-06 2019-05-14 松下知识产权经营株式会社 再现装置、再现方法以及再现程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789473B2 (en) 2017-09-22 2020-09-29 Samsung Electronics Co., Ltd. Method and device for providing augmented reality service

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082837A (zh) * 2006-05-30 2007-12-05 三星电子株式会社 浏览图像的方法、介质和设备
JP2010238096A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、拡張現実感システム及び端末画面表示方法
CN102122392A (zh) * 2010-01-08 2011-07-13 索尼公司 信息处理设备、信息处理系统和信息处理方法
US20120032977A1 (en) * 2010-08-06 2012-02-09 Bizmodeline Co., Ltd. Apparatus and method for augmented reality
CN102547105A (zh) * 2010-10-04 2012-07-04 三星电子株式会社 生成并再现运动图像数据的方法及使用该方法的照相设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
KR100818392B1 (ko) * 2004-05-31 2008-04-02 가시오게산키 가부시키가이샤 정보수신장치, 정보전송장치, 정보수신방법 및 기록매체
US20090259204A1 (en) * 2008-04-14 2009-10-15 Shabty Galdeti Method and Device for Applying Eye Drops
US9245043B2 (en) * 2009-12-23 2016-01-26 Fuji Xerox Co., Ltd. Embedded media markers and systems and methods for generating and using them
EP2359915B1 (en) * 2009-12-31 2017-04-19 Sony Computer Entertainment Europe Limited Media viewing
US9572539B2 (en) * 2011-04-08 2017-02-21 Imactis Device and method for determining the position of an instrument in relation to medical images
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5230778B2 (ja) * 2011-07-14 2013-07-10 株式会社エヌ・ティ・ティ・ドコモ オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
JP5791433B2 (ja) * 2011-08-31 2015-10-07 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP2013186691A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像処理装置及び画像処理方法並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082837A (zh) * 2006-05-30 2007-12-05 三星电子株式会社 浏览图像的方法、介质和设备
JP2010238096A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、拡張現実感システム及び端末画面表示方法
CN102122392A (zh) * 2010-01-08 2011-07-13 索尼公司 信息处理设备、信息处理系统和信息处理方法
US20120032977A1 (en) * 2010-08-06 2012-02-09 Bizmodeline Co., Ltd. Apparatus and method for augmented reality
CN102547105A (zh) * 2010-10-04 2012-07-04 三星电子株式会社 生成并再现运动图像数据的方法及使用该方法的照相设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109752972A (zh) * 2017-11-06 2019-05-14 松下知识产权经营株式会社 再现装置、再现方法以及再现程序

Also Published As

Publication number Publication date
US20150286871A1 (en) 2015-10-08
WO2014068706A1 (ja) 2014-05-08
EP2916204A1 (en) 2015-09-09
JP5960836B2 (ja) 2016-08-02
HK1209860A1 (zh) 2016-04-08
JPWO2014068706A1 (ja) 2016-09-08
EP2916204A4 (en) 2016-06-29

Similar Documents

Publication Publication Date Title
US8769437B2 (en) Method, apparatus and computer program product for displaying virtual media items in a visual media
CN101904185B (zh) 移动虚拟和增强现实系统
US8648877B2 (en) Mobile terminal and operation method thereof
CN103177475B (zh) 一种街景地图展现方法及系统
CN101479693A (zh) 用于将数字设备与交互式显示面进行对接的方法和系统
US20070229535A1 (en) Method and apparatus for icon visual representation of a connected device
JP5675373B2 (ja) 通信システム、情報処理装置、通信プログラムおよび通信方法
KR20160135779A (ko) 하이브리드 전기통신 네트워크 접속 표시기
JP2010033358A (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
US20130022218A1 (en) Sound control apparatus, program, and control method
EP2858038A2 (en) Editing image data
CN104769937A (zh) 信息处理装置、信息处理方法和记录介质
CN104106091A (zh) 虚拟位置签到
CN101727938A (zh) 信息处理装置、信息处理方法及程序
JP6149862B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
CN105700708A (zh) 一种终端界面的调整方法及终端
CN105933772A (zh) 交互方法、交互装置以及交互系统
CN104756063A (zh) 图像显示系统、电子设备、程序以及图像显示方法
EP2793462B1 (en) Method and apparatus for video call in communication system
CN106057213A (zh) 一种显示人声音高数据的方法和装置
US20130159301A1 (en) Electronic Device, Recording Medium Management Method and Program
JP6464278B1 (ja) 端末装置、プログラム及び方法
CN109459770A (zh) 一种运动轨迹的生成方法、装置及存储介质
CN106686461A (zh) 一种多媒体文件的播放方法、装置、以及电视机
CN108958578A (zh) 文件控制方法、装置以及电子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1209860

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150701

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1209860

Country of ref document: HK