CN105739224A - 图像投影装置、对话方式输入系统 - Google Patents

图像投影装置、对话方式输入系统 Download PDF

Info

Publication number
CN105739224A
CN105739224A CN201510953934.1A CN201510953934A CN105739224A CN 105739224 A CN105739224 A CN 105739224A CN 201510953934 A CN201510953934 A CN 201510953934A CN 105739224 A CN105739224 A CN 105739224A
Authority
CN
China
Prior art keywords
image
user
projected picture
picture
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510953934.1A
Other languages
English (en)
Inventor
长尾壮史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN105739224A publication Critical patent/CN105739224A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/228Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及图像投影装置和对话方式输入系统,其目的在于,提供一种能够在多名利用者交替使用坐标输入装置从不同方向在投影到桌面上的投影画面上描写文字等时,从便于描写文字且便于其他利用者观看的方向来投影所描写的文字的图像投影装置。作为图像投影装置,投影仪(100)具备:输入用户方向检测部(126),用于根据从电子笔(200)输入的位置坐标,检测用电子笔(200)输入位置坐标的用户所处的用户方向;以及,画面转动判断部(123),用于判断所述利用者是否正在进行位置坐标的输入作业,还判断是否用影像编辑部(124)按照输入用户方向检测部(126)检测到的用户所处的用户方向来转动投影画面(10)。

Description

图像投影装置、对话方式输入系统
技术领域
本发明涉及图像投影装置和对话方式输入系统(交互系统)。
背景技术
现有技术提出了一种关于对话方式输入(交互)功能的技术方案,该对话方式输入功能可以用电子笔等坐标输入装置或手指等,在投影仪等图像投影装置的投影画面上描绘文字图案,或者操作发送图像信号的计算机等外设。
例如,专利文献1(JP特许4006290号公报)公开了一种具备对话方式输入功能的图像投影装置(背面投影显示装置)。
该图像投影装置可用来一边看着投影图像一边移动坐标输入装置,根据坐标输入装置的坐标位置的移动轨迹,来输入投影画面上的坐标信息,操作与该图像投影装置相连接的外设或用外设在投影画面上描绘。
但是以往,这种一边看着投影图像一边操作坐标输入装置的图像投影装置,在围绕被作为投影面的桌子表面有多名用户等利用者用坐标输入装置从不同方向描写文字等的情况下,桌面上的投影画面中会发生以下问题。
例如,多名利用者从不同方向交替地在桌面的投影画面上描写文字,在这种情况下,不同利用者描写文字的角度会有所不同,而配合已经输入了的文字的方向描写也非常不容易。
发明内容
鉴于上述问题,本发明提供一种图像投影装置,其中具备利用以下各部的对话方式输入功能,包括:
图像输入部,用于输入图像信号;
图像处理部,用于对用所述图像输入部输入的图像信号实施加工处理后转换为投影信号;以及,
投影部,用于投影经过所述图像处理部转换的所述投影信号,
其特征在于,进一步具备以下各部:
对话方式信息通信部,用于与向所述图像输入部输出图像信号的外设或用来输入关于所述投影部投影的投影画面上的位置的坐标信息的坐标输入装置通信,收发关于所述对话方式输入功能的信息;
利用者方向检测部,用于根据从所述坐标输入装置输入的位置坐标,检测用所述坐标输入装置输入位置坐标的利用者所处的利用者方向,该利用者方向以被投影了所述投影画面的投影对象的位置为基准;以及,
投影画面转动判断部,用于判断所述利用者是否正在进行位置坐标的输入作业、以及是否用所述图像处理部,按照所述利用者方向检测部检测到的所述利用者所处的利用者方向来转动投影画面。
本发明的效果在于,本发明提供的图像投影装置在多名利用者交替地用坐标输入装置,从不同方向在投影到桌面上的投影画面上描写文字等时,能够从便于描写文字而且便于其他利用者观看所写文字的方向来投影。
附图说明
图1是本发明的一种实施方式涉及的采用投影仪的图像投影系统的示意图。
图2是多名利用者使用投影到办公桌等桌面上的投影图像的示意图。
图3是用来说明专利文献2公开的图像投影装置的示意图。
图4是投影仪的硬件结构模块图。
图5是本实施方式涉及的图像投影系统的功能模块图。
图6是图像投影系统的交互功能的基本时序图。
图7是实施例1的转动投影画面时的处理流程图。
图8是检测将要进行文字等输入的用户所处的方向即检测用户方向的检测方法示意图。
图9是一例判断用户方向时使用的坐标区域表的示意图。
图10是转动投影画面时电子笔的状态示意图。
图11是实施例2的投影画面转动处理流程图。
图12是实施例3关于转动投影画面时的转动中心的示意图。
图13是实施例4的投影画面转动处理流程图。
图14本实施例4在有两名用户同时使用电子笔200时的转动投影画面10的转动量的示意图。
具体实施方式
以下描述采用对话方式输入系统的图像投影系统的一种实施方式,该对话方式输入系统具备利用本发明的图像投影装置即投影仪(投影仪100)。
首先利用附图描述本实施方式的图像投影系统的基本结构以及动作。
图1是本实施方式涉及的采用投影仪100的图像投影系统1的示意图。图2是多名利用者使用投影到办公桌等桌面上的投影图像的示意图。
本实施方式的图像投影系统1包括图像投影装置及投影仪100、向投影仪100输出需要投影的影像(图像)信息的外设即计算机300、以及坐标输入装置(定点设备)即电子笔200。电子笔200与投影仪100之间以无线22连接。计算机300与投影仪100之间以视频线21(例如HDMI(注册商标)线)、以及USB有线缆线或无线23连接。投影仪100经由视频线21,例如如图2所示,与用电子笔200前端指定的、离开一定距离的投影画面10上的位置相对应的计算机300的显示器上的位置上,经过必要的图像处理之后,重叠投影光标的影像。近年来如图2所示,用户L、R、C等多名利用者用投影仪100等装置,围绕办公桌50讨论,用电子笔200等在投影到办公桌50等桌面上的投影画面10上描写文字等,这样的开会方式逐渐增加。
用具备这种交互功能的投影仪100等开会,有利于加深多名利用者之间的交流理解,同时还有助于提高开会效率。
而且近年来,利用装置小型化得到改善的投影仪100等可携带图像投影装置,能够在某个置有办公桌等桌面上投影图像,而不需要摄影有专用设备的会议室等,使得图像投影装置的机动性和性价比得到进一步改善。
但是,现有的具备对话方式输入功能的图像投影装置,在被投影到办公桌等桌面上的投影画面上投影投影图像,多名利用者用坐标输入装置,从多个不同方向在该投影画面上输入(描写)文字等时,存在以下问题。
例如,多名利用者从不同方向交替地在桌面上的投影画面上描写文字等,进行坐标输入,则投影画面上显示的文字各自的的角度互不相同,而配合投影画面朝向输入坐标也十分困难。
为了解决上述问题,曾经考虑让围绕桌子等的多名用户各自持有使得桌面上的投影画面转动的开关等,响应开关操作,写入文字等的投影画面发生转动。但是这样会降低用户利便性。
另外,专利文献2(JP特开2011-113128号公报)是与本发明相关技术方案,该方案公开了一种用对话方式输入功能(手绘输入方式)来显示在投影图像上手写输入信息的图像投影装置(投影显示装置)。图3是用来说明专利文献2公开的图像投影装置的示意图,图中的名称及标记有所改动。
如图3所示,多名利用者(输入者)围绕的办公桌等桌面上放置平板电脑500,该平板电脑500的显示部510(副画面)上的位置坐标与图像投影装置400的投影画面410(主画面)上的位置坐标相关联。
检测用来写入文字等的笔接触到平板电脑500的点和显示部510上形成的手的影子,通过连接该影子中与笔的接触点相距最远的点的线,判断利用者所在方向,使得显示部510上显示的画面(显示信息)转动。
但是,该图像投影装置400并未构成为能够转动投影到桌子上的投影画面,而且除了图像投影装置400以外,还需要准备具备显示部510的平板电脑500,因此会降低性价比。
对此,本发明人探讨了提供一种可在投影到桌面上的投影画面上输入文字并具备交互功能的图像投影装置可能性。
该图像投影装置在多名利用者用电子笔200等坐标输入装置,从不同方向在投影到桌面上的投影画面上描写文字等时,能够从便于描写文字而且便于其他利用者观看所写文字的方向来投影。具体来说,投影仪100在位于该投影仪100的正面和左右两侧的用户用电子笔200输入文字等的时刻,将投影画面10转向用户方向,输入结束后,返回原来的画面,成为通常情况下的正面投影。
以下利用附图描述投影仪100的硬件构成。
图4是投影仪100的硬件结构模块图。
主控制部110包括中央运算装置即CPU111、非易失性存储器即ROM112、易失性存储器RAM113等。CPU111执行投影仪100的动作控制程序。ROM112用来保存CPU111执行的程序以及执行程序所要的各种数据等,RAM113用来作为CPU111的工作区域等。
主控制部110连接USB接口端口115、电源控制部130、电源131、影像信号接收部141、影像信号处理部142、无线通信单元143、操作接收部144、照明控制部150、照明灯151、光学部152、以及冷却扇160。
USB接口端口115是外设等的USB缆线的接口。
电源控制部130用于控制电源131,电源131向投影仪100各部提供电源。
影像信号接收部141具有各种影像输入类别(例如D-Sub、HDMI、录像等)的影像信号端口,影像信号处理部142接收从各影像信号端口输入的影像信号并对这些影像信号进行处理。
无线通信单元143用来接收电子笔200发送的测定信息,或者与计算机300之间收发有关对话方式输入系统的信息(以下称为交互相关信息或交互功能相关信息)。
操作接收部144用于接收用户即操作者的操作,具有操作键等。
照明控制部150用来控制照明灯。照明灯151是投影图像的光源。
光学部152用来制作并放大投影影像,其中具有投影透镜、如果是DLP(DigitalLightProcessing,注册商标)投影机,则还具有数字微镜器件(DMD)以及彩轮等。
冷却扇160用来冷却投影仪100装置主机内部。
加速度传感器170用来检测投影仪100的设置角度。
以下利用附图描述投影仪100、计算机300以及电子笔200在本实施方式的图像投影系统1中各自起到的作用。
图5是本实施方式涉及的图像投影系统1的功能模块图。
投影仪100
影像输入部121用来接收经由HDMI或VGA的视频线21或网络输入的影像(图像)信号。
影像编辑部124用来施加投影图像的编辑处理和加工处理,并将影像信号转换为投影信号。上述编辑处理是指对影像输入部121接收的影像信号等进行变倍等。上述加工处理是指图案信息的合成处理等,该图案信息用来测定下述电子笔200指定的投影画面10上的位置坐标。
投影部122用来向外部投影经过影像编辑部124加工处理和转换的投影信号。
位置坐标计算部125用来根据收到的电子笔200的测定信息,计算由电子笔200的笔尖指定的投影画面10上的位置坐标,具体为计算由电子笔200具有的透镜251的光轴所指的投影画面10上的位置坐标。
交互通信部129用于投影仪100与电子笔200或计算机300之间收发有关交互功能的信息。
PC操作信息转换部127用来将位置坐标计算部125求出的电子笔200指定的投影画面10上的位置坐标或电子笔200的键状态信息转换为计算机300的操作信息。而后用交互通信部129将经过转换的信息送往计算机300。
输入用户方向检测部126用于根据电子笔200指定(确定)的投影画面上的位置坐标的值,检测进行位置坐标输入的用户所处的利用者方向即用户方向。
画面转动判断部123用来判断(决定)用户是否正在实行文字输入等作业、是否用影像编辑部124按照输入用户方向检测部126检测到的用户方向转动投影画面10。
画面转动位置决定部128用来在投影画面10发生转动时,将用电子笔200输入的投影画面10上的任意坐标位置定为转动投影画面时的转动中心位置。
交互通信部229用于电子笔200与投影仪100之间收发有关交互功能的信息。
位置信息测定部225用于测定电子笔200指定的埋在投影画面10的位置上图案信息(图像),而后使用交互通信部229将该信息送往投影仪100。
计算机300
交互通信部329用于与投影仪10之间收发有关交互功能的信息。
操作部323按照计算机300的操作键或从投影仪100收到的PC操作信息,实现计算机300自己的操作。
影像输出部322用于向显示器或投影仪100等外部显示装置输出计算机的影像。投影机100、电子笔200以及计算机300通过以下将要以图6描述的基本时序来实现交互功能(对话方式输入功能)。
图6是图像投影系统1的交互功能的基本时序图。
如图1所示,用视频线21(例如HDMI)将计算机300连接到投影仪100上后,该计算机300向投影仪100输出影像信号(S101)。
投影仪100通过HDMI缆线等视频线21从计算机300输入影像信号后,将唯一确定电子笔200指定的位置上的图案信息附加到影像(图像)信号上,实行影像投影(S102)。
电子笔200测定投影画面10上操作者用该电子笔200指定的位置坐标的信息(S103),将该测定信息与操作键的操作信息一起送往投影仪100(S104)。投影仪100根据从电子笔200收到的测定信息,计算操作者用电子笔200在投影画面上当前指定的位置坐标(S105)。而后,投影仪100将求出的位置坐标和电子笔200操作键的操作信息转换到计算机操作信息(S106),并送往计算机(S107)。
计算机300根据收到的计算机操作信息实行操作(S108),即反映作为响应计算机300状态的鼠标移动或点击、触摸之类的操作。此时,如果计算机300一方描绘功能有效,则能够描绘文字或图形。
以下通过多个实施例来说明本实施方式的图像投影系统1的特征。
实施例1
在此,用附图说明本实施方式的投影仪100转动投影画面10的实施例1的构成。
首先用图7描述本实施方式的转动投影画面10的处理流程。
图7是本实施方式的转动投影画面10时的处理流程图。
交互通信部129从电子笔200收到测定信息(S201)。而后,位置坐标计算部125根据收到的测定信息,计算电子笔200当前指定的投影画面10上的位置坐标(S202)。
而后,画面转动判断部123判断是否是尚未检测到用户方向的新用户(S203)。具体为开始利用交互功能功能,在检测到最初的位置坐标以及经过一定时间后检测到坐标的情况下,判断有新用户开始使用。
如果判断是新用户时(S203的是),输入用户方向检测部126计算该用户所在的用户方向,相反,如果判断不是新用户时(S203的否),则跳过用户方向计算进入下一个步骤。
而后,画面转动判断部123判断电子笔200的操作键是否受到按动(S205)。
如果电子笔200的操作键受到按动(S205的是),则画面转动判断部123判断用户将用电子笔200描写文字,需要转动投影画面10。而后起到画面转动部作用的影像编辑部124对影像信号实施转动编辑处理,并转换为投影信号,将投影画面10转向用户方向(S206)。
相反,如果电子笔200的操作键未受到按动(S205的否),则进一步判断投影画面10转动是否结束(S207)。如果投影画面10转动已经结束(S207的是),则判断用户结束描绘,通过影像编辑部124,结束对影像信号施加的投影画面10转动的编辑处理,返回投影画面10原来的方向(朝向)(S208)。
简而言之,画面转动判断部123判断用户是否正在进行位置坐标的输入作业以及影像编辑部124是否按照输入用户方向检测部126检测到的用户所处的方向即用户方向来转动。
以下参考图8描述本实施例中输入用户方向检测部126检测用户面对的方向即用户朝向的方法。
图8是检测将要进行文字等输入的用户所处的方向即检测用户方向的检测方法示意图。
例如如图8所示,当位于图中投影画面10右侧的用户开始用电子笔200在投影画面10上描写文字时,该用户通过图中斜线阴影区域上方,开始用电子笔200向着投影画面10描写。
为此,在检测到新用户时,只要检测到用电子笔200测定并输入的位置坐标是对应投影画面10附近的左/右/前/后端的那一个区域中的值,便能够判断(确定)用户方向。
在此,参考图9具体描述用电子笔输入的位置坐标为投影画面10的那一个区域中的值,用以判断用户方向。
图9是一例判断用户方向时使用的坐标区域表。
如图9所示,用来判断用户方向的坐标区域表意用户方向、X坐标、Y坐标构成,被指定的X坐标和Y坐标的区域与用户方向相关联。
通过检测用户开始描写(即开始输入位置坐标)时,用电子笔200输入的位置坐标是那一个区域中的值,输入用户方向检测部126便能检测(决定)用户方向。
以下参考图10描述电子笔200在转动投影画面10时的状态。
图10是转动投影画面10时电子笔200的状态示意图。其中(a)是在用户开始用电子笔200描写文字时,(b)是用户用电子笔200描写文字时,(c)是用户结束描写文字后。
例如如图10中的(a)所示,位于右方的用户用电子笔200开始描写时,对影像信号实行编辑处理,将影像信号反时针转动90度,使投影画面10转动到图10中的(b)所示。这样通过转动,投影画面10正向面对用户,便于用户描写文字。而后,用户的文字描写结束后,投影画面10被转回到如图10中的(c)所示的原来的朝向,这样便于其他用户观看。
上述本实施例的投影仪100具备输入用户方向检测部126,用来根据指定投影画面10上位置的电子笔200输入的坐标位置,来检测输入文字等的用户所处的方向即用户方向。而且投影仪100还具备画面转动判断部123,用来判断用户是否将要进行文字输入等作业、影像编辑部124是否按照输入用户方向检测部126检测到的用户方向来转动投影画面10。
上述投影仪100具有以下效果。
在一般情况下,用户在投影到桌子50桌面上的投影画面10上开始文字等输入时,从自己身体附近的位置朝投影画面10上的区域移动坐标输入装置即电子笔200,为此,电子笔200需要经过投影画面10周围某一端附近的区域上方。这样,电子笔200输入的位置坐标便成为用户所在的投影画面10一端附近的区域中的值。这样,输入用户方向检测部126通过检测用户开始进行文字等输入时电子笔200输入的位置坐标是投影画面10的哪一端的区域中的值,便能够检测到实行文字输入等的用户的用户方向。
而后,当画面转动判断部123判断用户正在进行文字输入等作业,并按照检测到的用户方向转动投影画面10时,例如,投影部122能够将投影画面10转动到正向面对实行作业的用户。上述转动便于实际操作的用户实行文字输入等作业。
如此,本实施例的投影仪100在多名用户交替使用电子笔200,从不同方向,在投影到办公桌50上的投影画面10上描写文字等时,能够向不仅便于描写而且便于其他用户观看的方向投影描写的文字。
上述本实施例的投影仪100在转动投影画面10时,用影像编辑部124对影像信号进行编辑处理,改变影像信号的倍率,使得经过转动的投影画面10能够全部进入办公桌等桌面(表面)上的投影区域。
实施例2
以下用附图说明本实施方式的投影仪100转动投影画面10的实施例2的构成。
在此,本实施例与上述实施例1的不同之处仅在于,本实施例在用来描述实施例1的图7所示的“判断是否是新用户”(S203)之前增加是否实行桌面投影的判断,即判断投影仪100是否在办公桌等桌面上投影。
本实施例的描述中不再重复与实施例1相同的构成以及效果。
图11是本实施例转动投影画面10的处理流程图。
如图11所示,本实施例的处理流程在实行是否检测到新用户的判断(S303)的前一步骤中,加入投影仪100的投影是否是桌面投影的判断(S310)。
这是为了,如果投影仪100的投影不是桌面投影(S310的否),而是在会议室等的墙壁或屏幕上的图象投影,便能够判断不存在围绕投影画面10进行文字输入等的多名用户。
为此,如果投影仪100的投影是桌面投影(S310的是),则与实施例1的描述中使用的图7相同,进一步判断是否是为检测到用户方向的新用户(S303)。
在此用画面转动判断部123判断投影仪100的设置状态是否是桌面投影。
具体为,画面转动判断部123根据加速度传感器170检测到的投影仪100的设置角度(姿势),来判断投影仪100的设置状态是否是桌面投影。
上述本实施例的投影仪100中,画面转动判断部123在投影画面10位被投影到桌面上时,判断部进行投影画面10的转动。
上述构成具有以下效果。
按照投影仪100的设置状态,在利用交互功能时,画面转动判断部123能够自动判断是否需要转动投影画面10,提高了用户便利性。
实施例3
以下用附图说明本实施方式的投影仪100转动投影画面10的实施例3的构成。
在此,本实施例与上述实施例1以及实施例2的不同之处仅在于转动投影画面10时该投影画面10上的转动中心。
为此,本实施例的描述中不再重复与实施例1以及实施例2相同的构成以及效果。
图12是本实施例关于转动投影画面10时的转动中心的示意图。
如上所述,在实施例1和2转动投影画面10时,通过影像编辑部124实行编辑处理,改变影像信号的倍率,而后转换成投影信号,使得桌面上的投影区域包含整个投影画面10。
但是,例如对纵横比不是1对1的长方形桌面的整个区域上的投影画面10,以投影画面10的画面中心为中心、并以上述相同的纵横比进行90度左转或90度右转时,投影画面10缩小。如此投影画面10变小可能会对文字等描写造成困难。
而如果在不改变投影倍率的情况下转动90度,则用户需要进行文字输入等的画面部分可能会被投影到桌面的长方形区域以外。
具体如下。如图12中的(a)所示,在纵横比不是1对1的长方形办公桌50上投影长方形投影画面10,投影画面10的短边长度与办公桌50的短边长度一致,而长边长度则小于办公桌50的长边长度。
对该投影画面10实行与实施例1和2同样的变倍后,逆时针转动90度投影,得到的投影画面10如图12中的(b)所示,投影画面10的长边长度与办公桌50的短边长度相同,投影画面10被缩小。
另一方面,与实施例1和2不同,不实行变倍,直接逆时针转动90度投影,则得到的投影画面10如图12中的(c)所示,投影画面10的长边两端的投影画面部分被投影到办公桌50的短边两端以外。
对此,本实施例的投影仪100将电子笔200输入的任意点(位置坐标)设为转动投影画面10的转动中心(位置),通过影像编辑部124实施编辑处理,转动影像信号,进而转换为投影信号。
投影仪100具备用来决定转动中心的画面转动位置决定部128。
上述构成使得如图12中的(d)所示,虽然会有一部分投影画面10被投影到办公桌50以外(被剪掉),但却能够避免缩小画面和难以描写文字。
这样,通过画面转动位置决定部128决定以用户需要描写文字等的位置坐标为转动投影图象10时的转动中心,能够较大地投影需要输入的图象部分,提高交互功能的性能。
实施例4
以下用附图说明本实施方式的投影仪100转动投影画面10的实施例4的构成。
在此,本实施例与上述实施例1至3的不同之处仅涉及转动投影画面10时的投影画面转动量。
为此,本实施例的描述中不再重复与实施例1相同的构成以及效果。本实施例的特征性构成也适用于实施例1至3,以下描述的本实施例适用于实施例1的一个例子,但是,本实施例的特征性构成同样适用于实施例1至3中任意一个实施例。
图13是本实施例转动投影画面10的处理流程图。图14是本实施例在有两名用户同时使用电子笔200时转动投影画面10的转动量的示意图。图14中的(a)是在前的文字输入时的投影画面10的转动状态,(b)是之后进行文字输入时投影画面10的转动状态。
本实施例的投影仪100的处理流程在实施例1(实施例2)的图7(图11)所示的、判断电子笔200的操作键受到按动(S205的是)之后,增加了一个步骤,在该步骤中判断其他用户方向的转动是否结束。
具体如图13所示,在判断电子笔200的操作键受到按动(S405的是)之后,增加判断其他用户方向的转动是否结束的步骤(S410)。
而后,如果判断转动尚未结束(S410的否),则与实施例1(实施例2)相同,通过影视编辑部124对影像信号施加转动投影画面10的编辑处理,而后将影像信号转换为投影信号,使得投影画面10转向用户方向(S416)。
相反,如果判断转动已经结束(S410的是),则通过影视编辑部124对影像信号施加将投影画面10转向两个用户方向之间的中间方向的编辑处理,而后将影像信号转换为投影信号,使得投影画面10转向两个用户方向之间的中间方向(S417)。
如上所述,通过将投影画面1转向中间方向,例如,在位于图8右方的用户在先进行文字输入时,投影画面10转动到如图14中的(a)所示,此时的投影画面10的转动状态为文字的底边方向位于图中的右方。
之后,图8中位于前方的用户进行文字输入时,投影画面10转动到如图14中的(b)所示,此时的投影画面10的转动状态为文字的底边与办公桌50的前方的边之间以45度交叉。
这样,通过将投影画面10转动到转动位置,投影画面10位于双方用户均便于描写文字的画面位置上。
如上所述,本实施例的投影仪100在用户方向不同的两名用户同时使用电子笔200时,通过画面转动判断部123将投影画面10转向两名用户所在的用户方向之间的中间位置方向。
通过上述转动,用户方向不同的两名用户同时使用电子笔200时,将投影画面10转动到该两名用户所在的用户方向的中间位置,使得投影画面10处在两名用户均方便文字等输入的画面位置,有利于使用性能的提高。
本实施方式以本发明适用于图像投影系统1为例进行了描述,该图像投影系统1包括作为图像投影装置可在屏幕或室内墙壁上投影图像的可携带式投影仪100、电子笔200、计算机300。
但是,本发明的构成并不受上述构成限制,还可以适用于具备除电子笔200以外的其他如指定棒、光标器之类构成坐标输入装置的图像投影系统。
另外,在本实施方式的描述中将本发明适用于具备电子笔200的图像投影系统,该电子笔200用来测定埋入在投影到投影画面10上的投影图像中的图案信息并输入投影画面10上的位置坐标。
但是,本发明的构成并不受上述构成限制,还可以适用于例如,具备用其他方式输入投影画面10上的位置坐标的坐标输入装置的图像投影系统。
简而言之,只要不脱离本发明宗旨,本发明可以适用于各种图像投影装置、图像投影系统以及对话方式输入系统。
以上描述的实施例只是一些个例,实际上,本发明所具有的以下各种方式各具特有的效果。
<方式A>
一种图像投影装置,如投影仪100,具备利用以下各部的交互功能等对话方式输入功能,包括:图像输入部,如用于输入影像信号等图像信号的影像输入部121等;图像处理部,如用于对用所述图像输入部输入的图像信号实施加工处理后转换为投影信号的影像编辑部124等;以及,投影部,如用于投影经过所述图像处理部转换的所述投影信号的投影部122等,其特征在于,进一步具备以下各部:对话方式信息通信部,如用于与向所述图像输入部输出图像信号的计算机300等外设或用来输入关于所述投影部投影的投影画面10等投影画面上位置的坐标信息的电子笔200等坐标输入装置通信,收发关于所述对话方式输入功能的信息的交互方式通信部129等;利用者方向检测部,如用于根据从所述坐标输入装置输入的位置坐标,检测用所述坐标输入装置输入位置坐标的用户等利用者所处的用户方向等利用者方向的输入用户方向检测部126等,该用户方向等利用者方向以被投影了投影画面10等所述投影画面的办公桌50表面等投影对象的位置为基准;以及,投影画面转动判断部,如用于判断所述利用者是否正在进行位置坐标的输入作业、以及是否用所述图像处理部,按照所述利用者方向检测部检测到的所述利用者所处的利用者方向,来转动投影画面10等投影画面的画面转送判断部123等。
如上述实施方式所述,<方式A>具有以下效果。
通常在开始输入被投影到办公桌50表面等上的投影画面上的位置坐标时,利用者从自己身体附近的位置起向投影画面上的区域内移动坐标输入装置,为此,坐标输入装置需要通过投影画面周围某一端附近的区域。这样,坐标输入装置输入的位置坐标便成为利用者所处的投影画面一端附近区域内的值。因此,利用者方向检测部只要检测利用者开始输入位置坐标时用坐标输入装置输入的位置坐标是投影画面哪一端附近的区域内的值,便能够检测到利用者所处的利用者方向。
而后,投影画面转动判断部在判断利用者将要实行位置坐标输入作业,且投影画面按照检测到的利用这方向转动时,例如可用投影画面转动部将投影画面转动到正向面对利用者。经过这样转动的投影画面,便于利用者输入位置坐标。
相反,投影画面转动判断部在判断利用者输入作业结束等未实行位置坐标输入作业,且投影画面不需要按照检测到的利用者方向转动时,可以例如将投影画面转动到例如其他利用者也容易观看的基准转动位置。
综上所述,本方式提供的图像投影装置在多名利用者交替使用坐标输入装置,从不同方向在投影到桌面上的投影画面上描写文字等时,能够从便于描写而且便于其他利用者观看的方向来投影所写文字。
<方式B>
根据方式A的图像投影装置,其特征在于,在未在办公桌50上等桌面上投影投影画面10等投影画面的情况下,画面转动判断部123等所述投影画面转动判断部判断不进行投影画面转动。
如上述实施方式所述,<方式B>具有以下效果。
在按照投影仪100等图像投影装置的设置状态,利用交互功能等对话方式输入功能时,用来判断是否需要转动投影画面的投影画面转动判断部能够自动判断,提高了用户等利用者的使用便利性能。
<方式C>
根据方式A或B的图像投影装置,其特征在于,进一步具备如画面转动位置决定部128等画面转动位置决定部,用于将用电子笔200等所述坐标输入装置输入的投影画面10等投影画面上任意的位置坐标设定为投影画面转动时的转动中心位置。
如上述实施方式所述,<方式C>具有以下效果。
例如在将投影画面投影到如办公桌50等纵横比不是1对1的长方形卓面的整个区域上时,如果以该桌面的纵横比围绕投影画面中心转动90度投影整个投影画面,则需要缩小投影画面。而如果不改变投影倍率将投影画面转动90度,则用户等利用者需要的输入位置坐标的画面部分可能会被投影到长方形桌面以外部分。
对此,本方式用画面转动位置决定部,将利用者输入的位置坐标作为转动投影画面时的转动中心位置,从而能够较大地投影需要的输入图像部分,提高交互功能等对话方式输入功能的性能。
<方式D>
根据方式A至方式C中任意一项所述的图像投影装置,其特征在于,在所述利用者方向不同的两名用户等利用者同时使用电子笔200等所述坐标输入装置的情况下,画面转动判断部123等所述投影画面转动判断部将所述投影画面转向该两名利用者各自所处的用户方向等利用者方向之间的中间方向。
如上述实施方式所述,<方式D>具有以下效果。
本方式在利用者方向不同的两名利用者使用坐标输入装置时,用投影画面转动判断部将投影画面转向两名利用者各自所处的利用者方向之间的中间位置,使得投影画面转动到双方利用者均便于描写文字等的画面位置,提高图像投影装置的使用性能。
<方式E>
一种对话方式输入系统,如交互系统等,其中具备:图像投影装置,用于投影影像等图像;坐标输入装置,如用于在该投影装置投影的投影画面10等投影画面上输入任意位置坐标的电子笔200等;以及,外设,如用来向所述图像投影装置输出需要投影的图像信号的计算机300等,并具有对话方式输入功能,利用该对话方式输入功能,能够根据所述坐标输入装置接触或指定的投影画面上的位置坐标,对所述外设实行操作,其特征在于,所述图像投影装置为方式A至方式D中任意一项记载的投影仪100等的图像投影装置。
如上述实施方式所述,<方式E>具有以下效果。
本方式能够提供起到上述<方式A>至<方式D>中任意一种图像投影装置所具有的效果的对话方式输入系统。

Claims (5)

1.一种图像投影装置,具备利用以下各部的对话方式输入功能,包括:
图像输入部,用于输入图像信号;
图像处理部,用于对用所述图像输入部输入的图像信号实施加工处理后转换为投影信号;以及,
投影部,用于投影经过所述图像处理部转换的所述投影信号,
其特征在于,进一步具备以下各部:
对话方式信息通信部,用于与向所述图像输入部输出图像信号的外设或用来输入关于所述投影部投影的投影画面上的位置的坐标信息的坐标输入装置通信,收发关于所述对话方式输入功能的信息;
利用者方向检测部,用于根据从所述坐标输入装置输入的位置坐标,检测用所述坐标输入装置输入位置坐标的利用者所处的利用者方向,该利用者方向以被投影了所述投影画面的投影对象的位置为基准;以及,
投影画面转动判断部,用于判断所述利用者是否正在进行位置坐标的输入作业、以及是否用所述图像处理部,按照所述利用者方向检测部检测到的所述利用者所处的利用者方向来转动投影画面。
2.根据权利要求1所述的图像投影装置,其特征在于,在未在桌面上投影投影画面的情况下,所述投影画面转动判断部判断不进行投影画面转动。
3.根据权利要求1或2所述的图像投影装置,其特征在于,进一步具备画面转动位置决定部,用于将用所述坐标输入装置输入的投影画面上任意的位置坐标设定为投影画面转动时的转动中心位置。
4.根据权利要求1至3中任意一项所述的图像投影装置,其特征在于,在所述利用者方向不同的两名利用者同时使用所述坐标输入装置的情况下,所述投影画面转动判断部将所述投影画面转向该两名利用者各自所处的利用者方向之间的中间方向。
5.一种对话方式输入系统,其中具备:
图像投影装置,用于投影图像;
坐标输入装置,用于在该投影装置投影的投影画面上输入任意位置坐标;以及,
外设,用来向所述图像投影装置输出需要投影的图像信号,
并具有对话方式输入功能,利用该对话方式输入功能,能够根据所述坐标输入装置接触或指定的投影画面上的位置坐标,对所述外设实行操作,
其特征在于,所述图像投影装置为权利要求1至4中任意一项记载的图像投影装置。
CN201510953934.1A 2014-12-25 2015-12-17 图像投影装置、对话方式输入系统 Pending CN105739224A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014262331A JP2016122345A (ja) 2014-12-25 2014-12-25 画像投影装置、及び対話型入出力システム。
JP2014-262331 2014-12-25

Publications (1)

Publication Number Publication Date
CN105739224A true CN105739224A (zh) 2016-07-06

Family

ID=55070695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510953934.1A Pending CN105739224A (zh) 2014-12-25 2015-12-17 图像投影装置、对话方式输入系统

Country Status (4)

Country Link
US (1) US20160191875A1 (zh)
EP (1) EP3037936B1 (zh)
JP (1) JP2016122345A (zh)
CN (1) CN105739224A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108093232A (zh) * 2017-11-08 2018-05-29 歌尔科技有限公司 一种悬挂式投影仪分屏显示的方法、装置和悬挂式投影仪

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3159171B1 (en) * 2015-10-21 2023-06-07 Canon Production Printing Netherlands B.V. A printing system having an attached local user interface
JP2018054880A (ja) * 2016-09-29 2018-04-05 セイコーエプソン株式会社 表示装置、情報処理装置および情報処理方法
JP6903935B2 (ja) * 2017-02-17 2021-07-14 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
JPWO2019058788A1 (ja) * 2017-09-19 2020-11-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007510966A (ja) * 2003-11-07 2007-04-26 三菱電機株式会社 表示面上の位置を求める方法及び対話型ディスプレイシステム
CN101796474A (zh) * 2007-09-04 2010-08-04 佳能株式会社 图像投影设备及其控制方法
US20110169737A1 (en) * 2010-01-12 2011-07-14 Nintendo Co., Ltd. Storage medium having information processing program stored therein, information processing apparatus, and information processing system
US20130070232A1 (en) * 2011-09-15 2013-03-21 Funai Electric Co., Ltd. Projector

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006290B2 (ja) 2002-07-30 2007-11-14 キヤノン株式会社 座標入力装置、座標入力装置の制御方法、プログラム
JP2011113128A (ja) 2009-11-24 2011-06-09 Sharp Corp ペンタブレット入力装置及びそれを用いた入力方法
US9836200B2 (en) * 2014-03-15 2017-12-05 Evgene FAINSTAIN Interacting with electronic devices using a single-point gesture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007510966A (ja) * 2003-11-07 2007-04-26 三菱電機株式会社 表示面上の位置を求める方法及び対話型ディスプレイシステム
CN101796474A (zh) * 2007-09-04 2010-08-04 佳能株式会社 图像投影设备及其控制方法
US20110169737A1 (en) * 2010-01-12 2011-07-14 Nintendo Co., Ltd. Storage medium having information processing program stored therein, information processing apparatus, and information processing system
US20130070232A1 (en) * 2011-09-15 2013-03-21 Funai Electric Co., Ltd. Projector

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108093232A (zh) * 2017-11-08 2018-05-29 歌尔科技有限公司 一种悬挂式投影仪分屏显示的方法、装置和悬挂式投影仪

Also Published As

Publication number Publication date
EP3037936A3 (en) 2016-10-19
EP3037936B1 (en) 2019-06-26
EP3037936A2 (en) 2016-06-29
JP2016122345A (ja) 2016-07-07
US20160191875A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
TWI423096B (zh) 具可觸控投影畫面之投影系統
CN105739224A (zh) 图像投影装置、对话方式输入系统
US8593402B2 (en) Spatial-input-based cursor projection systems and methods
US7134078B2 (en) Handheld portable user device and method for the presentation of images
US20070115254A1 (en) Apparatus, computer device, method and computer program product for synchronously controlling a cursor and an optical pointer
US20140300542A1 (en) Portable device and method for providing non-contact interface
US20090091532A1 (en) Remotely controlling computer output displayed on a screen using a single hand-held device
US20120229428A1 (en) Portable and interactive presentation and documentation system
JP2011203830A (ja) 投写システム及びその制御方法
JP6035971B2 (ja) 情報処理装置、プログラム及び画像処理システム
US20150160738A1 (en) Keyboard projection system with image subtraction
WO2016147629A1 (ja) プロジェクターおよび表示制御方法
CN103150059B (zh) 电子系统与轨迹检测方法
CN100504576C (zh) 光标与光学投影同步操作的装置、方法
JP4455185B2 (ja) プレゼンテーションシステム及びその制御方法並びにプログラム及び記憶媒体
CN105677061A (zh) 图像投影装置以及对话方式输入系统
US10795467B2 (en) Display device, electronic blackboard system, and user interface setting method
CN201556194U (zh) 一种互动操作输入系统
JP2009238004A (ja) ポインティングデバイス
US20110244442A1 (en) Video whiteboard apparatus and method
CN209168073U (zh) 一种非接触式虚拟触控装置
CN104777900A (zh) 一种基于手势趋势的图形界面响应方法
US20170083105A1 (en) Electronic apparatuses and methods for providing a man-machine interface (mmi)
Huang et al. Air Manipulation: A Manipulation System using Wearable Device of Camera Glasses in Smart Mobile Projector
US20130314318A1 (en) Method of improving cursor operation of handheld pointer device in a display and handheld pointer device with improved cursor operation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160706

RJ01 Rejection of invention patent application after publication