CN108628570A - 显示控制装置、显示控制方法及存储介质 - Google Patents

显示控制装置、显示控制方法及存储介质 Download PDF

Info

Publication number
CN108628570A
CN108628570A CN201810194484.6A CN201810194484A CN108628570A CN 108628570 A CN108628570 A CN 108628570A CN 201810194484 A CN201810194484 A CN 201810194484A CN 108628570 A CN108628570 A CN 108628570A
Authority
CN
China
Prior art keywords
mentioned
display
light
display control
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810194484.6A
Other languages
English (en)
Inventor
筒见胜纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN108628570A publication Critical patent/CN108628570A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/26Projecting separately subsidiary matter simultaneously with main image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

本发明提供一种显示控制装置、显示控制方法及存储介质,与指示器装置相关联地控制显示装置的显示动作。提出具备在显示面上显示信息的显示装置、控制显示装置的显示的控制装置、取得包含来自能够照射光线的指示器装置的光线的显示装置的图像的图像取得装置的显示控制系统。控制装置具备从图像取得装置取得图像的取得部、识别图像中包含的光线的特征的特征识别部、基于光线的特征和光线的状态进行显示装置的显示动作的显示控制部。另外,提出与此对应的显示控制方法以及记录显示控制程序的存储介质。

Description

显示控制装置、显示控制方法及存储介质
本申请主张以日本专利申请特愿2017-056309号为基础的优先权,将该基础申请的内容全部引用在本申请中。
技术领域
本发明涉及控制显示装置的显示动作的显示控制装置、显示控制方法以及记录显示控制程序的存储介质。
背景技术
使用投影仪等显示装置的演示中,一般使用指示显示面的指示器等指示装置。例如,专利文献1中公开了在包含投影仪的信息显示系统中,在进行使用多个指示装置在相同显示面上指示的操作时,通过向信息处理装置登记并认证各指示装置来防止非法操作的技术。
日本专利文献特开2004-348577号公报记载的系统中,各指示装置仅仅用于指示显示面上的任意位置,但是通过能够与各指示装置的操作相关联地执行指示以外的操作,例如显示画面的操作等,预见到用户的便利性提高。
发明内容
本发明提供一种显示控制装置,具备:取得部,其取得显示在显示装置中的包含从指示器装置照射的光线的图像;特征识别部,其识别包含在上述图像中的上述光线的特征;状态确定部,其确定上述光线的状态;以及显示控制部,其基于上述光线的特征和上述光线的状态进行显示控制,以使上述显示装置执行预定的显示动作。
本发明还提供一种显示控制方法,包含以下处理:取得显示在显示装置中的包含从指示器装置照射的光线的图像;识别包含在上述图像中的上述光线的特征;确定上述光线的状态;基于上述光线的特征和上述光线的状态进行上述显示装置的显示动作。
本发明还提供一种存储介质,记录有显示控制程序,上述显示控制程序使控制装置执行以下处理:取得显示在显示装置中的包含从指示器装置照射的光线的图像;识别包含在上述图像中的上述光线的特征;确定上述光线的状态;基于上述光线的特征和上述光线的状态进行上述显示装置的显示动作。
附图说明
图1是表示本发明的一实施方式中的包含控制装置的投影系统整体的一个例子的图。
图2是表示投影仪的一个例子的框图。
图3是表示轮同步信号的一个例子的图。
图4是表示本发明的一实施方式中的包含控制装置的投影系统整体的一个例子的框图。
图5是表示本发明的一实施方式中控制装置的操作判定流程的一个例子图。
图6是表示投影面图像信息以及指示器的指示信息的一个例子的图。
图7A是表示投影仪投影蓝色的瞬间所拍摄的投影面图像信息以及指示器的指示信息的一个例子的图。
图7B是表示投影仪投影红色的瞬间所拍摄的投影面图像信息以及指示器的指示信息的一个例子的图。
图7C是表示投影仪投影绿色的瞬间所拍摄的投影面图像信息以及指示器的指示信息的一个例子的图。
具体实施方式
以下,参照附图对本发明的一实施方式进行说明。
图1是表示本实施方式中的包含控制装置100的投影系统(显示控制系统)1整体的一个例子的图。控制装置100是控制箱、个人计算机、平板终端、智能手机等。以下,将控制装置100作为控制箱进行说明。控制装置100中安装有主机OS(Windows(注册商标)、Android(注册商标)、Linux(注册商标)等)。
控制装置100具有存储介质2(USB存储器、SD卡等)用的存储插入口101。存储介质2中储存有POWERPOINT(注册商标)、PDF文件、动画文件等演示资料。
投影系统1包含投影仪10和包含作为显示面的投影面的屏幕30。在本实施方式中,投影仪10是DLP(注册商标)(Digital Light Processing)方式的投影仪。投影仪10用例如HDMI(注册商标)(High-Definition Multimedia Interface)电缆3有线连接到控制装置100。
存储介质2的演示资料通过控制装置100的主机OS内的功能被播放,经由HDMI电缆3向投影仪10输出其图像信号和声音信号。投影仪10作为显示图像的装置,在屏幕30上随时投影对应图像信号的投影图像。换句话说,控制装置100控制作为显示装置的投影仪10的显示动作。或者,投影仪10也可以作为提示图像和声音的装置,除了上述投影以外,能够从后述的扬声器部19发出对应声音信号的声音,控制装置100控制作为提示装置的投影仪10的提示动作。
投影系统1具有包含1个以上指示器的指示器装置。在本实施方式中,投影系统1的指示器装置包含第1指示器40和第2指示器50。第1指示器40以及第2指示器50可以是通用品。例如,图1中,进行演示的人(演讲者)200具有第1指示器40,另外,听演示的人(听讲者)300具有第2指示器50。
第1指示器40能够照射不同的2种颜色的光。第1指示器40中设置有用于切换各光的输出的开/关的2个按钮开关41、42。例如,演讲者200按着第1按钮开关41的期间,照射红色的光(红色光线),按着第2按钮开关42的期间,照射蓝色的光(蓝色光线)。照射的光线作为光点重叠在屏幕30上的投影图像上,用于指示。此外,第1指示器40也可以是照射不同波长的两种光的指示器。
第2指示器50可以照射与第1指示器40照射的光不同颜色的光。第2指示器50设置有切换光的输出的开/关的按钮开关51。例如,听讲者300按着按钮开关51的期间,照射绿色的光(绿色光线)。照射的光线作为光点重叠在屏幕30上的投影图像上,用于指示。此外,第2指示器50也可以是照射与第1指示器40照射的光不同波长的光的指示器。
第1指示器40以及第2指示器50中,分别对应于演讲者200或者听讲者300按压按钮开关41、42、51的按压长度,按压方式等,能够使各颜色的光点亮、闪烁或者双闪。或者,也可以是通过设置另外的按钮开关并分别按压,而能够使光点亮、闪烁或者双闪的方式。对点亮、闪烁、双闪的定义进行后述。
投影系统1包含作为图像取得装置的数字式相机60。数字式相机60相对于屏幕30以能够拍摄其投影面整体的视场角配置。数字式相机60例如用USB(Universal SerialBus)电缆4有线连接到控制装置100。
数字式相机60根据从控制装置100经由USB电缆4输入的控制信号,拍摄屏幕30的投影面整体,即来自投影仪10的投影图像整体。通过拍摄得到的图像数据(图像信号)经由USB电缆4送出到控制装置100。
图2是表示DLP方式的投影仪10的一个例子的框图。投影仪10具有输入输出部11和投影处理部12。输入输出部11由用于和控制装置100连接的HDMI端子、用于和数字式相机60连接的USB端子等构成。
从控制装置100经由输入输出部11输入的图像数据在根据需要进行数字化后,经由总线20送出到投影处理部12。
投影处理部12将输入的图像数据统一为适合投影的格式的图像数据。而且,投影处理部12通过将预定的帧率例如60fps、颜色成分的分割数以及显示灰度数相乘的分时驱动,驱动后述的微镜元件24。
投影仪10在光路上依次具有光源21、色轮22、整形透镜23、微镜元件24、投影镜头25。光源21是照射白色光的光源。色轮22是高速旋转的彩色滤光圆片,例如以各120度分割成蓝色(B)、红色(R)、绿色(G)3个区域。微镜元件24是例如将数十万~数百万的微镜进行二维排列而得的显示元件。各微镜的镜面能够通过驱动在镜面下部设置的电极,以对角线为轴倾斜。微镜元件24例如将WXGA(Wide eXtended Graphic Array)(横1280像素×纵800像素)量的微镜的各倾斜角度分别进行高速开/关动作,从而通过其反射光形成图像。
投影仪10驱动时,光源21照射的白色光分时照射高速旋转的色轮22的各颜色的区域,使通过整形透镜23整形的光照射微镜元件24。例如,在投影红色的情况下,仅在光照射色轮22的红色的区域的瞬间打开(ON)所希望的微镜,在投影白色的情况下,始终打开所希望的微镜。透过微镜元件24的光,从投影镜头25投影到外部。这样,各颜色以颜色分时,即以肉眼的残像现象能够利用的时间周期被切换投影,从而合成RGB而得的彩色图像被投影到屏幕30上。
此外,上述的色轮22的结构是一个例子,该结构不限定于上述颜色的种类、颜色的数量、颜色的配置。另外,投影仪10也可以使用组合了半导体激光源和LED光源的混合光源代替光源21以及色轮22,分时合成彩色图像。
投影仪10具有同步信号输出部13。同步信号输出部13将与光照射色轮22的各颜色区域的定时同步的轮同步信号,在这里是蓝色同步信号(B信号)、红色同步信号(R信号)、绿色同步信号(G信号),例如从输入输出部11的HDMI端子经由HDMI电缆3输出到控制装置100。图3表示轮同步信号的一个例子。如图3所示,例如相当于1/60秒的1彩色图像帧由蓝色区域、红色区域以及绿色区域构成。
投影仪10中包含的上述结构的各电路的动作由CPU(Central Processing Unit)14控制。CPU14与主存储器15以及程序存储器16直接连接。主存储器15例如由SRAM(StaticRandom Access Memory)构成,作为CPU14的工作存储器发挥作用。程序存储器16由电可擦写的非易失性存储器构成,存储CPU14执行的动作程序、各种标准数据等。CPU14使用主存储器15以及程序存储器16执行投影仪10的动作控制。
投影仪10具有操作部17。操作部17包含设置在投影仪10的主体上的按键操作部和接收来自未图示的投影仪10的遥控器的红外光的红外线受光部。用按键操作部或者遥控器操作的操作信号直接输出到CPU14。CPU14根据来自操作部17的操作信号执行各种投影动作。
投影仪10具有声音处理部18和扬声器部19。声音处理部18经由总线20与CPU14连接。声音处理部18具备PCM音源等的音源电路,将投影动作时给予的声音数据进行模拟化,驱动扬声器部19扩声放音,或者根据需要产生蜂鸣音等。
图4是表示包含控制装置100的投影系统1整体的一个例子的框图。控制装置100具有指示器识别部110、操作判定部120和CPU130。这里将指示器识别部110以及操作判定部120的各电路假定为FPGA(Field-Programmable Gate Array)、ASIC(ApplicationSpecific Integrated Circuit)等的硬件电路,但也可以由CPU构成。
指示器识别部110从投影仪10的同步信号输出部13接收轮同步信号。另外,指示器识别部110作为取得图像的取得部,接收数字式相机60拍摄的屏幕30的图像信号。而且,指示器识别部110作为特征识别部以及状态确定部,基于轮同步信号和图像信号,确定涉及拍摄图像中的第1指示器40以及第2指示器50的光线的光点的有无、颜色(红色、蓝色或者绿色)、光点显示状态(点亮、闪烁或者双闪)、位置坐标(X、Y)的信息。
操作判定部120基于用指示器识别部110识别的第1指示器40以及第2指示器50的各种信息,决定CPU130为了控制投影仪10而输出的控制信号。
CPU130作为显示控制部,基于操作判定部120的判定信息,输出用于控制从投影仪10投影的演示资料的显示动作的控制信号。或者,也可以作为提示动作控制部,基于操作判定部120的判定,除了上述的显示动作的控制之外,输出用于控制从扬声器部19发出的音的音量等提示动作的控制信号。另外,CPU130作为拍摄控制部,向数字式相机60发送拍摄指示。
CPU130与主存储器131以及程序存储器132直接连接。主存储器131例如由SRAM构成,作为CPU130的工作存储器发挥作用。程序存储器132由电可擦写的非易失性存储器构成,存储CPU130执行的上述的动作等的程序或各种标准数据等。CPU130使用主存储器131以及程序存储器132,向投影仪10发送用于控制投影仪10的动作的各种指令。
图5是表示本实施方式的控制装置100中的操作判定流程的一个例子的图。以下的说明中,设投影仪10的色轮22的旋转周期为60赫兹,色轮22旋转时在蓝色、红色、绿色的各区域上按该顺序从光源21照射光。
指示器识别部110中的第1指示器40以及第2指示器50的光点显示状态(点亮、闪烁、双闪)的认定条件可以结合指示器的样式预先设定。例如,如下设定。
点亮:光连续1秒以上点亮的(1秒以上连续开启)状态;
闪烁:上述点亮状态后,光0.5秒连续不亮(0.5秒关闭)后,再次点亮的状态;
双闪:上述点亮状态后,光线0.5秒连续不亮(0.5秒关闭)后,0.5秒连续点亮(0.5秒连续开启)后,0.5秒连续不亮(0.5秒开启)后,再次点亮状态。
假设不受除了从投影仪10投影的光和从第1指示器40以及第2指示器50照射的光以外的外光的影响。
步骤S101中,控制装置100的CPU130向数字式相机60进行拍摄指示。拍摄指示例如投影仪10的演示资料的投影开始的同时被送出到数字式相机60。
数字式相机60根据拍摄指示,拍摄对演示资料进行投影过程中的屏幕30的图像。数字式相机60,例如对应于投影仪10的帧率拍摄每秒180张的通过图像。此时,如果演讲者200用第1指示器40,听讲者300用第2指示器50,或者用其双方指示投影面,则拍摄图像中除了投影仪10的投影图像之外还包含源于第1指示器40、第2指示器50的光线的红色、蓝色或者绿色光点。
步骤S102中,指示器识别部110从数字式相机60取得拍摄图像。来自数字式相机60的图像信号被发送到指示器识别部110。
步骤S103中,指示器识别部110从投影仪10的同步信号输出部13取得轮同步信号(图3)。指示器识别部110根据轮同步信号取得从投影仪10向屏幕30投影哪种颜色的像素。
步骤S104中,指示器识别部110基于在步骤S102取得的图像信号和在步骤S103取得的轮同步信号,取得涉及指示投影面的任意位置的第1指示器40、第2指示器50的光线的光点的有无、特征(例如颜色)、光点显示状态、位置坐标(X、Y)的信息。
图6是表示投影面图像信息以及指示器的指示信息的一个例子的图。图6中,为了对本实施方式的概念进行说明,示出了来自第1指示器40的蓝色光点40B、红色光点40R以及来自第2指示器50的绿色光点50G这3个光点。另外,作为投影面图像信息示出了蓝色图像10B、红色图像10R以及绿色图像10G。图6所示的投影面图像信息是演讲者200或者听讲者300用肉眼捕捉的信息的一个例子。
图7A至图7C是表示分别在投影仪10投影蓝色、红色、绿色的瞬间由数字式相机60拍摄的投影面图像信息以及指示器的指示信息的一个例子的图。根据投影仪10的同步信号输出部13输出的轮同步信号(图3),每秒180张的通过图像的中,第(3n-2)张是只输出B信号时的图像(图7A),第(3n-1)张是只输出R信号时的图像(图7B),第3n张是只输出G信号时的图像(图7C)。这里,n是1到60的自然数。
关于图7A,B信号输出中的拍摄图像中包含的像素中,蓝色(B)源于作为来自投影仪10的投影像素的蓝色图像10B或者来自第1指示器40的蓝色光点40B,但是如果这些中包含红色(R)、绿色(G),则就不是源于来自投影仪10的投影像素,而是源于来自第1指示器40的红色光点40R、来自第2指示器50的绿色光点50G。
相同地,关于图7B,R信号输出中的拍摄图像中包含的像素中,红色(R)是源于作为来自投影仪10的投影像素的红色图像10R或者来自第1指示器40的红色光点40R,但是如果这些中包含蓝色(B)、绿色(G),则就不是源于来自投影仪10的投影像素,而是源于来自第1指示器40的蓝色光点40B、来自第2指示器50的绿色光点50G。
相同地,关于图7C,G信号输出中的拍摄图像中包含的像素中,绿色(G)是源于作为来自投影仪10的投影像素的绿色图像10G或者来自第2指示器50的绿色光点50G,但是如果这些中包含蓝色(B)、红色(R),则就不是源于来自投影仪10的投影像素,而是源于来自第1指示器40的蓝色光点40B、红色光点40R。
基于上述的概念,指示器识别部110根据来自数字式相机60的图像信号和来自投影仪10的同步信号输出部13的轮同步信号,取得涉及指示投影面的任意位置的第1指示器40、第2指示器50的光线的光点的有无、颜色、光点显示状态、位置坐标(X、Y)的信息等。即,指示器识别部110取得包含来自指示器40、50的光线的光点40B、40R、50G的投影面图像,确定该图像中包含的光点40B、40R、50G的特征和状态。
例如,拍摄图像中的光点40B、40R、50G的有无或颜色,能够如上述那样用指示器识别部110识别。光点显示状态能够从数秒的通过图像,基于上述的点亮、闪烁或者双闪的设定而用指示器识别部110识别。位置坐标能够通过在拍摄图像中提取与轮同步信号(例如R信号)对应的颜色不同的颜色(例如蓝色或者绿色)并确定出其位置坐标而用指示器识别部110识别。
步骤S105以后,基于在步骤S104中指示器识别部110识别的特征和状态等指示器信息,由操作判定部120进行各种判定,基于其判定结果,CPU130向投影仪10输出控制信号。换句话说,CPU130作为显示控制部,对应于光点的特征和状态来控制投影仪10的显示动作。
步骤S105中,操作判定部120判定指示器识别部110是否识别出红色光点40R。操作判定部120判定为指示器识别部110识别出红色光点40R的情况下(是),处理进入步骤S106。
步骤S106中,操作判定部120判定该红色光点40R是否点亮。操作判定部120判定红色光点40R点亮的情况下(是),处理返回步骤S102。另一方面,操作判定部120判定红色光点40R没有点亮的情况下(否),处理进入步骤S107。
步骤S107中,操作判定部120判定该红色光点40R是否闪烁。操作判定部120判定红色光点40R闪烁的情况下(是),处理进入步骤S108。
步骤S108中,CPU130发行第1事件。由此,例如作为第1事件,用于进行演示资料的页面跳转的控制信号被输出到投影仪10。这样,例如CPU130通过发行相当于单击鼠标左键的事件作为第1事件,在投影图像中无鼠标地执行与单击鼠标左键时的动作相同的动作。第1事件能够适当地设定。
步骤S107中,操作判定部120判定红色光点40R没有闪烁的情况下(否),处理进入步骤S109。即,红色光点40R存在(步骤S105-是),并且红色光点40R既不是点亮也不是闪烁的情况下(步骤S106-否,步骤S107-否),操作判定部120判定红色光点40R是双闪,处理进入步骤S109。
步骤S109中,CPU130发行第2事件。由此,例如作为第2事件,用于以第1指示器40指示的红色光点40R的位置坐标作为中心将投影图像的显示放大例如30%的控制信号被输出到投影仪10。这样,例如CPU130通过发行相当于双击鼠标左键的事件作为第2事件,在投影图像中无鼠标地执行与双击鼠标左键时的动作相同的动作。第2事件也能够适当地设定。
另一方面,步骤S105中,操作判定部120判定指示器识别部110没有识别出红色光点40R的情况下(否),处理进入步骤S110。
步骤S110中,操作判定部120判定指示器识别部110是否识别出蓝色光点40B。操作判定部120判定指示器识别部110识别出蓝色光点40B的情况下(是),处理进入步骤S111。
步骤S111中,操作判定部120判定该蓝色光点40B是否点亮。操作判定部120判定蓝色光点40B点亮的情况下(是),处理返回步骤S102。另一方面,操作判定部120判定蓝色光点40B没有点亮的情况下(否),处理进入步骤S112。
步骤S112中,操作判定部120判定该蓝色光点40B是否闪烁。操作判定部120判定蓝色光点40B闪烁的情况下(是),处理进入步骤S113。步骤S113中,CPU130发行第3事件。第3事件例如将用于演示资料的页面返回的控制信号输出到投影仪10等,也能够关于投影仪10的显示动作的控制适当地设定。
步骤S112中,操作判定部120判定蓝色光点40B没有闪烁的情况下(否),处理进入步骤S114。即,红色光点40R不存在(步骤S105-否),并且蓝色光点40B存在(步骤S110-是),并且蓝色光点40B既不是点亮也不是闪烁的情况下(步骤S111-否、步骤S112-否),操作判定部120判定蓝色光点40B是双闪,处理进入步骤S114。步骤S114中,CPU130发行第4事件。第4事件例如将用于将放大显示复原的控制信号输出到投影仪10等,也能够关于投影仪10的显示动作的控制适当地设定。
另一方面,步骤S110中,操作判定部120判定指示器识别部110没有识别出蓝色光点40B的情况下(否),处理进入步骤S115。
步骤S115中,操作判定部120判定指示器识别部110是否识别出绿色光点50G。操作判定部120判定指示器识别部110识别出绿色光点50G的情况下(是),处理进入步骤S116。
另一方面,步骤S115中,操作判定部120判定指示器识别部110没有识别出绿色光点50G的情况下(否),处理返回步骤S102。即,拍摄图像中光点完全不存在的情况下,CPU130不输出用于控制投影仪10的控制信号,指示器识别部110再度进行相机图像取得(步骤S102)以及轮同步信号取得(步骤S103)。
步骤S116中,操作判定部120判定该绿色光点50G是否点亮。操作判定部120判定绿色光点50G点亮的情况下(是),处理返回步骤S102。另一方面,操作判定部120判定绿色光点50G没有点亮的情况下(否),处理进入步骤S117。
步骤S117中,操作判定部120判定该绿色光点50G是否闪烁。操作判定部120判定绿色光点50G闪烁的情况下(是),处理进入步骤S118。
步骤S118中,CPU130发行第5事件。由此,例如,作为第5事件,用于以第2指示器50指示的绿色光点50G的位置坐标作为中心将投影图像的显示放大例如30%的控制信号被输出到投影仪10。或者,CPU130也可以作为第5事件输出用于将从投影仪10的扬声器部19发出的音量增大或者减小的控制信号。
另一方面,步骤S117中,操作判定部120判定绿色光点50G没有闪烁的情况下(否),处理进入步骤S119。即,红色光点40R和蓝色光点40B都不存在(步骤S105-否,步骤S110-否),并且绿色光点50G存在(步骤S115-是),并且绿色光点50G既不是点亮也不是闪烁的情况下(步骤S116-否,步骤S117-否),操作判定部120判定绿色光点50G是双闪,处理进入步骤S119。
步骤S119中,CPU130发行第6事件。由此,例如,作为第6事件,用于将投影图像的放大显示或音量复原或者进一步减小的控制信号被输出到投影仪10。
这样,CPU130作为显示控制部以及输出控制部,基于操作判定部120的判定结果,将用于控制投影仪10的显示的控制信号输出到投影仪10。
步骤S108、S109、S113、S114、S118、S119之后,处理返回步骤S102。因此,在投影仪10的驱动中,重复进行上述操作判定流程S102以后的流程。
此外,上述第1~第6事件只不过是举例,也可以适当地更换各事件或设定除此以外的显示动作。
如以上说明,根据本实施方式,提供作为显示控制系统的投影系统1,其具备作为在显示面上显示信息的显示装置的投影仪10、控制投影仪10的显示的控制装置100、作为取得包含来自能够照射光线的指示器装置(第1指示器40、第2指示器50)的光线的显示面的图像的图像取得装置的数字式相机60。控制装置100用取得部从数字式相机60取得图像,用特征识别部识别该图像中包含的光线的特征,用状态确定部确定光线的状态,用显示控制部基于光线的特征和状态来控制投影仪10的显示动作。
在本实施方式中,演讲者或者听讲者根据需要,用第1指示器40、第2指示器50对在投影仪10投影的屏幕30照射光,数字式相机60拍摄包含该照射光的投影面。而且,投影仪10采用是颜色分时方式,指示器识别部110利用这一点识别各颜色,由此识别拍摄图像中包含的光点不是从投影仪10投影的光。即,即使是相同的红色,指示器识别部110也能够识别从投影仪10投影的红色和从第1指示器40照射的红色。关于蓝色、绿色也能够相同地识别。
根据本实施方式,演讲者能够一边用自己具有的第1指示器40在投影面上照射光线一边进行演示操作(页面跳转/页面返回、放大/缩小、音量调整等)。因此,演讲者不用为了操作演示资料而走向个人计算机等控制装置100,在屏幕30的旁边就能够潇洒地进行演示操作。即,演讲者能够与第1指示器40的特征和状态相关联地,通过控制装置100控制投影仪10的显示动作。由此,避免了不得不在演示的中途为了演示操作而中断的情况。
在本实施方式中,控制装置100能够基于指示器的特征、状态等的判定,以本装置进行以前连接在控制装置100的鼠标所承担的功能。因此,能够使用通用品的指示器,无鼠标地进行显示动作控制。
另外,在本实施方式中,发表者具有的第1指示器40能够发出不同的2种颜色的光线,并根据其发光颜色使能够操作的权限有差异。即,指示器识别部110识别拍摄图像中包含的红色光点和蓝色光点,并将用于与各自对应地控制投影仪10的显示的控制信号输出到投影仪10。因此,能够与第1指示器40连动地通过控制装置100进行关于投影仪10的显示的多样的控制。
在本实施方式中,听讲者具有第2指示器50。听讲者通过对演示中有兴趣的内容照射自己具有的第2指示器50的光线,能够将那里放大来确认。即,对于听讲者也能够与第2指示器50的特征和状态相关联地,通过控制装置100控制投影仪10的显示动作。
另外,在指示器识别部110识别了发表者持有的第1指示器40和听讲者持有的第2指示器50双方的特征的情况下,CPU130针对从指示器40、50照射的光线的光点的各自特征,使权限有差异,并且,对具有对应的特征的指示器决定其权限的优先顺序,从而能够进行更适当的演示操作。
例如,发表者驱动第1指示器40时,即使听讲者驱动第2指示器50,也不能由此操作演示资料。因此,不会违背发表者的意图来操作演示资料。另外,如果对于第2指示器50,例如不分配页面跳转等功能,而只分配放大/缩小功能,就不会违背发表者的意图而对演示资料进行页面跳转/页面返回。
在以上的说明中,假设第1指示器40能够发出红色光线以及蓝色光线、第2指示器50能够发出绿色光线,但各指示器发出的光的颜色不限于此。只要用数字式相机60拍摄屏幕30而得的图像中包含的各光点能够用指示器识别部110识别即可。例如,即使第1指示器40和第2指示器50双方都发射红色的光线,只要它们是波长不同的红色光线而能够从拍摄图像中识别,本发明的概念就能适用。
也就是说,即使第1指示器40和第2指示器50照射相同的红色光,只要能够识别它们,就能够根据识别出的特征等,将点击操作、放大缩小操作等操作分配到各指示器。多个指示器照射的光线的颜色相同的情况下,想到例如与拍摄图像的区域对应地变更指示器识别部110的识别处理。例如,通过在拍摄图像的右半区域和左半区域变更识别处理,能够识别源于2个指示器的红色。或者,即使各指示器的光点在投影面上指示的形状或大小不同,或加入了用肉眼无法识别的程度的闪烁,也能够识别它们。另外,只要形状或大小等具有特征,即使不用颜色分时方式,例如用模式匹配等也能够识别它们。
另外,作为指示器装置,假设发表者具有能够照射不同的2种颜色的光线的第1指示器40,听讲者具有能够照射与这些不同的颜色的1种颜色的光线的第2指示器50而进行了说明,但光的颜色的数量以及指示器的数量不限于此。例如,即使听讲者不持有指示器,只有发表者持有能够照射多个颜色或者多个波长的光的指示器,控制装置100基于该指示器的特征和状态进行对投影仪10的显示的控制等的操作,本发明的概念也能够适用。
另外,在控制装置100是平板终端或者智能手机,投影仪10投影来自该终端等的信息的情况下,对应上述鼠标操作(点击等)的是滑动或轻击等。
另外,假设作为显示装置的投影仪10是DLP方式的投影仪,指示器识别部110取得屏幕上的投影面中的各光线的波长或者颜色而进行了说明,但只要能够从通过数字式相机60拍摄的屏幕上的显示面取得各光线的波长或者颜色,对于来自DLP方式的投影仪以外的投影仪的投影面,或者是液晶显示器等的显示装置中的显示面(投影面以外的显示面),本发明的概念也能够适用。
本发明不限定于上述实施方式,在实施阶段,在不脱离其主旨的范围内能够进行各种变形。另外,也可以将各实施方式适当地组合实施,此时得到组合的效果。进而,上述实施方式中包含各种发明,通过从公开的多个构成要件中选择的组合能够提取各种发明。例如,在即使从实施方式所示的全部构成要件中删除几个构成要件也能够解决课题,得到效果的情况下,能够将删除该构成要件的结构作为发明进行提取。

Claims (11)

1.一种显示控制装置,其特征在于,
具备:
取得部,其取得显示在显示装置中的包含从指示器装置照射的光线的图像;
特征识别部,其识别包含在上述图像中的上述光线的特征;
状态确定部,其确定上述光线的状态;以及
显示控制部,其基于上述光线的特征和上述光线的状态进行显示控制,以使上述显示装置执行预定的显示动作。
2.根据权利要求1所述的显示控制装置,其中,
上述显示控制部基于上述光线的状态取得对应的上述显示装置的显示动作,基于该显示动作和上述光线的特征,判断是否使上述显示装置执行预定的显示动作。
3.根据权利要求1或2所述的显示控制装置,其中,
上述特征是上述光线的波长或颜色。
4.根据权利要求1到3的任意一项所述的显示控制装置,其中,
上述指示器装置包含多个指示器装置,
上述特征识别部基于来自上述多个指示器装置的光线的各自的上述特征,识别对应的指示器。
5.根据权利要求4所述的显示控制装置,其中,
上述特征识别部基于各个上述特征决定上述对应的指示器装置的权限,
上述显示控制部基于上述权限对上述对应的指示器装置分配上述显示动作。
6.根据权利要求5所述的显示控制装置,其中,
上述特征识别部对上述多个指示器装置决定上述权限的优先顺序,
上述显示控制部使基于上述权限高的上述指示器装置的上述显示动作优先进行。
7.根据权利要求1到6的任意一项所述的显示控制装置,其中,
上述状态确定部确定通过上述光线显示的光点的显示状态。
8.根据权利要求1到7的任意一项所述的显示控制装置,其中,
上述显示动作是上述显示装置的显示变更动作。
9.根据权利要求1到8的任意一项所述的显示控制装置,其中,
上述显示装置是DLP方式的投影装置,
上述取得部在用上述指示器装置对上述显示装置显示的图像照射上述光线时取得投影面的图像,
上述特征识别部以及上述状态确定部通过用颜色分时识别来确定上述图像所包含的上述光线的特征以及状态。
10.一种显示控制方法,其特征在于,包含以下处理:
取得显示在显示装置中的包含从指示器装置照射的光线的图像;
识别包含在上述图像中的上述光线的特征;
确定上述光线的状态;
基于上述光线的特征和上述光线的状态进行上述显示装置的显示动作。
11.一种存储介质,记录有显示控制程序,其特征在于,
上述显示控制程序使控制装置执行以下处理:
取得显示在显示装置中的包含从指示器装置照射的光线的图像;
识别包含在上述图像中的上述光线的特征;
确定上述光线的状态;
基于上述光线的特征和上述光线的状态进行上述显示装置的显示动作。
CN201810194484.6A 2017-03-22 2018-03-09 显示控制装置、显示控制方法及存储介质 Pending CN108628570A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-056309 2017-03-22
JP2017056309A JP6848575B2 (ja) 2017-03-22 2017-03-22 制御システム、制御方法、及び制御プログラム

Publications (1)

Publication Number Publication Date
CN108628570A true CN108628570A (zh) 2018-10-09

Family

ID=63583437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194484.6A Pending CN108628570A (zh) 2017-03-22 2018-03-09 显示控制装置、显示控制方法及存储介质

Country Status (3)

Country Link
US (1) US10712841B2 (zh)
JP (1) JP6848575B2 (zh)
CN (1) CN108628570A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861111A (zh) * 2021-02-04 2021-05-28 深圳市海雀科技有限公司 设备认证方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599441A (zh) * 2003-09-19 2005-03-23 日本电气视象技术株式会社 采用倾角测量设备的投影仪
CN101114200A (zh) * 2006-07-26 2008-01-30 富士施乐株式会社 功能命令系统、功能命令装置、功能命令分析系统、演示系统及计算机可读介质
CN103984482A (zh) * 2014-05-28 2014-08-13 重庆大学 基于普通摄像头的激光笔绘图方法
CN104639826A (zh) * 2013-11-08 2015-05-20 精工爱普生株式会社 显示装置、显示系统及控制方法
CN105453165A (zh) * 2013-07-24 2016-03-30 株式会社理光 信息处理设备、图像投影系统和计算机程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348577A (ja) 2003-05-23 2004-12-09 Seiko Epson Corp 情報表示システムおよび情報表示システムにおけるポインティング装置制御方法
US7193608B2 (en) * 2003-05-27 2007-03-20 York University Collaborative pointing devices
JP2007058497A (ja) 2005-08-24 2007-03-08 Seiko Epson Corp プロジェクタ、コンピュータ制御信号生成方法、コンピュータ読取可能なコンピュータ制御信号生成プログラム、および、記録媒体
JP2009266036A (ja) * 2008-04-25 2009-11-12 Sharp Corp 表示装置および表示方法
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
JP2011133541A (ja) * 2009-12-22 2011-07-07 Nec Casio Mobile Communications Ltd 表示制御装置及び表示制御システム並びにプログラム
JP5929387B2 (ja) * 2012-03-22 2016-06-08 株式会社リコー 情報処理装置、履歴データ生成プログラム及び投影システム
JP2015014882A (ja) * 2013-07-04 2015-01-22 ソニー株式会社 情報処理装置、操作入力検出方法、プログラム、および記憶媒体
JP2015037250A (ja) * 2013-08-14 2015-02-23 株式会社リコー 画像投影装置及びプレゼンテーションシステム
JP2016092779A (ja) 2014-11-11 2016-05-23 株式会社リコー 画像投影システム、情報処理装置、情報処理方法、及びプログラム
JP2016212291A (ja) 2015-05-11 2016-12-15 株式会社リコー 画像投影システム、画像処理装置、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599441A (zh) * 2003-09-19 2005-03-23 日本电气视象技术株式会社 采用倾角测量设备的投影仪
CN101114200A (zh) * 2006-07-26 2008-01-30 富士施乐株式会社 功能命令系统、功能命令装置、功能命令分析系统、演示系统及计算机可读介质
CN105453165A (zh) * 2013-07-24 2016-03-30 株式会社理光 信息处理设备、图像投影系统和计算机程序
CN104639826A (zh) * 2013-11-08 2015-05-20 精工爱普生株式会社 显示装置、显示系统及控制方法
CN103984482A (zh) * 2014-05-28 2014-08-13 重庆大学 基于普通摄像头的激光笔绘图方法

Also Published As

Publication number Publication date
US20180275774A1 (en) 2018-09-27
US10712841B2 (en) 2020-07-14
JP6848575B2 (ja) 2021-03-24
JP2018159774A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
US10573085B2 (en) Reality mixer for mixed reality
TWI363560B (en) System and method for compensating for crosstalk during the display of stereo content
US9077915B2 (en) Interweaving of IR and visible images
CN107710284B (zh) 用于在虚拟图像生成系统中更有效地显示文本的技术
JP5440548B2 (ja) 投影装置、投影方法及びプログラム
JP4621795B1 (ja) 立体視映像表示装置及び立体視映像表示方法
US8233097B2 (en) Scanning projector ambient lighting system
EP2450745A1 (en) Video display device, video display method, video display screen and liquid crystal display device
CN102981351A (zh) 投影装置以及投影控制方法
CN108229450A (zh) 基于屏幕显示进行补光的方法及生物特征识别系统
CN109104619B (zh) 用于直播的图像处理方法和装置
JP4060865B2 (ja) 遊技機
CN108628570A (zh) 显示控制装置、显示控制方法及存储介质
CN107096224A (zh) 一种用于拍摄混合现实视频的游戏系统
JP2015079201A (ja) 映像表示システム、映像表示方法、及び投射型映像表示装置
CN104301710B (zh) 显示辅助装置、显示系统及显示方法
JP2020532821A (ja) 使用者によって観察される画像の遠近色知覚を改善する照明方法及びシステム
CN107688412A (zh) 显示装置、显示系统及显示装置的控制方法
JP2008165077A (ja) 画像投影装置
CN111247473B (zh) 使用提供视觉线索的装置的显示设备及显示方法
JP3698702B2 (ja) 画像表示装置
US8573786B2 (en) Projector apparatus and method for dynamically masking objects
JP5721210B2 (ja) 画像投影装置、画像処理装置、画像処理方法、画像処理プログラム、及び画像データの使用方法
JP2021186069A (ja) 遊技機
JP2021186070A (ja) 遊技機

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination