CN105323463A - 拍摄系统以及拍摄的方法 - Google Patents
拍摄系统以及拍摄的方法 Download PDFInfo
- Publication number
- CN105323463A CN105323463A CN201510346729.9A CN201510346729A CN105323463A CN 105323463 A CN105323463 A CN 105323463A CN 201510346729 A CN201510346729 A CN 201510346729A CN 105323463 A CN105323463 A CN 105323463A
- Authority
- CN
- China
- Prior art keywords
- region
- shooting
- unit
- image
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000008859 change Effects 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 description 75
- 230000001052 transient effect Effects 0.000 description 55
- 230000008569 process Effects 0.000 description 23
- 230000009471 action Effects 0.000 description 17
- 238000005192 partition Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000004321 preservation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及拍摄系统以及拍摄的方法,比以往更可靠地并且对于用户来说更简单地记录写在面上的图像。拍摄系统(1)具有:拍摄单元,其对面(50)进行拍摄;检测单元,其检测物体(8)在面(50)与拍摄单元之间的空间(40)中的位置的变化;以及获取单元,其在通过检测单元检测到变化的情况下,通过拍摄单元获取面(50)的从拍摄单元因物体(8)而在变化之前无法看见但在变化之后能够看见的区域(51)的图像。
Description
技术领域
本发明涉及拍摄白板等的面的技术。
背景技术
近年来,将显示于计算机或者智能手机等的图像投影到屏幕的投影仪普及起来。投影仪有时也被称为“图像投影装置”。
能够使用白板作为屏幕。或者,也能够在墙壁粘贴白色的塑料并将它作为屏幕使用。在这些情况下,用户在图像映到屏幕时,能够用笔手写笔记等。而且,用户能够利用数字照相机拍摄屏幕记录下来。
为了用户能够简单地拍摄,提出了如下的技术。根据专利文献1所记载的技术,在投影仪内置数字照相机,使液晶投影仪投影用镜头和数字照相机用镜头共通。由此,从投影仪输出的计算机影像的投影光和用马克笔等手书到白板的图像的合成图像的入射光通过相同的镜头,所以将计算机影像和手写的图像作为合成影像保存到计算机时的位置、尺寸的调整不需要。
根据专利文献2所记载的技术,具备:多个拍摄部,它们获取图像数据;拍摄范围变更部,其分别独立地变更多个拍摄部的各个的拍摄方向和拍摄视角的至少一方来变更拍摄范围;手势检测部,其根据任意一个拍摄部获取到的图像数据检测操作者的手势;以及拍摄控制部,其根据检测到的手势,进行包括要记录的拍摄范围的变更控制以及针对多个拍摄部的拍摄指示的拍摄控制,拍摄控制部在进行要记录的拍摄范围的变更控制时,控制拍摄范围变更单元,来根据利用手势检测部检测到的手势使多个拍摄部中的一部分的拍摄部亦即主拍摄部的拍摄范围变更,并且,在主拍摄部的拍摄范围未包含有操作者的情况下将主拍摄部以外的拍摄部的拍摄范围的变更限制在包含有操作者的范围。
根据专利文献3所记载的技术,图像处理装置检测根据所供给的拍摄图像信号投影到白板上的投影图像的框区域,并且判定针对框区域的运动物体的出入的有无。在有运动物体的出入的情况下,检测其前后的框区域的图像的差异,获取差异区域的图像来与原始图像合成生成合成图像。直至被投影仪投影的原始图像变更为下个图像为止反复执行该处理,依次生成合成了差异图像和原始图像的合成图像。在投影图像切换为下个图像的时刻,对于紧前的原始图像将合成图像与补写顺序建立关联。而且,将对于原始图像与补写顺序建立了关联的合成图像作为从原始图像的下页开始的图像插入。
专利文献1:日本特开2004-252118号公报
专利文献2:日本特开2012-15661号公报
专利文献3:日本特开2012-199676号公报
根据上述的现有技术,能够将用户写在白板等的面的图像与通过投影仪投影到该面的图像一起拍摄记录。
但是,为了不被用户的身体或者指示棒等隐藏可靠地拍摄这些图像,用户必须离开面。意识到这点对于用户来说有时成为压力或者强制。另外,若用户忘记离开面,或者即使用户打算离开而实际未离开,则无法很好地拍摄。
发明内容
本发明鉴于这样的问题点而完成,其目的在于,比以往更可靠地并且对于用户来说更简单地记录写在面上的图像。
本发明的一方式的拍摄系统具有:拍摄单元,其对面进行拍摄;检测单元,其检测物体在上述面与上述拍摄单元之间的空间中的位置的变化;以及获取单元,其在通过上述检测单元检测到上述变化的情况下,通过上述拍摄单元获取上述面中的、从该拍摄单元因上述物体而在该变化之前无法看见但在该变化之后能够看见的区域的图像。
根据本发明,能够比以往更可靠地并且对于用户来说更简单地记录写在面上的图像。
附图说明
图1是表示本发明的第一实施方式的投影仪的使用例的图。
图2是表示投影仪的硬件构成的框图。
图3是表示对象的例子的图。
图4是表示板面与对象的位置关系的例子的图。
图5是表示投影仪的功能构成的框图。
图6是表示板面的拍摄所涉及的目标区域的设定的一个例子的图。
图7是表示根据对象的移动进行的拍摄的第一例的图。
图8是表示根据对象的移动进行的拍摄的第二例的图。
图9是表示根据对象的移动进行的拍摄的第三例的图。
图10是投影仪的动作的流程图。
图11是表示第二实施方式的投影仪的功能构成的框图。
图12是表示第二实施方式的临时目标区域的设定的一个例子的图。
图13是表示临时目标区域的缩小的例子的图。
图14是表示根据对象的移动进行的拍摄的第四例的图。
图15是表示第二实施方式的动作的流程图的第一部分的图。
图16是表示第二实施方式的动作的流程图的第二部分的图。
图17是表示系统构成的变形例的图。
具体实施方式
实施方式1
如图1那样使用投影仪1和白板5进行了演讲。被演讲者8或者辅助者9操作的计算机7与投影仪1连接,要投影的图像的数据以及投影的指示被从计算机7给予。投影仪1根据来自计算机7的指示,将演讲用的图像投影到白板5。白板5作为投影的屏幕使用。
白板5具有能够进行可消去的写入的板面50。演讲者8能够在例如欲对投影出的图像添加补充说明或者利用图示强调的情况下,将文字、符号、线、箭头、圆圈、图形或者组合这些的任意的内容写入板面50。换句话说,板面50是可通过演讲者8进行写入的面。
投影仪1具有自动地记录演讲者8写入的内容的拍摄功能。投影仪1监视演讲者8的动作,在判断为进行了写入时拍摄白板5,保存所得到的拍摄数据。
本实施方式1的投影仪1的拍摄功能的特征在于,将板面50划分成多个区域(分割区域),将这些多个区域中的一个以上的区域设定为记录写入内容的处理的对象亦即“目标区域”,在检测到为目标区域没隐藏在物体(对象)的后面的状态时拍摄板面50。以下,以这样的拍摄功能为中心对投影仪1的构成以及动作进行说明。
图2示出了投影仪1的硬件构成。投影仪1具有投影单元11、照相机12、对象传感器13、CPU(CentralProcessingUnit:中央处理器)15、RAM(RandomAccessMemory:随机存取存储器)16、非易失性存储器17、图像处理部18、接口19、灯驱动器20、以及DC电源21。
投影单元11是在板面50通过投影显示图像的显示单元。投影单元11具有:液晶面板,其显示要投影的图像;投光灯,其配置于液晶面板的背面侧;以及镜头组,其使图像在投影面成像。投光灯的发光所需要的电力从DC电源21经由灯驱动器20供给至投影单元11。
照相机12是拍摄板面50的拍摄单元。照相机12具有二维的拍摄设备,将通过拍摄设备得到的拍摄数据输出到图像处理部18。此外,照相机12也可以是通过一维的拍摄设备和扫描用的光学系统得到二维的拍摄像的扫描式的照相机。
对象传感器13是用于在板面50与照相机12之间存在对象的情况下检测该对象的距离图像传感器。对象传感器13具备拍摄设备和射出红外线的发光元件,将用于根据TOF(TimeOfFlight:飞行时间)法的测距的红外线拍摄数据输出到CPU15。
CPU15将用于控制投影仪1的程序从非易失性存储器17加载到RAM16并执行。CPU15经由与外部设备的通信用的接口19与上述的计算机7通信,根据来自计算机7的指示使投影仪1投影图像。除此以外,CPU15也如后述那样执行检测对象、设定关于板面50的拍摄的目标区域、将通过照相机12得到的拍摄数据储存到非易失性存储器17等的各种处理。非易失性存储器17例如是闪存。
图像处理部18将与从计算机7给予的数据对应的位图在存储器上展开,使要投影的图像在投影单元11的液晶面板显示。另外,图像处理部18负责压缩通过照相机12得到的拍摄数据的处理。这样的图像处理部18例如由ASIC(ApplicationSpecificIntegratedCircuit:专用集成电路)构成。
接口19具有能够进行符合USB(UniversalSerialBus:通用串行总线)标准的有线通信的USB部191、以及能够进行符合Wi-Fi标准的无线通信的Wi-Fi部192。
于是,本实施方式1的投影仪1为了在写在板面50的内容没隐藏的时间点拍摄写在板面50的内容并记录,而检测拍摄空间40中的对象的位置的变化。拍摄空间40是板面50与投影仪1之间的空间中的根据照相机12的拍摄的视场内的部分。对象的位置的变化的检测方法如下。
使用如下的方法,即,CPU15基于通过对象传感器13获取到的红外线拍摄数据,按照拍摄设备的每个像素测定从红外线的射出到在对象的表面反射的红外线被拍摄设备接受为止的时间(光的飞行时间)。此时,在与测定的最大距离对应的规定的时间内将红外线朝向对象照射,测定照射中的总受光量作为光的飞行时间。光的飞行时间和对象传感器13与对象的距离成比例,所以通过按照每个像素测定光的飞行时间,从而得到了对象传感器13的与拍摄的视场对应的距离图像。
CPU15将得到的距离图像的各像素值(测距值)和预先存储的到白板5的距离(已知的距离)相比较。对于该已知的距离,既可以投影仪1预先测定,也可以用户输入。CPU15在距离图像中测距值比已知的距离小的像素的个数是规定量以上的情况下,判定为在拍摄空间40中有对象。在测距值比已知的距离小的像素的个数不足规定量的情况下,CPU15判定为没有对象。规定量是用于防止即使实际上没有也判定为有对象的阈值。即使由于干扰光或者其他的原因具有比已知的距离小的错误的测距值的像素包含于距离图像,如果其个数不足规定量,则判定为没有对象。
此外,严格来说,在对象传感器13与照相机12之间有视场的偏移。但是,该偏移是实际对写入的记录没有影响的微小的偏移。由此,在本实施方式1中,设为对象传感器13的视场相当于照相机12的视场,基于通过对象传感器13得到的距离图像,拍摄空间40内的对象被检测。
在检测到拍摄空间40中的对象的存在的情况下,CPU15从距离图像提取与该对象对应的部分(测距值比上述的既知的距离小的部分)。通过该提取,确定出对象的大小以及拍摄空间40中的对象的位置(三维位置)。也可以在提取时,通过照相机12或者对象传感器13获取二维拍摄像进行图像识别,综合距离图像的测距值的比较结果和二维拍摄像的图像识别的结果来判定距离图像的各像素是否与对象对应。
CPU15使对象传感器13以例如0.5~3秒左右的间隔周期性地动作,每次均从对象传感器13获取最新的红外线拍摄数据。CPU15每次从对象传感器13获取红外线拍摄数据,均判定拍摄空间40中的对象的有无,在判定为有对象的情况下,确定对象的大小以及位置。通过周期性地确定对象的位置,能够检测针对拍摄空间40的对象的出入、以及拍摄空间40中的对象的位置的变化。
此外,能够根据拍摄空间40中的对象的有无切换CPU15从对象传感器13获取红外线拍摄数据的周期。在这样的情况下,CPU15在从检测到在拍摄空间40存在对象后开始到之后检测到不存在对象为止的期间(有对象时)中,例如以0.5~1秒左右的间隔获取红外线拍摄数据。在这以外的期间(没有对象时),CPU15以比有对象时长的间隔(例如1~3秒左右)获取红外线拍摄数据。
图3示出了对象的例子。在使用投影仪1进行了演讲时,出入拍摄空间40的对象几乎仅为演讲者8。在本实施方式中,作为对象30,假定了演讲者8的身体(全身或者上半身)31、笔37和握笔37的手311的组合32、指示棒38和握指示棒38的手312的组合33、黑板擦39和握黑板擦39的手313的组合34、指哪里的形状的手35、以及手掌36等。
图4示出板面50与对象30的位置关系的例子。
在图4(A)中,在拍摄空间40内的左右方向的中央部中的板面50的跟前存在对象30。在该情况下,板面50中的左右方向的中央附近隐藏在对象30的后面。所谓“隐藏在对象30的后面”是指被对象30遮挡而从照相机12看不见。
在图4(B)中,在拍摄空间40内的右端部中的板面50的跟前存在对象30。在该情况下,板面50中的右端的附近隐藏在对象30的后面。
在图4(C)中,在拍摄空间40内的右侧部中的接近投影仪1的位置存在对象30。在该情况下,从板面50中的右端的附近到中央部的附近的比较广的部分隐藏在对象30的后面。
图5示出投影仪1的功能构成。投影仪1具有第一检测部101、区域设定部102、第二检测部103、框显示控制部104、以及拍摄控制部105。这些要素是通过CPU15执行程序而实现的功能要素。
第一检测部101是检测对象30的单元。第一检测部101按照上述周期性地从对象传感器13获取最新的红外线拍摄数据,每次获取红外线拍摄数据,均检测拍摄空间40内的对象30的有无。此时,第一检测部101基于获取到的红外线拍摄数据制作距离图像。
区域设定部102是设定上述的目标区域的设定单元。区域设定部102在第一检测部101检测到对象30进入拍摄空间40内时,从第一检测部101获取最新的距离图像,检测对象30的大小以及位置。接下来,区域设定部102基于距离图像的位置关系,确定出板面50中的相对于照相机12隐藏在对象30的后面的部分,根据确定出的部分的大小,如后述那样将板面50划分成多个区域(分割区域)。在划分板面50之后,区域设定部102将多个区域中的具有隐藏在对象30的后面的部分的区域设定为目标区域。
另外,区域设定部102在检测到隐藏在对象30的后面的部分移至不是当前的目标区域的区域时,在此时的对象30的大小与以前相比以超过设定值的程度较大不同的情况下,重新划分板面50并设定目标区域。
第二检测部103是检测拍摄空间40中的对象30的位置的变化的检测单元。第二检测部103在通过区域设定部102设定了目标区域之后,每次通过第一检测部101获取红外线拍摄数据,均从第一检测部101获取最新的距离图像来确定对象30的位置。而且,第二检测部103检测对象30的位置从相对于照相机12隐藏目标区域的位置变化到没隐藏的位置这一情况。
此外,所谓“相对于照相机12隐藏目标区域”是指从照相机12看不到目标区域的整个区域。以下,有时将在某区域中某一部分被对象30遮挡而看不见的状态、即部分或者整个看不见的状态称为“隐藏在对象30的后面的状态”。
框显示控制部104是使投影单元11显示框的单元。框显示控制部104在通过区域设定部102设定了目标区域时,控制投影单元11而在板面50上显示表示目标区域的轮廓的识别图像亦即红色或者其他的规定颜色的框。框表示目标区域的大小以及位置即可,亮度也可以与周围不同。也能够代替框的显示或者与框的显示一起,使目标区域的整个区域的亮度或者背景色与其他的区域不同。也能够对目标区域附加花纹。
拍摄控制部105是通过照相机12获取显示于目标区域的图像的获取单元。拍摄控制部105在通过第二检测部103检测到对象30的位置从隐藏目标区域的位置变化到不隐藏的位置时,控制照相机12以拍摄在该变化之前看不见但在变化之后能看见的目标区域。在本实施方式中,以拍摄包括目标区域的板面50的整个区域的方式进行控制。
图6示出板面50的拍摄所涉及的目标区域的设定的一个例子,图7示出根据对象30的移动进行的拍摄的第一例。在这些图的例子中,假定了演讲者8对白板5进行写入,之后一边在白板5前面走动或者停住一边继续演讲的场面。投影仪1根据作为对象30的演讲者8的位置的变化,按照下述设定目标区域,进行用于记录目标区域内的写入内容的拍摄。
在图6(A)中,通过计算机7给予的图像90被投影到白板5。图中所示的图像90是棒状图表。演讲者8面向白板5站在左侧的旁边。
此外,照相机12的视场被以白板5中的板面50的整个区域位于拍摄空间40的方式调整。在图6中,虽然板面50正好位于拍摄空间40,但并不局限于此。照相机12的视场也可以以包括可能进行写入的区域亦即板面50以及其周围的范围位于拍摄空间40内的方式调整。换句话说,至少能够拍摄板面50的整个区域即可。
在图6(A)的阶段中,在拍摄空间40的外面的演讲者8向右方移动,从而如图6(B)那样站在板面50的左端部的前面进行写入。在图6(B)中,字符串80被写入板面50的左端部。
在从图6(A)的状态向图6(B)的状态迁移的中途,在演讲者8进入拍摄空间40中的时间点,第一检测部101将演讲者8作为对象30进行检测。若从第一检测部101接受检测到对象30的通知,则区域设定部102根据对象30将板面50划分成多个区域51、52、53。在图6(B)的例子中,以在左右方向上三等分的方式板面50被划分成三个区域51、52、53。
对于板面50的划分,几个划分模式预先被作为选择项规定,表示这些划分模式的数据存储于非易失性存储器17。区域设定部102根据对象30的大小选择任意一个划分模式来划分板面50。
例如,作为对象30的上下方向的尺寸比阈值(例如板面50的上下方向的尺寸的二分之一)大的情况下的选择项,分别有从板面50的上端到下端的二个、三个或者四个以上的区域左右排列的划分模式。在对象30的上下方向的尺寸比阈值大的情况下,根据对象30的左右方向的尺寸选择这些划分模式的任一个,并根据选择结果划分了板面50。左右方向的尺寸越大,选择左右方向的划分个数越少的划分模式。图6(B)的例子是选择了三个区域排列的划分模式的例子。
另外,作为对象30的上下方向的尺寸比上述的规定的阈值小的情况的选择项,有将板面50上下分成二个,左右分成二个、三个或者四个以上这样的划分模式。在对象30的上下方向的尺寸比上述的规定的阈值小的情况下,这些划分模式的任一个根据对象30的左右方向的尺寸被选择,根据选择结果划分了板面50。后述的图8(A)的例子是选择了共计六个区域排列的划分模式的例子。
在这样划分板面50时,区域设定部102以作为目标区域的区域为在具有收纳了整个隐藏在对象30的后面的部分的大小的范围内最小的区域的方式选择划分模式的选择项的一个。各区域小有利于实现演讲者8能够不注意拍摄地行动的环境。通过使区域的大小为收纳了整个隐藏在对象30的后面的部分的大小,能够尽量减少写入被部分欠缺地记录的情况。
若将板面50划分成多个区域51、52、53,则区域设定部102辨别多个区域51、52、53中隐藏在对象30的后面的区域51。而且,区域设定部102将辨别出的这样的区域51设定为目标区域。实施方式1中的目标区域是板面50中的有时隐藏在对象30的后面的部分。在目标区域中,有在隐藏在对象30的后面时进行了某些写入的可能性。在图6(B)的情况下,左右排列的三个区域51、52、53中左面的区域51被设定为目标区域。
若目标区域被区域设定部102设定,则框显示控制部104控制投影单元11显示表示目标区域的轮廓的框510。投影单元11使用重叠投影描绘图像90的图层和描绘框510的图层的方法,显示显示有图像90的框510。
通过显示了框510,演讲者8能够知道板面50内的哪个范围的写入内容被记录。
此外,也可以设置显示框510的模式和不显示的模式,投影仪1的用户能够适当地选择这些模式的一个。在选择了不显示的模式的情况下,框显示控制部104不进行使投影单元11显示框510的控制。
在图6(B)的阶段中站在板面50的左端部的前面的演讲者8向右方移动,如图6(C)那样站在了隐藏板面50中的区域52、53的位置。
在从图6(B)的状态向图6(C)的状态迁移的中途,在演讲者8移动到不隐藏该时刻的目标区域亦即区域51的位置的时间点,换言之,在演讲者8从拍摄空间40中的正好收纳了目标区域的部分亦即目标区域空间出来的时间点,作为对象30的演讲者8的位置变化被第二检测部103检测。而且,此时,拍摄控制部105控制照相机12拍摄板面50。
在本实施方式1中,拍摄整个板面50,将得到的拍摄数据中的与目标区域对应的部分保存到非易失性存储器17。但是,并不局限于此,也可以选择性地拍摄板面50中的目标区域。
在拍摄数据的保存时,为了知道在哪个图像被显示时进行了拍摄,而对保存的拍摄数据附加当前显示的图像90的识别信息。另外,为了知道拍摄数据与板面50的哪里对应,附加了目标区域的位置信息。并且,为了在相同的图像90被显示的期间进行了多次的拍摄的情况下知道拍摄的顺序,确定拍摄的顺序的信息或者拍摄时刻也附加于拍摄数据。
拍摄控制部105以从通过照相机12得到的拍摄数据中提取与目标区域对应的部分并压缩的方式控制图像处理部18,并对得到的压缩后的拍摄数据附加图像90的识别信息等来储存到非易失性存储器17。
若为了这样记录区域51中的写入内容而拍摄了板面50,则区域设定部102解除将区域51作为目标区域的设定。
另一方面,在图6(C)中,演讲者8站在分别部分隐藏二个区域52、53的位置。若直至成为该状态为止演讲者8站着移动,则区域设定部102检测的对象30的大小与在图6(B)的状态下检测到的大小几乎没有变化。因此,保持着将板面50划分成三个区域51、52、53的状态,对于各区域51、52、53,判定是否是隐藏在对象30的后面的区域。
区域设定部102在演讲者8移动到隐藏区域52的位置的时间点,将区域52判定为是隐藏在对象30的后面的区域。而且,将区域52设定为目标区域。接受该设定,框显示控制部104使投影单元11显示表示作为目标区域的区域52的轮廓的框520。
另外,在演讲者8移动到隐藏区域53的位置的时间点,区域设定部102将区域53判定为是隐藏在对象30的后面的区域。而且,将区域53设定为目标区域。接受该设定,框显示控制部104使投影单元11显示表示作为目标区域的区域53的轮廓的框530。
因为即使演讲者8移动到隐藏区域53的位置,另外区域52隐藏在演讲者8的后面的状态也继续,所以将区域52作为目标区域的设定不被解除。因此,在图6(C)中,二个区域52、53均是目标区域,该情况通过投影框520、530来显示。
在图7(A)中,与图6(C)相同的状态被简略描绘。演讲者8在对区域51进行了写入之后,如图示那样站在分别部分隐藏区域52和区域53的位置。在图7(A)中,二个区域52、53分别被设定为目标区域。
在成为图7(A)的状态的以前的对区域51进行了写入的演讲者8向不隐藏区域51的位置移动的时间点,如上述那样为了记录区域51中的写入内容而进行了板面50的拍摄,区域51的拍摄数据D511被保存。
演讲者8从图7(A)的状态向左方移动而成为图7(B)的状态。在图7(B)中,演讲者8以分别部分隐藏区域51和区域52的方式站在板面50的前面。
在演讲者8从图7(A)的状态向左方移动的过程中,成为在图7(A)中作为目标区域的区域53不被演讲者8隠藏的状态。在成为该状态的时间点进行了板面50的拍摄,区域53的拍摄数据D531被保存。
在图7(B)中,区域51和区域52分别隐藏在演讲者8的后面,这二个区域551、52分别被设定为目标区域。另外,将区域53作为目标区域的设定被解除。
演讲者8从图7(B)的状态向左方进一步移动而成为图7(C)的状态。在图7(C)中,演讲者8站在板面50的左端部的前面,区域51隐藏在演讲者8的后面。
在演讲者8从图7(B)的状态向左方移动的过程中,成为在图7(B)中作为目标区域的区域52不隐藏在演讲者8的后面的状态。在成为该状态的时间点进行了板面50的拍摄,区域52的拍摄数据D521被保存。在图7(C)中,区域51被设定为目标区域,将区域52作为目标区域的设定被解除。
演讲者8从图7(C)的状态向左方进一步移动而成为图7(D)的状态。在图7(D)中,演讲者8面向板面50站在左侧的旁边。板面50不隐藏在演讲者8的后面。
在演讲者8从图7(C)的状态向左方移动的过程中,成为在图7(C)中作为目标区域的区域51不隐藏在演讲者8的后面的状态。在成为该状态的时间点进行了板面50的拍摄,区域51的拍摄数据D512被保存。在图7(D)中,将区域51作为目标区域的设定被解除。
图8示出根据对象30的移动进行的拍摄的第二例。在图8的例子中,假定了如图6(A)那样面向板面50站在左侧的演讲者8蹲下对板面50的左下角部进行写入,之后,站起向右方稍稍移动,站着向左方返回这样的场面。
在图8(A)中,板面50的左下角部隐藏在蹲着的演讲者8的后面。这里,在成为图8(A)的状态的以前的演讲者8进入拍摄空间40中的时刻,演讲者8已经蹲下。换句话说,在第一检测部101检测到对象30并且区域设定部102划分板面50时,对象30的上下方向的尺寸比规定的阈值小。在该情况下,板面50通过区域设定部102如图8(A)那样例如划分为2行3列排列的六个区域54、55、56、57、58、59。
在图8(A)中,六个区域54~59中隐藏在演讲者8的后面的区域57被设定为目标区域。
演讲者8从图8(A)的状态站起并向右方移动而成为图8(B)的状态。在图8(B)中,演讲者8站在板面50的中央部的前面。
在演讲者8从图8(A)的状态向右方移动的过程中,成为在图8(A)中作为目标区域的区域57不隐藏在演讲者8的后面的状态。在成为该状态的时间点进行了板面50的拍摄,区域57的拍摄数据D571被保存。
另一方面,通过在演讲者8从图8(A)的状态向右方移动时如图8(B)那样站起,关于板面50的划分的对象30的大小增大。区域设定部102检测到该情况而重新划分板面50。在图8(B)中,与图6、7的例子相同,板面50被划分为三个区域51、52、53。而且,中央的区域52被设定为目标区域,将区域57作为目标区域的设定被解除。
保持演讲者8站起的姿势从图8(B)的状态向左方移动而成为图8(C)的状态。在图8(C)中,演讲者8站在板面50的左端部的前面。
在演讲者8从图8(B)的状态向左方移动的过程中,成为在图8(B)中作为目标区域的区域52不隐藏在演讲者8的后面的状态。在成为该状态的时间点进行了板面50的拍摄,区域52的拍摄数据D521被保存。而且,将该区域52作为目标区域的设定被解除,隐藏在演讲者8的后面的区域51被设定为目标区域。
之后,虽然省略了图示,但在成为区域51不隐藏在演讲者8的后面的状态的时间点进行了板面50的拍摄,区域51的拍摄数据被保存。
图9是根据对象的移动进行的拍摄的第三例的图。在第三例中,假定了通过投影仪1将图像90投影到放置在桌子上或者粘贴在墙壁的素色的纸的纸面60的场面。
在图9(A)中,投影仪1的用户对投影有图像90的状态的纸面60中的右上部进行写入。作为笔和握笔的用户的手的组合的对象30存在于相对于投影仪1隐藏纸面60的位置。
与上述的第一例以及第二例相同地,通过第一检测部101检测到在拍摄空间42内有对象30。拍摄空间42是投影仪1的照相机12与纸面60之间的空间。从第一检测部101接受对象30存在的检测结果的通知,区域设定部102划分纸面60设定目标区域。在图9(A)中,纸面60以将其四等分为2行2列的方式被划分成四个区域61、62、63、64,这些区域61、62、63、64中隐藏在对象30的后面的区域62被设定为目标区域。
用户使手从图9(A)的状态向图的下方移动而成为图9(B)的状态。在图9(B)中,用户对纸面60中的右下部进行写入,纸面60隐藏在对象30的后面。在图9(B)的状态中区域64被设定为目标区域。
在用户的手从图9(A)的状态向图的下方移动的过程中,成为在图9(A)中作为目标区域的区域62不隐藏在对象30的后面的图9(B)的状态。在这样的状态迁移所涉及的对象30的位置的变化被第二检测部103检测到时,拍摄控制部105控制照相机12拍摄纸面60。而且,通过拍摄控制部105,纸面60的拍摄数据中的与区域62对应的部分亦即拍摄数据D621被储存于非易失性存储器17。由此,对于结束了写入的记录的区域62,作为目标区域的设定被解除。
参照图10的流程图总结以上的实施方式1的投影仪1中的处理的流程。这里,使用白板5作为投影的屏幕。
投影仪1根据来自计算机7的指示,将从计算机7给予的图像90投影到白板5(S10)。
若第一检测部101检测到在拍摄空间40中有对象30(S11中是),则区域设定部102根据对象30的大小将板面50划分成多个区域(分割区域)51~53或者54~59(S12)。另外,区域设定部102辨别多个区域中隐藏在对象30的后面的区域,将辨别出的区域设定为关于拍摄数据的保存的目标区域。而且,框显示控制部104使投影单元11显示表示所设定的目标区域的位置的框510、520、530(S13)。
若第二检测部103检测到对象30的位置在拍摄空间40中的照相机12与目标区域之间的部分亦即目标区域空间从内向外发生了变化(S14中是),则拍摄控制部105使照相机12拍摄板面50(S15)。而且,拍摄控制部105将通过照相机12得到的拍摄数据中的与目标区域对应的部分储存到非易失性存储器17(S16)。此时,作为将拍摄数据与图像90建立关联地保存的处理,例如将图像90的识别信息附加到拍摄数据。
直至从计算机7指示了图像的切换或者投光的结束为止,图像90的投影继续。投影仪1检查图像90的投影是否结束(S17),在投影未结束的情况(S17中否)下,返回到步骤S11继续用于记录图像90的显示中的写入内容的处理(S11~S17)。在图像90的投影结束了的情况(S17中是)下,投影仪3结束图9所示的动作。
此外,在根据图像的切换指示结束了图像90的投影的情况下,记录代替图像90显示的图像的显示中的写入内容,所以重新执行步骤S10~S17。
按照上述,在实施方式1中,将通过划分板面50或者纸面60而得到的多个区域51~59或者61~64的各个作为写入的记录的单位。由此,能够将以对象30不映入记录的拍摄像的方式进行拍摄的时期作为对象30移动到板面50或者纸面60内的不隐藏关注的部分的位置的时刻。与此相对的,在将整个板面50作为记录的单位的情况下,直至对象移动到对象30不隐藏板面50的任一部分的位置为止,不得不等待拍摄。
实施方式1与将整个板面50或者纸面60作为记录的单位的构成相比较,具有如下的(1)~(2)的效果。
(1)在使用于演讲的情况下,演讲者8为了使投影仪1记录写入内容,而从进行了写入的区域的前面走开即可,无需从板面50的前面退避。因此,虽然也取决于进行了写入的位置,但是总体来看,在进行了写入之后要进行的移动(走开)的距离短。特别是,在演讲者8频繁地进行写入的情况下,对于演讲者8来说每次进行写入的移动麻烦成为较大的负担。但是,由于移动距离变短,这样的演讲者8的负担被减少。
在对纸面60进行了写入的情况也相同,投影仪1的用户能够在对纸面60进行了写入之后,仅通过使握文具的手移动到不隐藏目标区域的位置就使写入内容记录,无需使手较大地移动到不隐藏纸面60的位置。由于使手移动的距离变短,从而用户的负担被减少。
(2)在使用于演讲的情况下,即使演讲者8不注意写入后的自己的行动继续演讲,也能够减少写入的记录的漏记。换句话说,在演讲中,通常演讲者8不会一直在板面50的前面,而在进行了写入之后为了听众能看见写入的区域而改变站立位置或者放下握笔的胳膊。只要进行通常的行动,完成了写入的区域不隐藏的状态自然地产生,用于记录写入的拍摄被自动地进行。
与此相对的,在将整个板面50作为记录的单位的构成中,在演讲者8进行了写入之后,不从拍摄空间40出来就切换图像或者结束演讲的情况下,不管板面50内的写入的位置如何,一切的写入均不被记录。在实施方式1中,只要演讲者8向不隐藏进行了写入的区域的位置移动就进行拍摄,所以与将整个板面50作为记录的单位的构成相比,在图像90的显示中进行的一切的写入均不被记录这样的情况产生的概率小。
在对纸面60进行了写入的情况下也相同,即使用户不注意写入后的手的移动自然地动作,产生写入的记录的漏记的情况也少。
在实施方式1中,划分板面50或者纸面60的方式并不局限于如上述那样根据对象30的大小选择划分多个划分模式的选择项的任一个来划分,也可以固定划分模式。另外,也可以预先存储多个划分模式,根据用户进行的模式的选择,应用任一个划分模式来划分板面50或者纸面60。例如,设置适于演讲的第1模式和适于商谈的第2模式。而且,在选择了第1模式的情况下,如图6的例子那样划分为假定身体31作为对象30的上下长的多个区域51~53,在选择了第2模式的情况下,如图9的例子那样划分为假定握文具的手作为对象30的大小的多个区域61~64。
在根据对象30的大小变更的情况下、固定的情况下,划分模式都不局限于划分为图6、图8或者图9所示的1×3、2×3或者2×2的矩阵的模式。可以是划分为包括1×2、1×4、2×4、3×1、3×2、3×3的矩阵的任意的矩阵的模式。无需等分板面50或者纸面60,例如能够划分成包括隐藏在对象30的后面的部分和其周围的规定的空白的最小的矩形的区域和除此以外的区域。多个区域的各个的形状能够通过这些区域的集合遍布板面50或者纸面60的整个区域即可,也可以是矩形以外的多边形或者不规则形。
实施方式2
在上述的实施方式1中,实际上不检测是否对板面50进行了写入,就设定了板面50中的保存拍摄数据的区域亦即目标区域。与此相对的,在本实施方式2中,例如在与图1所示的例相同地使用的情况下,检测板面50中的实际对板面50进行了写入的区域,将检测到的区域扩大规定的量的区域作为目标区域设定。
图11示出实施方式2的投影仪2的功能构成。投影仪2与实施方式1的投影仪1相同地具有图2所示的硬件构成。而且,投影仪2具有第一检测部201、区域设定部202、第二检测部203、框显示控制部204、以及拍摄控制部205。这些要素是通过CPU15(参照图2)执行程序而实现的功能要素。
第一检测部201是检测板面50中的进行了写入的部分的单元。第一检测部201在正对板面50进行写入的时候,检测通过该进行中的写入附着了颜色材料的部分(将此称为“写入像”)。写入像的检测例如如下那样进行。
第一检测部201例如以1~3秒左右的间隔使对象传感器13动作,每次使其动作均从对象传感器13获取红外线拍摄数据来制作距离图像。第一检测部201基于距离图像检测与板面50接近的对象30。若检测到这样的对象30,则第一检测部201使照相机12以比检测对象30之前短的间隔(例如0.5~1秒左右)周期性地拍摄板面50,并比较最初的拍摄像和最新的拍摄像,提取像素值不同的部分(差分)。此时,将比较的对象范围集中在对象30的位置的附近。由此,能够高效地提取差分。另外,在对象30对板面50进行写入,并对距离该写入一定程度以上的位置新进行写入的情况下,能够对于前面的写入和后面的写入的每一个提取差分。
对象30映入拍摄像。因此,第一检测部203通过距离图像的解析或者拍摄像的图像识别确定出差分所包含的对象30的像。而且,第一检测部201将从差分除去了对象30的像的剩余作为写入像检测。
此外,第一检测部201控制图像处理部18以使图像处理部18进行差分的提取、对象30的像的确定、以及对象30的像从差分消去这样的图像处理,由此第一检测部201也可以检测写入像。
写入像的面积随着写入进行而变大。例如,在用户写入字符串的情况下,随着写入的文字数变多,写入像的面积变大。另外,若写入像被部分地抹去则写入像的面积变小,若写入像整体被抹去则为0。写入像的面积这样根据用户的动作变化。
第一检测部201周期性地检测写入像。而且,将检测到的写入像的板面50上的位置作为检测结果依次向区域设定部202通知。
区域设定部202是设定板面50中的作为保存拍摄数据的处理的目标的目标区域的设定单元。区域设定部202因为记录被第一检测部201检测到的写入像,所以设定与第二检测部203协作的目标区域。设定的步骤如下。
区域设定部202在检测结果初次从第一检测部201通知时,设定与写入像对应的临时目标区域。临时目标区域是相当于将包含写入像的最小的矩形的区域(写入像与其轮廓内接)向四方扩张规定的扩张量的区域的矩形的区域。四方的各个的扩张量例如为写入像的尺寸(像素数)的5~20%左右。对于与写入像中的与对象的像接触的部分对应的部位的扩张量有可能写入内容被对象隐藏,所以可以比其他的部位的扩张量大。
区域设定部202直至从第二检测部203接受到对象30从临时目标区域空间出来的通知为止,每次接受来自第一检测部101的第二次以后的检测结果的通知,均更新临时目标区域。所谓“临时目标区域空间”是拍摄空间40中的照相机12与临时目标区域之间的部分。若从第二检测部203接受对象30从临时目标区域空间出来的通知,则区域设定部202将该时刻的临时目标区域设定为目标区域。
之后,在从目标区域的设定到经过规定的等待时间的期间内,在从第二检测部203接受到对象30进入了目标区域空间的通知的情况下,区域设定部202解除将临时目标区域作为目标区域的设定。即,将目标区域返回到临时目标区域。而且,在该情况下,区域设定部202根据之后的来自第一检测部201的检测结果更新临时目标区域。
换句话说,在对象30以比规定的等待时间(例如1~5秒的范围内的时间)短的间隔出入目标区域空间的情况下,认为是写入进行中。因此,控制投影仪2,使得在经过等待时间之前的期间中不确定目标区域,根据对象30的移动进行临时目标区域和目标区域的切换。
第二检测部203是检测拍摄空间40中的对象30的位置的变化的检测单元。第二检测部203在临时目标区域被区域设定部202设定之后,周期性地确定对象30的位置。其周期例如为与第一检测部201的写入像的检测的周期相同。但是,并不局限于此,既可以比写入像的检测的周期短也可以比它长。
第二检测部203每次确定出对象30的位置,均比较这次的位置与上次的位置,由此分别检测对象30从临时目标区域空间出来的情况、以及对象进入了目标区域空间的情况。而且,将检测结果通知区域设定部202。
对象30从临时目标区域空间出来相当于成为临时目标区域不隐藏在对象30的后面的状态。另外,对象30进入了目标区域空间相当于成为目标区域隐藏在对象30的后面的状态。目标区域空间是拍摄空间40中的照相机12与目标区域之间的部分。
框显示控制部204是使投影单元11显示框的单元。框显示控制部204在通过区域设定部202设定了临时目标区域时,控制投影单元11在板面50上显示表示临时目标区域的轮廓的第一颜色(例如红色)的框。另外,框显示控制部204在通过区域设定部202设定了目标区域时,控制投影单元11代替第一颜色的框而在板面50上显示表示目标区域的轮廓的第二颜色(例如蓝色)的框。
拍摄控制部205是通过照相机12获取显示于目标区域的图像的获取单元。拍摄控制部205在通过区域设定部202设定了目标区域后经过了上述的等待时间时,控制照相机12拍摄板面50。
通过第一颜色的框被显示,演讲者8能够知道预定了通过拍摄进行记录的写入像。通过第二颜色的框被显示,演讲者8能够知道现在开始打算记录的写入像。
图12示出投影仪2的临时目标区域的设定的一个例子。在图12(A)以及(B)中,描绘了用户在白板5正在进行写入的情况。在图示的例子中,投影仪2的照相机12的视场被调整为白板5的可写入的面亦即板面50的整个区域收纳于拍摄空间40。
在图12(A)中,字符串82已经被写在投影有图像90的板面50。板面50的一部分隐藏在笔和握笔的手的组合亦即对象30的后面。
字符串82作为写入像被第一检测部201检测,包含字符串82的矩形的临时目标区域71被区域设定部202设定。而且,显示临时目标区域71的大小以及位置的框710被投影。
在图12(B)中,对图12(A)所示的字符串82添写了文字的字符串82b被写入。遍及比字符串82更广的范围的字符串82b作为写入像被第一检测部201检测,以包含字符串82b的方式通过区域设定部202设定了临时目标区域71b。而且,显示临时目标区域71b的大小以及位置的框710b被投影。
对比图12的(A)和(B)可知,在写入量增加的情况下,增加之前的临时目标区域71被更新为更广的临时目标区域71b。
图13是临时目标区域的缩小的例子的图。
在图13(A)中,描绘了用户写入字符串82b的阶段中临时停止写入并使胳膊向右方移动的情况。临时目标区域71b仍旧被设定,且框710b被投影。对象30在临时目标区域71b的右侧存在,其几乎整个从拍摄空间40出来。
在图13(B)中,描绘了用户正在抹去字符串82b的一部分的情况。在板面50的右上半部的前面存在黑板擦和握黑板擦的手的组合亦即对象34。
字符串82b的右端部已经被抹去,字符串82c残留。该残留的字符串82c作为写入像被第一检测部201检测,包含字符串82c的临时目标区域71c被区域设定部202设定。而且,显示临时目标区域71c的大小以及位置的框710c被投影。
对比图13的(A)和(B)可知,在写入量减少的情况下,减少之前的临时目标区域71b被更新为更窄的临时目标区域71c。
图14示出投影仪2的板面50的拍摄的一个例子。在该例子中,假定了在板面50的右上部写入字符串82b的用户继续对板面50的右下部进行写入的场面。
在图14中,包含字符串82b的目标区域71A已经被设定,表示目标区域71A的框710A被投影。另外,字符串83被写入板面50的右下部,包含字符串83的临时目标区域72被设定,与临时目标区域72对应的框720被投影。对象30与临时目标区域72接触,但离开了照相机12与目标区域71A之间的空间亦即目标区域空间471。
在设定了目标区域71A之后,对象30在目标区域空间471的外面存在的状态在上述的等待时间内持续时,通过投影仪2的照相机12进行了板面50的拍摄。而且,目标区域71A的拍摄数据D711与实施方式1相同地保存于非易失性存储器17。拍摄数据D711是通过从板面50的拍摄数据提取目标区域71A映出的部分的图像的切出得到的数据。
参照图15和图16所示的流程图来总结以上的实施方式2的投影仪2中的处理的流程。
投影仪2根据来自计算机7(参照图1)的指示,将从计算机7给予的图像90投影到白板5(图15的S20)。
在拍摄空间40中有对象30的情况(S21中是)下,执行用于第一检测部201检测写入像的上述的处理(S22)。详细而言,从检测到对象30进入了拍摄空间40中时起,周期性地执行处理。在写入未进行的情况下,当然,在步骤S22中写入像不被检测。在检测到写入像的情况下,第一检测部201向区域设定部202通知写入像的位置。
在以前未被检测到的写入像的位置从第一检测部201通知时,区域设定部202设定包含该写入像的临时目标区域(S23)。而且,框显示控制部204控制投影单元11投影表示被设定的临时目标区域的大小以及位置的第一颜色(例如红色)的框(S24)。在多个临时目标区域被设定的情况下,显示了与它们的各个对应的框。
之后,每次写入像的位置从第一检测部201通知,区域设定部202均根据需要放大或者缩小临时目标区域(S25)。换句话说,根据写入继续或者抹去,更新临时目标区域。这样的临时目标区域的更新在对象30从临时目标区域空间出来的情况未被第二检测部203检测的期间(S26中否)中,每次通过第一检测部201检测到写入像均进行。
若对象30从临时目标区域空间出来的情况被第二检测部203检测到(S26中是),流程向图16的步骤S27前进,区域设定部202将与该临时目标区域空间对应的临时目标区域变更为目标区域。即,将临时目标区域按原样设定为目标区域。框显示控制部204控制投影单元11投影表示目标区域的大小以及位置的第二颜色(例如蓝色)的框(S28)。
在设定了目标区域时,第二检测部203开始计时,检查在等待时间内对象30是否进入目标区域空间(S29)。作为在等待时间内对象30进入目标区域空间的情况,例如考虑了“用户打算对目标区域的写入进行补写、或者对写入进行修正或者抹去而接近目标区域”这样的情况。
在对象30进入了目标区域空间的情况被第二检测部203检测到的情况(S29中是)下,区域设定部202判断为存在写入像被用户变更的可能性,将目标区域返回到临时目标区域(S33)。在该情况下,流程从图16的步骤S33返回到图15的步骤S24。
另一方面,在设定了目标区域之后,在等待时间内对象30未进入与该目标区域对应的目标区域空间的情况下,步骤S29的检查结果为否。在步骤S29的检查结果是否的情况下,拍摄控制部205使照相机12拍摄板面50(S30)。而且,拍摄控制部205从通过照相机12得到的拍摄数据提取与目标区域对应的部分并储存到非易失性存储器17(S31)。换句话说,保存目标区域的拍摄数据。
在拍摄数据的保存时,作为将拍摄数据与图像90建立关联的处理,拍摄控制部205例如将图像90的识别信息附加到拍摄数据。另外,为了知道拍摄数据与板面50内的哪里对应,将确定板面50中的目标区域的位置的位置信息附加到拍摄数据。并且,在一个图像90的显示中对多处位置进行了写入的情况下,为了知道写入的顺序,将确定保存的多个拍摄数据的时间序列的信息(例如拍摄时刻)附加到拍摄数据。
对于拍摄出的目标区域,区域设定部202解除将该区域作为目标区域的设定。也不会变更为临时目标区域。
直至从计算机7指示了图像的切换或者投光的结束为止,图像90的投影继续。投影仪2检查图像90的投影是否结束(S32),在投影未结束的情况(S32中否)下,返回到步骤S21继续用于记录图像90的显示中的写入内容的一系列的处理(S21~S33)。在图像90的投影结束的情况(S32中是)下,投影仪3结束图15以及图16所示的动作。
此外,在根据图像的切换指示结束了图像90的投影的情况下,为了记录代替图像90显示的图像的显示中的写入内容,而重新执行步骤S20~S33。
根据以上的实施方式2,得到了与实施方式1相同的效果。即,演讲者8能够在对白板5进行了写入之后,仅通过移动到不隐藏临时目标区域的位置来使写入内容记录,无需较大地移动到不隐藏板面50的位置。
另外,在实施方式2中,保存实际进行了写入的区域的拍摄数据,所以没有保存未进行写入的区域的拍摄数据这样的不必要的动作。
在实施方式1、2中,对象30的检测所涉及的测距方法不局限于TOF法。例如,也可以比较视点不同的二个拍摄像来求出被拍摄体的视差,利用三角测量的方法计算从视点到对象30的距离。在该情况下,作为对象传感器13,使用具有发光元件和二个拍摄设备的传感器。
也可以通过基于利用照相机12拍摄出的板面50或者纸面60的拍摄像的图像识别进行拍摄空间40、42内的对象30的大小以及三维位置的确定。对于三维位置的确定,有将拍摄像内的对象30的部分与对象的影的部分的距离换算成对象30与板面50或者纸面60的距离的方法。
能够在将目标区域的拍摄数据储存到非易失性存储器17之后或者不储存而将该拍摄数据向计算机7转送。在从板面50或者纸面60的拍摄数据切出目标区域的拍摄数据D511、D531、D521、D512、D571、D621、D711时,既可以切出框510、520、530、710A的内侧的范围来记录写入像,也可以包括框510、520、530、710A来切出,记录被框510、520、530、710A包围的写入像。写入像并不局限于字符串80、82、82b、83,也可以是线、图形、或者它们与文字的组合。
能够不拍摄整个板面50、60来提取目标区域的拍摄数据D511、D531、D521、D512、D571、D621、D711,而是进行选择性地将目标区域收纳于视场中的变焦来拍摄,由此能够得到目标区域的拍摄数据。也可以从照相机12选择性地取出在其受光面排列的受光元件中的与目标区域对应的受光元件的输出。
在实施方式2中,能够代替颜色区分与临时目标区域对应的框和与目标区域对应的框,而使亮度或者花纹不同来区别它们。也可以设置显示框的模式和不显示框的模式,投影仪2的用户能够适当地选择这些模式的一个。也能够代替框的显示或者与框的显示一起,使临时目标区域以及目标区域的各个的亮度或者背景色与该区域的周围的亮度或者背景色不同。也可以对临时目标区域和目标区域分别附加不同的花纹。
在实施方式2中,也可以预先存储拍摄出的目标区域内的写入像的位置,在第一检测部201检测到存储的位置或者在其附近的写入像的情况下,将包含合并了检测到的写入像和存储的位置的像的像的区域的位置作为新的写入像的检测结果向区域设定部202通知。通过这样做,在进行了对以前的写入补写的写入的情况下,不只是补写的部分,也能够记录整个补写后的写入。
在实施方式1、2中,列举了投影单元11和照相机12被一体化的投影仪1、2,但在投影图像的显示单元和拍摄投影面的拍摄单元如图17所示的系统构成那样被分成二个装置的一个和另一个的情况下,也能够应用本发明。
在图17中,进行投影和拍摄的系统3由具备便携式的投影仪3A和照相机(拍摄单元)的便携式的信息终端3B构成。信息终端3B例如是智能手机。
投影仪3A例如将图像投影到作为可写入的屏幕被放置在桌子上的纸6。投影仪3A配置于俯视纸6的位置,投影仪2A的投光的范围被调整为使用纸6的纸面60的一部分作为投影面60A。
信息终端3B拍摄纸6。信息终端3B也配置于俯视纸6的位置,信息终端3B的照相机的视场被调整为能够拍摄存在被写入的可能性的纸面60的整个区域。
在系统3中,能够实现与上述的实施方式1的投影仪1相同的功能、或者与实施方式2的投影仪2相同的功能。在实现与投影仪1相同的功能的情况下,系统3具有与图5所示的第一检测部101、区域设定部102、第二检测部103、框显示控制部104、以及拍摄控制部105同等的功能要素。另外,在实现与投影仪2相同的功能的情况下,系统3具有与图11所示的第一检测部201、区域设定部202、第二检测部203、框显示控制部204、以及拍摄控制部205同等的功能要素。
实现与投影仪1相同的功能的情况、实现与投影仪2相同的功能的情况均能够在投影仪3A设置多个功能要素的一部分,在信息终端3B设置其余的功能要素。例如,能够在投影仪3A设置框显示控制部104、204,在信息终端3B设置其余的第一检测部101、201、区域设定部102、202、第二检测部103、203、以及拍摄控制部105、205。
投影仪1、2以及系统3的构成、动作、形状、用途等能够在按照本发明的主旨的范围内适当地变更。检测对象30的有无、对象30的位置的变化、或者写入像的周期并不局限于作为例子举出的值,能够根据投影仪1、2以及系统3的用途最佳化。例如,在实施方式1中,能够通过较长地选定对象30的有无的检测的周期,来减少记录实际未进行写入的区域的拍摄数据。
符号说明
1、2...投影仪(拍摄系统);11...投影单元(显示单元);12...照相机(拍摄单元);101、201...第一检测部;103、203...第二检测部(检测单元);102、202...区域设定部(分割区域设定单元);104、204...框显示控制部;105、205...拍摄控制部(获取单元);50...板面(面);60...纸面(面);8...演讲者(物体);30、31、32、33、34...对象(物体);40...拍摄空间(空间);471目标区域空间(第二空间);510、520、530、710、710b、710c、720...框(识别图像);710A...框(识别图像);D511、D531、D521、D521、D512...拍摄数据(图像);D571、D521、D621、D711...拍摄数据(图像);51~59...区域(分割区域);61~64...区域(分割区域);71A...目标区域(区域);71、71b、71c、72...临时目标区域(第二区域);82、82b、82c...字符串(第三区域);15...CPU(计算机);3...系统(拍摄系统);3A...投影仪;3B...信息终端(计算机);42...拍摄空间(空间)。
Claims (10)
1.一种拍摄系统,其特征在于,具有:
拍摄单元,其对面进行拍摄;
检测单元,其检测物体在所述面与所述拍摄单元之间的空间中的位置的变化;以及
获取单元,其在通过所述检测单元检测到所述变化的情况下,通过所述拍摄单元获取所述面中的从该拍摄单元因所述物体而在该变化之前无法看见但在该变化之后能够看见的区域的图像。
2.根据权利要求1所述的拍摄系统,其特征在于,
具有分割区域设定单元,该分割区域设定单元根据所述物体占所述空间的尺寸将所述面划分成多个分割区域,
所述获取单元在通过所述检测单元检测到所述物体从所述多个分割区域中的一个与所述拍摄单元之间的第二空间出来这一情况作为所述变化的情况下,将该一个分割区域作为所述区域来获取所述图像,
所述分割区域设定单元在所述物体进入所述空间的情况下、以及所述物体从所述第二空间向所述多个分割区域中的另一个与所述拍摄单元之间的第三空间移动的情况下,重新划分所述面。
3.根据权利要求1所述的拍摄系统,其特征在于,
所述面被划分成多个分割区域,
所述获取单元在通过所述检测单元检测到所述物体从所述多个分割区域中的一个与所述拍摄单元之间的第二空间出来这一情况作为所述变化的情况下,将该一个分割区域作为所述区域来获取所述图像。
4.根据权利要求2或者3所述的拍摄系统,其特征在于,
具有显示单元,该显示单元在所述面显示识别图像,所述识别图像指示所述多个分割区域中的因所述物体而从所述拍摄单元无法看见的分割区域。
5.根据权利要求4所述的拍摄系统,其特征在于,
所述显示单元还在通过所述检测单元检测到所述物体从所述第二空间出来这一情况时,在所述面显示第二识别图像,所述第二识别图像指示所述多个分割区域中的该第二空间所涉及的分割区域并且与所述识别图像不同。
6.根据权利要求1所述的拍摄系统,其特征在于,
具有检测面上的写入的写入检测单元,
所述获取单元在通过所述检测单元检测到所述物体从作为包括所述写入的一部分的第二区域与所述拍摄单元之间的第二空间出来这一情况作为所述变化的情况下,将该第二区域作为所述区域来获取所述图像。
7.根据权利要求6所述的拍摄系统,其特征在于,
所述写入检测单元定期地检测所述写入,
所述第二区域是将所述写入内接的第三区域扩大规定的量的区域。
8.根据权利要求6所述的拍摄系统,其特征在于,
具有显示单元,该显示单元在所述面显示表示所述第二区域的识别图像。
9.根据权利要求8所述的拍摄系统,其特征在于,
所述显示单元还在通过所述检测单元检测到所述物体从所述第二空间出来这一情况的情况下,在所述面显示第二识别图像,所述第二识别图像指示所述第二区域并且与所述识别图像不同。
10.一种拍摄的方法,其特征在于,
是使用对面进行拍摄的拍摄单元的拍摄的方法,具有:
第一步骤,检测物体在所述面与所述拍摄单元之间的空间中的位置的变化;以及
第二步骤,在通过所述第一步骤检测到所述变化的情况下,通过所述拍摄单元获取所述面中的从该拍摄单元因所述物体而在该变化之前无法看见但在该变化之后能够看见的区域的图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-128508 | 2014-06-23 | ||
JP2014128508A JP2016009266A (ja) | 2014-06-23 | 2014-06-23 | 撮影システム、撮影の方法、およびコンピュータープログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105323463A true CN105323463A (zh) | 2016-02-10 |
Family
ID=54870833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510346729.9A Pending CN105323463A (zh) | 2014-06-23 | 2015-06-19 | 拍摄系统以及拍摄的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150373283A1 (zh) |
JP (1) | JP2016009266A (zh) |
CN (1) | CN105323463A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI711947B (zh) * | 2019-11-12 | 2020-12-01 | 奇勤科技股份有限公司 | 電子書寫紀錄連結影片播放時間的資訊處理方法及錄影裝置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110366849B (zh) * | 2017-03-08 | 2022-02-11 | 索尼公司 | 图像处理设备和图像处理方法 |
JP2018159840A (ja) * | 2017-03-23 | 2018-10-11 | キヤノン株式会社 | 画像投影装置とその制御方法、プログラム及び記憶媒体 |
WO2019123762A1 (ja) * | 2017-12-22 | 2019-06-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020144413A (ja) * | 2019-03-04 | 2020-09-10 | セイコーエプソン株式会社 | 表示方法および表示装置 |
WO2021075280A1 (ja) * | 2019-10-17 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN114631323A (zh) * | 2019-11-05 | 2022-06-14 | 巴科股份有限公司 | 区划适应性视频生成 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006162692A (ja) * | 2004-12-02 | 2006-06-22 | Hosei Univ | 講義コンテンツ自動作成システム |
CN101213487A (zh) * | 2005-06-30 | 2008-07-02 | 株式会社理光 | 投影图像显示装置 |
CN101464745A (zh) * | 2007-12-17 | 2009-06-24 | 北京汇冠新技术有限公司 | 一种背投光源式触摸识别装置及其触摸识别方法 |
US20110145725A1 (en) * | 2009-12-11 | 2011-06-16 | Richard John Campbell | Methods and Systems for Attaching Semantics to a Collaborative Writing Surface |
CN103488283A (zh) * | 2012-06-07 | 2014-01-01 | 佳能株式会社 | 信息处理设备及其控制方法和背景确定方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5592607A (en) * | 1993-10-15 | 1997-01-07 | Xerox Corporation | Interactive method and system for producing address-correlated information using user-specified address zones |
US20060092178A1 (en) * | 2004-10-29 | 2006-05-04 | Tanguay Donald O Jr | Method and system for communicating through shared media |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
JP4765808B2 (ja) * | 2006-07-19 | 2011-09-07 | カシオ計算機株式会社 | プレゼンテーションシステム |
CN101650520A (zh) * | 2008-08-15 | 2010-02-17 | 索尼爱立信移动通讯有限公司 | 移动电话的可视激光触摸板和方法 |
JP5213627B2 (ja) * | 2008-10-07 | 2013-06-19 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6217058B2 (ja) * | 2012-05-09 | 2017-10-25 | セイコーエプソン株式会社 | 画像表示システム |
US9164596B1 (en) * | 2012-10-22 | 2015-10-20 | Google Inc. | Method and apparatus for gesture interaction with a photo-active painted surface |
WO2015009276A1 (en) * | 2013-07-15 | 2015-01-22 | Intel Corporation | Hands-free assistance |
-
2014
- 2014-06-23 JP JP2014128508A patent/JP2016009266A/ja active Pending
-
2015
- 2015-06-19 CN CN201510346729.9A patent/CN105323463A/zh active Pending
- 2015-06-22 US US14/746,027 patent/US20150373283A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006162692A (ja) * | 2004-12-02 | 2006-06-22 | Hosei Univ | 講義コンテンツ自動作成システム |
CN101213487A (zh) * | 2005-06-30 | 2008-07-02 | 株式会社理光 | 投影图像显示装置 |
CN101464745A (zh) * | 2007-12-17 | 2009-06-24 | 北京汇冠新技术有限公司 | 一种背投光源式触摸识别装置及其触摸识别方法 |
US20110145725A1 (en) * | 2009-12-11 | 2011-06-16 | Richard John Campbell | Methods and Systems for Attaching Semantics to a Collaborative Writing Surface |
CN103488283A (zh) * | 2012-06-07 | 2014-01-01 | 佳能株式会社 | 信息处理设备及其控制方法和背景确定方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI711947B (zh) * | 2019-11-12 | 2020-12-01 | 奇勤科技股份有限公司 | 電子書寫紀錄連結影片播放時間的資訊處理方法及錄影裝置 |
Also Published As
Publication number | Publication date |
---|---|
US20150373283A1 (en) | 2015-12-24 |
JP2016009266A (ja) | 2016-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105323463A (zh) | 拍摄系统以及拍摄的方法 | |
CN104885098B (zh) | 基于移动装置的文本检测及跟踪 | |
US9959681B2 (en) | Augmented reality contents generation and play system and method using the same | |
CN103189827B (zh) | 对象显示装置以及对象显示方法 | |
CN104427252A (zh) | 用于合成图像的方法及其电子设备 | |
US9607394B2 (en) | Information processing method and electronic device | |
CN106034206B (zh) | 电子设备及图像显示方法 | |
CN101634795B (zh) | 相机自动聚焦方法及系统 | |
AU2015320751B2 (en) | Distance measurement device for motion picture camera focus applications | |
CN103856617A (zh) | 一种拍照方法和用户终端 | |
KR102655625B1 (ko) | 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치. | |
US9591149B2 (en) | Generation of a combined image of a presentation surface | |
CN105100590B (zh) | 图像显示拍摄系统、拍摄装置以及显示装置 | |
CN103945109A (zh) | 摄像装置及其控制方法、远程控制装置及其控制方法 | |
CN106416223A (zh) | 成像设备和通过成像设备进行的视频生成方法 | |
US9158183B2 (en) | Stereoscopic image generating device and stereoscopic image generating method | |
CN104205825A (zh) | 图像处理装置及方法以及摄像装置 | |
CN111290659A (zh) | 书写板信息记录方法、系统和书写板 | |
CN103795915A (zh) | 显示图像的图像显示装置以及方法 | |
CN106373154A (zh) | 图像处理装置及图像处理方法 | |
US8411316B2 (en) | Method and apparatus for printing images comprising individual information corresponding to face recognition information on second side of sheet of printing paper | |
KR101832372B1 (ko) | 이동 단말기 및 그 제어방법 | |
CN106534673A (zh) | 基于特征识别的拍照方法和装置 | |
JP6686319B2 (ja) | 画像投影装置及び画像表示システム | |
CN106662911A (zh) | 在媒体中使用参考帧的注视检测器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160210 |