CN108141523A - 影像显示装置和用于其的操作检测方法 - Google Patents

影像显示装置和用于其的操作检测方法 Download PDF

Info

Publication number
CN108141523A
CN108141523A CN201580083581.2A CN201580083581A CN108141523A CN 108141523 A CN108141523 A CN 108141523A CN 201580083581 A CN201580083581 A CN 201580083581A CN 108141523 A CN108141523 A CN 108141523A
Authority
CN
China
Prior art keywords
illumination portion
image
illumination
shooting
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580083581.2A
Other languages
English (en)
Other versions
CN108141523B (zh
Inventor
新仓雄大
松原孝志
森直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN108141523A publication Critical patent/CN108141523A/zh
Application granted granted Critical
Publication of CN108141523B publication Critical patent/CN108141523B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

影像显示装置(1)包括：各自从不同的方向对操作面照射操作检测用的照明光的第1照明部(102)和第2照明部(103)；使用卷帘快门方式的拍摄元件将照射了照明光的操作面与用户的操作对象(手指)一起拍摄的拍摄部(101)；和基于拍摄部的拍摄图像检测用户的操作对象与操作面进行了接触的接触点的接触点检测部(108)。此处，接触点检测部的接触点检测处理，使用通过使第1照明部和第2照明部反复地交替点亮而产生的用户的操作对象的影子的拍摄图像，交替点亮的第1照明部和第2照明部中的一个照明部的点亮期间，比拍摄部的1帧的拍摄周期(T)长。

Description

影像显示装置和用于其的操作检测方法
技术领域
本发明涉及对显示面或投影面输出影像的影像显示装置和用于其的操作检测方法。
背景技术
为了检测用户将影像的显示面或投影面作为操作面进行的操作，已知有利用摄像机拍摄操作面，从其拍摄图像检测用户的手和/或手指的动作的方法。此时，对操作面照射2个照明光，能够从由此产生的2个影子的形状检测手和/或手指对操作面的接近度或接触点。
关于这样的技术，在专利文献1中记载了如下结构：在用1个摄像机拍摄从多个光源照射光而形成的多个影子的情况下，摄像机以规定的帧速率(frame rate：也可称为“帧率”)进行拍摄，多个光源与摄像机的帧速率同步地按每帧选择不同的光源来照射光。
现有技术文献
专利文献
专利文献1：日本特开2012-68690号公报
发明内容
发明要解决的课题
在基于影子的拍摄的操作检测方式中，当影子的对比度降低时操作检测的精度会恶化。例如，如图17(a)(b)所示将照明部102、103同时点亮时，因第2照明部103照射由第1照明部102产生的手指300的影子302，使得由摄像机101拍摄的影子变淡，对比度会降低。为了进行比较，(c)(d)是仅使单侧的照明部103点亮的情况，此时不发生影子301的对比度的降低。
根据专利文献1的结构，由于与摄像机的帧速率同步地按每帧选择不同的光源来照射光，所以影子仅由选择出的1个照明生成，能够避免对比度的降低。但是，在使用的摄像机的图像传感器(摄像元件)为一般大量使用的卷帘快门(rolling shutter，也称为“滚动快门”)方式的情况下，有时会因曝光时刻的偏离(偏移)而在1帧图像上混合多个照明产生的影子。
例如使用图18(a)所示的图像传感器400，如(b)所示设想使2个照明部102,103按每帧交替点亮的情况。根据图像传感器400的扫描线401，曝光开始时刻有偏离，因此在各帧402,403中混合(也称为“共存”)由2个照明部102,103照射而成的图像。即，由摄像机拍摄的影子如(c)所示，在同一帧内混合存在由各个照明部产生的影子301,302，该影子301,302产生于手指300的两侧。
图19也同样，表示使2个照明部102,103交替点亮，用卷帘快门方式的摄像机101拍摄得到的影子。(a)(b)是手指300从操作面201离开时的情况，(c)(d)是手指300与操作面201接触时的情况。两种情况都是在同一帧内切换2个照明部，所以在拍摄图像上由各个照明部产生的影子301,302在手指300的两侧分离地产生。
对于这一点，虽然会在操作检测中对由摄像机拍摄得到的动态图像进行分析，但是出于分析精度的观点，希望处理的图像是以帧单位完结的。因此，在一帧内混合了2个影子图像，换言之1个影子图像被分开在2个帧内的情况会妨碍分析。像这样在用卷帘快门方式的摄像机拍摄时，存在无法得到本来想提取的仅由1个照明部产生的影子的图像的情况，操作检测结果的可靠性降低。
本发明是鉴于上述课题而完成的，其目的在于提供一种即使在用卷帘快门方式的摄像机进行拍摄的情况下，也不会混合多个照明部的影子且影子的对比度不会下降的操作检测方法和使用该操作检测方法的影像显示装置。
用于解决课题的技术手段
为了解决上述课题，本发明的影像显示装置的特征在于，包括：各自从不同的方向对操作面照射操作检测用的照明光的第1照明部和第2照明部；使用卷帘快门方式的拍摄元件(也称为“摄像元件”)将照射了照明光的操作面与用户的操作对象一起进行拍摄的拍摄部(也称为“摄像部”)；和基于拍摄部的拍摄图像检测用户的操作对象与操作面进行了接触的接触点的接触点检测部。此处，接触点检测部的接触点检测处理，使用通过使第1照明部和第2照明部反复地交替点亮而产生的用户的操作对象的影子的拍摄图像，交替点亮的第1照明部和第2照明部中的一个照明部的点亮期间，比拍摄部的1帧的拍摄周期长。
另外，本发明的操作检测方法的特征在于，包括：利用第1照明部和第2照明部分别从不同的方向对操作面照射操作检测用的照明光的步骤；利用使用卷帘快门方式的拍摄元件的拍摄部，将被照射光照射了的操作面与用户的操作对象一起进行拍摄的步骤；和基于拍摄部的拍摄图像检测用户的操作对象与操作面进行了接触的接触点的步骤。此处，检测接触点的步骤，使用通过使第1照明部和第2照明部反复且交替地点亮而产生的用户的操作对象的影子的拍摄图像，照射照明光的步骤，交替点亮的第1照明部和第2照明部中的一个照明部的点亮期间，比拍摄部的1帧的拍摄周期长。
发明效果
根据本发明，在利用由摄像机拍摄到的影子进行操作检测时，能够不会混合存在多个照明部的影子、且不会使影子的对比度降低地进行拍摄。由此，操作检测处理稳定，影像显示装置的操作性提高。
附图说明
图1是表示实施例1的影像显示装置的整体结构的图。
图2是表示操作检测部的概况、和操作过程中的用户的状况的一例的图。
图3是表示手指与操作面不接触时的手指的影子的一例的图。
图4是表示手指与操作面接触时的手指的影子的一例的图。
图5是表示影子与手指和操作面的距离相应的发生变化的图。
图6是表示检测手指的接触点的方法的图。
图7是表示实施例1中的照明部的切换和使用的帧图像的图。
图8是表示照明部的点亮控制和帧图像的取得处理的流程图。
图9是表示考虑了照明部切换时间的照明部的切换控制的图。
图10是表示实施例2中的照明部的切换和使用的帧图像的图。
图11是表示照明部的点亮控制和帧图像的取得处理的流程图。
图12是表示实施例3中的照明部的切换和使用的帧图像的图。
图13是表示照明部的点亮控制和帧图像的取得处理的流程图。
图14是表示实施例4中的照明部的切换和使用的帧图像的图。
图15是表示实施例5中的拍摄动作的图。
图16是表示实施例6中的拍摄动作的图。
图17是表示将2个照明部同时点亮时的影子的例子的图。
图18是表示因卷帘快门方式而混合各照明部的影子的理由的图。
图19是表示各照明部的影子混合的例子的图。
具体实施方式
以下，参照附图说明本发明的实施例。各实施例中，对使用1个卷帘快门方式的摄像机和2个照明部来检测用户的操作，基于检测结果控制影像显示部的结构进行说明。
(实施例1)
图1是表示实施例1的影像显示装置的整体结构的图。影像显示装置将操作检测部100和影像显示部112连接而构成。操作检测部100检测作为操作对象的用户的手指与操作面的接近程度和接触点等，将检测结果数据111传送到影像显示部112。
影像显示部112是将影像投射(投影)到投影面进行显示的投影仪、在显示面上显示影像的显示器或者头戴式显示器等，基于从操作检测部100传送来的检测结果数据111，控制要显示的影像的切换和显示状态等。
操作检测部100中，101是摄像机，102和103是照明部，104是开关，105是帧检测部，106是影子区域提取部，107是轮廓检测部，108是接触点检测部，109是控制部，110是输出部。
另外，图1中101～110的各部是独立的，但也可以根据需要由1个或多个构成要素构成。例如，也可以构成为105～110用1个或多个中央处理装置(CPU)进行它们的处理。另外，图1中101～110的各部全部构成于操作检测部100的内部，但也可以将1个或多个构成要素构成于操作检测部100的外部，通过网络连接、通用串行总线(USB)连接、其他有线、无线连接与操作检测部100结合。
摄像机(摄像部)101包括卷帘快门方式的图像传感器(摄像元件)和透镜等，拍摄图像。另外，摄像机101如果是曝光时刻根据像素线不同的图像传感器，则也可以使用其他快门方式的图像传感器。本说明书中，将这种快门方式全部称为“卷帘快门方式”。
第1照明部102和第2照明部103由发光二极管、电路基板和透镜等构成，对由上述摄像机101拍摄的区域进行照射。另外，也可以是：摄像机101、照明部102和照明部103由红外摄像机和红外照明部构成，拍摄红外图像，由此进行后述的检测手指的状态的处理。另外，照明部的光源也可以为激光源等发光二极管以外的光源。
开关104由电路基板和软件等构成，基于由帧检测部105发送来的信号控制照明部102和照明部103的点亮和熄灭。例如在从帧检测部105发送来信号A的情况下将第1照明部102点亮并将第2照明部103熄灭，在从帧检测部105发送来信号B的情况下将第1照明部102熄灭并将第2照明部103点亮。
帧检测部105由电路基板和软件等构成，对已由摄像机101完成1帧的拍摄的情况进行检测，根据预先设定的周期对开关104发送用于切换照明部的信号。例如在已由摄像机101完成帧数为2帧的量的拍摄时，将发送到开关104的信号在A和B之间交替切换。在帧检测部105中切换信号的周期，根据摄像机的拍摄周期和照明部切换时间来决定。
影子区域提取部106由电路基板和软件等构成，从由摄像机101拍摄得到的帧单位的图像检测影子的区域。影子的区域，例如通过根据预先拍摄得到的背景图像与最新的拍摄图像之差生成差图像，将上述差图像以规定的亮度的阈值进行二值化来得到。另外，关于影子区域提取部106的处理，为了得到同样的结果，也可以使用其他的图像处理的算法。
轮廓检测部107由电路基板和软件等构成，检测由影子区域提取部106得到的影子的区域的轮廓。影子区域的轮廓，例如通过在最开始求取影子区域的左上端的像素，逐次检索相邻的像素来得到。关于轮廓检测部107的处理，为了得到同样的结果，也可以使用其他的图像处理的算法。
接触点检测部108由电路基板和软件等构成，基于影子的形状和位置检测手指与操作面的接触点。
控制部109由电路基板和软件等构成，控制摄像机101、第1照明部102、第2照明部103、开关104、帧检测部105、影子区域提取部106、轮廓检测部107、接触点检测部108和输出部110。
输出部110由网络连接或USB连接、超声波单元、红外线通信装置等构成，是能够与影像显示部112进行通信的接口。
检测结果数据111是操作检测部100经由上述输出部110输出到影像显示部112的数据，包括接触状态信息和接触点坐标。
图2是表示操作检测部100的概况、和操作中的用户200的状况的一例的图。如(a)(b)所示，摄像机101对操作面201的拍摄区域202所示的范围进行拍摄。另外在操作面201上能够利用未图示的影像显示部112显示影像。即，操作面201与影像显示面重叠。第1照明部102和第2照明部103分别从不同的方向对操作面201照射操作检测用的照明光。当用户200在拍摄区域202中的操作区域203用手指触摸操作面201时，操作检测部100检测接触点。
下面，作为操作检测的例子，用附图对手指的接触点的检测处理进行说明。另外，操作对象不限于用户的手指和手，当然也同样能够使用操作笔等。
图3～图5表示在将照明部102或照明部103点亮时，手指300有无与操作面201的接触的情况下的影子的形状的不同的一例。
图3(a)表示手指300没有与操作面201接触时的影子。在照明部103点亮的情况下由照明部103投影而形成影子301，在照明部102点亮的情况下由照明部102投影而形成影子302，影子301和影子302各自处于分离的状态。图3(b)对形成图3(a)所示的影子的原理进行说明。在从投影面上方看的情况下，照明部103照射的光被手指300遮挡，在操作面201上形成影子301。另外，照明部102照射的光被手指300遮挡，在操作面201上形成影子302。因此，在摄像机101拍摄的图像中，影子301和影子302处于彼此分离的状态。
另一方面，图4(a)表示手指300手指尖与操作面201接触时的影子。影子301和影子302在手指300的手指尖的位置处于接近的状态。图4(b)对形成图4(a)所示的影子的原理进行说明。在从投影面上方看的情况下，照明部103照射的光被手指300遮挡，在操作面201上形成影子301。另外，照明部102照射的光被手指300遮挡，在操作面201上形成影子302。因此，在摄像机101拍摄的图像中，影子301和影子302处于在手指尖的位置接近的状态。
图5虚拟地表示在1个图像中得到影子301和影子302时的状况。在手指300与操作面201的距离最近的情况下，影子301和影子302成为在手指尖的位置接近的状态。当手指300与操作面201离开时，影子301与影子302的距离逐渐变大。在手指300与操作面201的距离最远的情况下，影子301和影子302处于彼此分离的状态。像这样，影子301与影子302的距离随着手指300从操作面201离开而变大。
图6表示对手指相对于操作面的接触点进行检测的方法。首先，轮廓检测部107检测手指300的影子301的前端311和影子302的前端312。接着，接触点检测部108计算影子301的前端311与影子302的前端312的距离，在距离为预先决定的值以下的情况下判断为手指300与操作面201接触。而且，将前端311与前端312的中间点310作为手指300与操作面201的接触点加以检测。
首先如图18和图19所示，在为使用卷帘快门方式的图像传感器(摄像元件)400的摄像机的情况下，由于曝光开始时刻根据图像传感器的扫描线而存在偏离，所以在由摄像机拍摄的帧单位的图像中会存在各个照明部的影子，存在无法得到本来想提取的影子的像的课题。
对此，本实施例中，通过控制成以2帧1次的周期切换点亮的照明部，在切换照明部时不使用拍摄中的帧图像，使用仅由1个照明部产生的影子的图像。即，在第1照明部和第2照明部的交替点亮中，将一个照明部的点亮期间设定得比图像传感器的1帧的拍摄周期长。另外，控制照明部的切换，使得与接着不使用的帧图像的下一帧图像的开始曝光的时刻一致地进行切换。
图7是表示实施例1中的照明部的切换时刻和要使用的帧图像的图。以下，对拍摄的各帧赋予编号并按照时间经过进行说明。将图像传感器的1帧的拍摄周期(帧周期)设为T。
在帧图像N中，在整个曝光时间中第1照明部点亮，在帧图像N中得到仅拍到了第1照明部的产生的影子的帧图像。该图像是有效的，被送到影子区域提取部106，用于影子检测。当帧检测部105检测出帧图像N的拍摄完成时，对开关104发送切换要点亮的照明部的信号，替代第1照明部将第2照明部点亮。
图中的符号dt表示图像传感器完成帧图像N的拍摄至开始下下帧图像(N+2)的曝光所需的时间。下面，将该时间dt称为“曝光切换时间”。该曝光切换时间dt根据图像传感器内的上端、下端的扫描线的曝光开始时刻的偏离量决定。于是，第2照明部的点亮开始时刻比帧图像N的拍摄完成时刻迟dt。即，使照明部的切换时刻与对下下帧图像(N+2)的曝光开始时刻一致。
在向第2照明部切换时，下一帧图像(N+1)的曝光已经开始，在其曝光中途点亮的照明部被从第1照明部切换到第2照明部，因此在帧图像(N+1)上混合有各个照明部的影子。即，帧图像(N+1)是不使用的无效的图像，控制部109对影子区域提取部106以不使用帧图像(N+1)(标记为“舍弃帧”)的方式进行控制。之后，帧检测部105虽然检测出帧图像(N+1)的拍摄完成，但此处不对开关104发送照明部的切换信号，使第2照明部继续点亮。
在下一帧图像(N+2)中，在整个曝光时间中仅第2照明部点亮，在帧图像(N+2)中得到仅拍到了第2照明部的产生的影子的帧图像。该图像是有效的，被送到影子区域提取部106，用于影子检测。
通过这样的方式，影子区域提取部106使用每隔1帧去掉拍摄图像的图像列、帧图像N,N+2,N+4进行影子区域提取，并且接着用轮廓检测部107和接触点检测部108进行轮廓检测和接触点检测。根据该方法，在摄像机与2个照明部同步地进行拍摄并进行影子检测的情况下，即使是使用卷帘快门方式等的图像传感器的摄像机，也不会损害影子的对比度、且得到不会混合有多个照明部的影子的帧图像，能够用其进行影子的分析。
图8是表示实施例1的照明部的点亮控制和帧图像的取得的处理流程。这些处理由帧检测部105控制。
在S1001中，作为初始状态使照明部102或照明部103点亮。在S1002中，将帧编号i初始化，使i＝0。
在S1003中，摄像机拍摄一张帧图像，帧检测部105检测该拍摄已完成。
在S1004中，帧检测部105判断帧编号i是否为偶数。在为偶数的情况下前进到S1005，在为奇数的情况下前进到S1007。其中，i＝0判断为是偶数。
在S1005中，帧检测部105向开关104发送照明部的切换信号，切换点亮的照明部。在S1006中，在此时刻完成了拍摄的帧图像(i：偶数)，在影子区域提取部106中被使用。
在S1007中，帧检测部105对影子区域提取部106作出将在此时刻完成了拍摄的帧图像(i：奇数)作为“舍弃帧”废弃的指示。
在S1008中，根据来自控制部109的指示等判断是否结束拍摄，在结束的情况下，帧检测部105结束一系列的处理。在不结束的情况下，前进到S1009。
在S1009中，使帧编号增加，使i＝i+1。然后，返回至上述S1003拍摄下一帧图像。
通过以上的处理流程，能够实现图7所示的照明部的切换和帧图像的取得。即，帧编号i为偶数的帧图像N,N+2,N+4(N＝0)被使用，夹在它们之间的i为奇数的帧图像不被使用而被废弃。
如上所述，从当前帧拍摄完成至下下帧曝光开始为止的曝光切换时间dt，依赖于卷帘快门方式的上下端的扫描线的曝光时刻偏离的大小。另一方面，关于使其点亮的照明部的切换，也不是从开关104接收到切换信号就立刻切换2个照明光，而是从切换开始至切换完成需要一定的时间宽度ds。将该时间ds称为“照明切换时间”。考虑这些切换时间dt、ds，对用于进行图7所示的照明部的切换的条件进行说明。
图9是表示考虑了照明切换时间ds的照明部的切换时刻的图。将从第1照明部切换到第2照明部所需的时间设为ds。该照明切换时间ds需要比从帧图像N拍摄完成至帧图像(N+2)的曝光开始为止的曝光切换时间dt短。这是因为，如果照明切换时间ds比曝光切换时间dt长，则有可能在要使用的帧图像(N+2)的曝光开始部分混合第1照明部产生的影子。这样，通过使向第2照明部的切换比下一帧图像(N+2)的曝光开始时刻早完成，能够在要使用的帧图像(N+2)的整个区域可靠地照射切换后的照明光，防止2个照明产生的影子图像的混合。
像这样在实施例1中，使用卷帘快门方式的1个摄像机和2个照明部，在从关于手指和/或手的2个影子检测手指的接触时，检测出摄像机的帧图像的拍摄完成，并每当2帧的拍摄完成时交替地切换要点亮的照明部。换言之，使2个照明部交替点亮时的一个照明部的点亮期间，比摄像机的1帧的拍摄周期长。并且，不使用拍摄到的2帧中的混合了由2个照明部产生的影子图像的帧图像。由此，要使用的帧图像中不会混合由2个照明部产生的影子，并且不会损害影子的对比度。采用以上方式的结果是，操作检测部100进行的接触点检测处理稳定，具有其的影像显示装置1具有操作性提高的效果。另外，在本实施例中，因为不使用的帧图像是2帧中的1帧，所以可以说帧的使用率为50％。
上述的实施例中对2个照明部的情况进行了说明，但照明部有多个(例如3个以上)的情况下也能够适用。在这种情况下，只要将从多个中逐次切换要点亮的照明部来进行拍摄即可。
(实施例2)
在实施例2中，对照明切换时间ds比从帧图像N至帧图像(N+2)的曝光切换时间dt长的情况进行说明。在这种情况下，由于在帧图像(N+2)的曝光开始时来不及进行照明部的切换，因此采用不使用在照明部的切换完成之前的期间拍摄得到的2张以上的帧图像。
图10是表示实施例2中的照明部的切换时刻和要使用的帧图像的图。在此情况下，照明部的切换时间ds较长，在至下下帧图像(N+2)的曝光开始的时间dt内无法完成切换。因此，向第2照明部的切换，在之后的多个帧图像拍摄完成后完成，不使用在这期间拍摄得到的帧图像。在本例中，接下来要使用的是帧图像(N+k)(其中，k为3以上的整数)，不使用这期间的帧图像(N+1)～(N+k-1)的(k-1)张帧图像。其结果是，帧图像的使用率不是每2张用1张的比例，而是每k张用1张的比例。其中，根据图10可知，参数k的值根据照明部切换时间ds与帧周期(拍摄周期)T的关系来决定。
图11是表示实施例2中的照明部的点亮控制和帧图像的取得的处理流程。对与上述实施例1(图8)的不同之处进行说明。其中，参数k(≥3)的值被预先赋予。
在S1104中，帧检测部105判断帧编号i是否为k的倍数。在为k的倍数的情况下前进到S1105，切换照明部，在S1106中使用拍摄到的图像。在为k的倍数以外的情况下前进到S1107，废弃拍摄到的图像。其中，i＝0判断为是k的倍数。其他的工序与图8相同。
通过以上的处理流程，能够实现图10所示的照明部的切换和帧图像的取得。即，从拍摄到的帧图像中按每k张用1张的比例来使用。
像这样在实施例2中，在伴随帧图像拍摄完成而进行的照明部的切换在下下帧图像的曝光开始之前没有完成的情况下，使不使用的帧图像数增加到多张。在此情况下，也构成为：使2个照明部交替点亮时的一个照明部的点亮期间，比摄像机的1帧的拍摄周期长。由此，能够得到与实施例1同等的效果，要使用的帧图像中不会混合由2个照明产生的影子，并且不会损害影子的对比度。
(实施例3)
在实施例3中，在照明部的切换时间ds比曝光切换时间dt长的情况下，采用了如下结构：从照明部的切换完成之前拍摄到的帧图像中适当地选择使用没有混合由2个照明部产生的图像的图像。
图12是表示实施例3中的照明部的切换时刻和要使用的帧图像的图。在此情况下，由于照明切换时间ds的存在，从帧图像(N+k)(其中，k≥3)应用第2照明部。其结果是，接着帧图像N还存在其他的仅用第1照明部曝光的帧图像，在本实施例中选择其加以使用。在本例的情况下，能够使用接着帧图像N的帧图像(N+k-2)。而且，利用第2照明部开始曝光的帧图像(N+k)的上一帧的图像(N+k-1)，由于混合了2个照明部所以不使用。这种情况下的参数k的值也与实施例2同样地根据照明切换时间ds与帧周期T的关系来决定。
图13是表示实施例3中的照明部的点亮控制和帧图像的取得的处理流程。对与上述实施例2(图11)的不同之处进行说明。其中，参数k(≥3)的值被预先赋予。
在S1204中，帧检测部105判断帧编号i是否为k的倍数。在为k的倍数的情况下前进到S1205，切换照明部，在S1206中使用拍摄到的图像。在为k的倍数以外的情况下前进到S1207。
在S1207中，判断帧编号(i+1)是否为k的倍数。在为k的倍数的情况下前进到S1208，废弃拍摄到的图像。在为k的倍数以外的情况下前进到S1206，使用拍摄到的图像。其他的工序与图11相同。
通过以上的处理流程，能够实现图12所示的照明部的切换和帧图像的取得。即，使用拍摄到的k张帧图像中的(k-1)张图像。
根据实施例3，要使用的帧图像为每k张用(k-1)张，帧图像的使用率提高。其结果是，通过使用多个帧图像进行高动态范围(High Dynamic Range)合成处理等，能够进一步提高对比度。
(实施例4)
实施例4中，在照明部的切换时间ds比曝光切换时间dt长的情况下，采用将不使用的帧图像的曝光时间设定得比要使用的帧图像的曝光时间长的结构。
图14是表示实施例4中的照明部的切换时刻和要使用的帧图像的图。与实施例1(图9)的不同之处在于，关于图像传感器400的曝光时间，使要使用的帧图像N的曝光时间T1与不使用的帧图像(N+1)的曝光时间T2不同，将T2设定得比T1长。由此，从帧图像N拍摄完成至帧图像(N+2)的曝光开始为止的曝光切换时间被增长至dt’。而且，如果令增长后的曝光切换时间dt’为照明部的切换时间ds以上，则能够在帧图像(N+2)的曝光开始时刻完成向第2照明部的切换。
在实施例4中，也能够得到与实施例1同等的效果。另外，按每2张用1张的比例来使用拍摄到的帧图像，能够维持与实施例1同样的帧使用率。而且，如果将曝光时间T1和T2的值设定成T1+T2＝2T，则能够不改变图像传感器400的平均帧速率地进行拍摄。
(实施例5)
实施例5中，采用如下结构：将在照明部的切换时间ds较长的情况下产生的2个照明部的影子的混合部分配置在用户的操作区域外。
图15表示实施例5中的拍摄动作，(a)表示照明部的切换时刻和要使用的帧图像，(b)表示操作面上的拍摄区域和用户的操作区域。
如(a)所示，在此情况下也使照明部的切换时间ds比曝光切换时间dt长。其结果是，在帧图像(N+2)的曝光刚开始后，产生第1照明部和第2照明部的影子混合存在的区域500。但是在本实施例中，基于以下的条件使用具有这样的混合区域(也称为“共存区域”)500的帧图像(N+2)。
(b)中表示操作面上的拍摄区域202与用户的操作区域203的关系。拍摄区域202是能够利用摄像机拍摄的区域，用户的操作区域203是能够利用用户的手指300操作的区域。通常，拍摄区域202设定得比操作区域203大，以使得摄像机能够拍摄用户的操作区域203的全部。换言之，操作区域203的外侧的区域204是不用于操作检测的区域(非操作区域)。
于是在本实施例中，将(a)所示的2个照明部共存的区域500配置在(b)的非操作区域204内。该混合区域500在操作面上是三角形的，其大小由照明切换时间ds与曝光切换时间dt之差(ds-dt)决定。因此，只要使差(ds-dt)小，就完全能够将混合区域500收纳在非操作区域204内。其结果是，在用户的操作区域203中能够得到仅用1个照明部的正常的图像，对于操作检测处理不会有任何影响。
根据实施例5，即使在照明部的切换时间ds比曝光切换时间dt长的情况下，也能够使不使用的帧为每2张中1张，能够防止帧图像的使用率降低。
(实施例6)
实施例6是实施例5的变形例，采用如下结构：通过适当地改变图像传感器的方向而进行拍摄，将2个照明产生的影子的混合存在部分(也称为“共存部分”)适当地配置在用户的操作区域外。上述图15(b)的非操作区域204，是依赖于摄像机的拍摄区域202与用户的操作区域203的位置关系而产生的。例如，对适用于操作区域203为梯形且在操作面的下端部产生大的非操作区域204的情况的结构进行说明。
图16表示实施例6中的拍摄动作，(a)表示照明部的切换时刻和要使用的帧图像，(b)表示操作面上的拍摄区域和用户的操作区域。
本例中如(b)所示，举出用户的操作区域203为梯形，在操作面的下端侧产生比上端侧大的非操作区域204的情况。在这样的情况下，非常适合将2个照明部的混合区域500配置在拍摄区域202的下部。为此，将产生混合区域500的曝光开始点移动到拍摄区域的下侧即可，在本例中，使图15中使用的图像传感器旋转180度。其结果是，图像传感器的扫描开始点从右下角开始。
(a)表示照明部的切换时刻，与图15(a)进行比较，不同之处在于，在外观上使曝光方向从传感器下端向传感器上端地进行曝光，混合区域500产生于传感器下端位置。照明部的切换和要使用的帧是同样的。
像这样，在操作面的下侧形成较大的非操作区域204的情况下，通过使图像传感器的朝向上下颠倒，即使在照明部的切换时间ds长、2个照明部的混合区域500大的情况下，也有能够允许其的效果。另外，也可以使图像传感器的方向与非操作区域204为最大的方向一致，适当地以任意的角度使图像传感器旋转，由此能够得到同样的效果。
根据实施例6，即使在照明部的切换时间ds比曝光切换时间dt长的情况下，也能够使不使用的帧为每2张中1张，能够防止帧图像的使用率降低。
上面对本发明的各种实施例进行了说明，但是本发明并不限定于上述的实施例，也包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细说明的，并不限定于必须包括说明了的所有结构。此外，能够将一个实施例的结构的一部分替换为另一个实施例的结构，此外，还能够在一个实施例的结构中加入另一个实施例的结构。此外，能够对各实施例的结构的一部分进行其它结构的追加、删除、替换。
附图标记的说明
1：影像显示装置
100：操作检测部
101：摄像机(拍摄部)
102：第1照明部
103：第2照明部
104：开关
105：帧检测部
106：影子区域提取部
107：轮廓检测部
108：接触点检测部
109：控制部
110：输出部
111：检测结果数据
112：影像显示部
200：用户
201：操作面
202：拍摄区域
203：操作区域
204：非操作区域
300：手指(操作对象)
301、302：影子
310：接触点
400：图像传感器(摄像元件)
500：多个照明部的混合区域
T：帧周期(拍摄周期)
dt：曝光切换时间
ds：照明部的切换时间。

Claims (10)

1.一种影像显示装置，其在影像显示面上显示影像，并能够检测用户的操作对象对与该影像显示面重叠的操作面的操作，所述影像显示装置的特征在于，包括：
第1照明部和第2照明部，其各自从不同的方向对所述操作面照射操作检测用的照明光；
拍摄部，其使用卷帘快门方式的拍摄元件将照射了所述照明光的所述操作面与所述用户的操作对象一起拍摄；和
接触点检测部，其基于所述拍摄部的拍摄图像检测所述用户的操作对象与所述操作面进行了接触的接触点，
在所述接触点检测部的接触点检测处理中，使用通过使所述第1照明部和所述第2照明部反复地交替点亮而产生的所述用户的操作对象的影子的拍摄图像，
交替地点亮的所述第1照明部和所述第2照明部中的一个照明部的点亮期间，比所述拍摄部的1帧的拍摄周期长。
2.如权利要求1所述的影像显示装置，其特征在于：
检测所述拍摄部的每1帧图像的拍摄完成，每当完成2帧的拍摄时切换所述第1照明部和所述第2照明部的点亮，
在所述接触点检测处理中，使用仅照射了所述第1照明部和所述第2照明部中的一者的照明光的帧单位的图像，而不使用在切换照明部的点亮时正在拍摄的帧单位的图像。
3.如权利要求1所述的影像显示装置，其特征在于：
检测所述拍摄部的每1帧图像的拍摄完成，每当完成k个帧的拍摄时切换所述第1照明部和所述第2照明部的点亮，其中，k为3以上的整数，
在所述接触点检测处理中，使用仅照射了所述第1照明部和所述第2照明部中的一者的照明光的帧单位的图像，而不使用在检测到所述图像的拍摄完成而开始照明部切换至完成该照明部切换的期间拍摄的多个帧的图像。
4.如权利要求1所述的影像显示装置，其特征在于：
检测所述拍摄部的每1帧图像的拍摄完成，每当完成k个帧的拍摄时切换所述第1照明部和所述第2照明部的点亮，其中，k为3以上的整数，
在所述接触点检测处理中，使用在检测到所述图像的拍摄完成而开始照明部切换至完成该照明部切换的期间完成了拍摄的多个帧的图像，而不使用在完成照明部的切换时正在拍摄的帧的图像。
5.如权利要求2所述的影像显示装置，其特征在于：
所述拍摄部使所述接触点检测处理中使用的帧的图像与不使用的帧的图像的曝光时间不同，并使平均的帧速率为规定值。
6.如权利要求1所述的影像显示装置，其特征在于：
在所述影像显示面中的所述拍摄部的拍摄区域内，存在不被所述用户的操作对象操作的非操作区域的情况下，将在所述拍摄部进行拍摄的期间完成所述第1照明部和所述第2照明部的点亮的切换的拍摄位置，配置在所述非操作区域。
7.如权利要求6所述的影像显示装置，其特征在于：
在所述第1照明部、所述第2照明部和所述拍摄部均设置于所述影像显示面的上边侧，且所述用户的非操作区域位于所述影像显示面的下边侧的情况下，使所述拍摄部的所述拍摄元件旋转，将拍摄开始位置设定于所述影像显示面的下边侧。
8.一种操作检测方法，检测用户的操作对象对操作面的操作，所述操作检测方法的特征在于，包括：
利用第1照明部和第2照明部分别从不同的方向对所述操作面照射操作检测用的照明光的步骤；
利用使用卷帘快门方式的拍摄元件的拍摄部，将照射了所述照明光的所述操作面与所述用户的操作对象一起拍摄的步骤；和
基于所述拍摄部的拍摄图像检测所述用户的操作对象与所述操作面进行了接触的接触点的步骤，
在检测所述接触点的步骤中，使用通过使所述第1照明部和所述第2照明部反复地交替点亮而产生的所述用户的操作对象的影子的拍摄图像，
在照射所述照明光的步骤中，交替地点亮的所述第1照明部和所述第2照明部中的一个照明部的点亮期间，比所述拍摄部的1帧的拍摄周期长。
9.如权利要求8所述的操作检测方法，其特征在于：
在照射所述照明光的步骤中，检测所述拍摄部的每1帧图像的拍摄完成，每当完成2帧的拍摄时切换所述第1照明部和所述第2照明部的点亮，
在检测所述接触点的步骤中，使用仅照射了所述第1照明部和所述第2照明部中的一者的照明光的帧单位的图像，而不使用切换照明部的点亮时正在拍摄的帧单位的图像。
10.如权利要求8所述的操作检测方法，其特征在于：
在照射所述照明光的步骤中，检测所述拍摄部的每1帧图像的拍摄完成，每当完成k个帧的拍摄时切换所述第1照明部和所述第2照明部的点亮，其中，k为3以上的整数，
在检测所述接触点的步骤中，使用仅照射了所述第1照明部和所述第2照明部中的一者的照明光的帧单位的图像，而不使用在检测到所述图像的拍摄完成而开始照明切换至完成该照明切换的期间拍摄的多个帧的图像。
CN201580083581.2A 2015-10-07 2015-10-07 影像显示装置和用于其的操作检测方法 Expired - Fee Related CN108141523B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/078530 WO2017060993A1 (ja) 2015-10-07 2015-10-07 映像表示装置およびこれに用いる操作検出方法

Publications (2)

Publication Number Publication Date
CN108141523A true CN108141523A (zh) 2018-06-08
CN108141523B CN108141523B (zh) 2020-03-03

Family

ID=58488212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083581.2A Expired - Fee Related CN108141523B (zh) 2015-10-07 2015-10-07 影像显示装置和用于其的操作检测方法

Country Status (4)

Country Link
US (1) US10459577B2 (zh)
JP (1) JP6596501B2 (zh)
CN (1) CN108141523B (zh)
WO (1) WO2017060993A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168266A (zh) * 2018-12-20 2021-07-23 索尼集团公司 具有检测功能的图像处理设备和显示设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7029654B2 (ja) * 2017-07-12 2022-03-04 パナソニックＩｐマネジメント株式会社 投影撮像システム、計測装置および投影撮像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706339A (zh) * 2004-06-10 2005-12-14 田德扬 影像拍摄装置
CN101213487A (zh) * 2005-06-30 2008-07-02 株式会社理光 投影图像显示装置
US20140125864A1 (en) * 2012-11-02 2014-05-08 Microsoft Corporation Rapid synchronized lighting and shuttering
CN104052950A (zh) * 2013-03-11 2014-09-17 日立麦克赛尔株式会社 操作检测装置和操作检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775014B2 (en) 2001-01-17 2004-08-10 Fujixerox Co., Ltd. System and method for determining the location of a target in a room or small area
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
JP2011065511A (ja) 2009-09-18 2011-03-31 Seiko Epson Corp 光学式位置検出装置および位置検出機能付き表示装置
JP5474653B2 (ja) 2010-05-07 2014-04-16 オリンパスイメージング株式会社 撮像装置及び撮像方法
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
JP2012068690A (ja) 2010-09-21 2012-04-05 Univ Of Tsukuba 手指ジェスチャ検出装置
GB2487043B (en) 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction and illumination system and method
JP2012248992A (ja) 2011-05-26 2012-12-13 Olympus Imaging Corp デジタルカメラ
WO2013099942A1 (ja) * 2011-12-27 2013-07-04 オリンパスメディカルシステムズ株式会社 撮像装置
US20140168086A1 (en) * 2012-12-14 2014-06-19 Geartonomy, Inc. Split keyboard for a tablet computer
JP6037900B2 (ja) 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
US20140267031A1 (en) * 2013-03-12 2014-09-18 Kenneth J. Huebner Spatially aware pointer for mobile appliances

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1706339A (zh) * 2004-06-10 2005-12-14 田德扬 影像拍摄装置
CN101213487A (zh) * 2005-06-30 2008-07-02 株式会社理光 投影图像显示装置
US20140125864A1 (en) * 2012-11-02 2014-05-08 Microsoft Corporation Rapid synchronized lighting and shuttering
CN104052950A (zh) * 2013-03-11 2014-09-17 日立麦克赛尔株式会社 操作检测装置和操作检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168266A (zh) * 2018-12-20 2021-07-23 索尼集团公司 具有检测功能的图像处理设备和显示设备

Also Published As

Publication number Publication date
CN108141523B (zh) 2020-03-03
US20190065004A1 (en) 2019-02-28
WO2017060993A1 (ja) 2017-04-13
US10459577B2 (en) 2019-10-29
JPWO2017060993A1 (ja) 2018-07-05
JP6596501B2 (ja) 2019-10-23

Similar Documents

Publication Publication Date Title
JP6037901B2 (ja) 操作検出装置、操作検出方法及び表示制御データ生成方法
JP5035372B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP6075122B2 (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
JP4733600B2 (ja) 操作検出装置とそのプログラム
JP6575060B2 (ja) 描画装置、描画装置の動作制御方法及び描画装置の動作制御プログラム
JP2011180712A (ja) 投写型映像表示装置
JP2012185630A (ja) 投影装置
JP5817149B2 (ja) 投影装置
JP2005284874A (ja) プロジェクタおよびコマンド抽出方法
CN108141523A (zh) 影像显示装置和用于其的操作检测方法
JP2021128660A (ja) 操作検出方法、操作検出装置及び表示システム
JP2009199392A (ja) 虹彩認証方法及び虹彩認証装置
JP2013243466A (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP6390163B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6458426B2 (ja) ネイルプリント装置、ネイルプリント装置の動作制御方法及びネイルプリント装置の動作制御プログラム
JP2020160808A (ja) 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
JP2007058507A (ja) 視線検出装置
JP5212461B2 (ja) 画像処理装置および画像処理方法
JP5632104B2 (ja) 遊戯用撮影装置、遊戯用撮影装置の処理方法およびプログラム
JP2017062813A (ja) 映像表示装置及びプロジェクタ
JP6156559B2 (ja) 遊戯用撮影装置、遊戯用撮影方法、及びプログラム
JP5967275B2 (ja) 写真撮影遊戯機とその制御方法及び制御コンピュータ
JP6090369B2 (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2019050582A (ja) 写真撮影遊戯装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220608

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200303

CF01 Termination of patent right due to non-payment of annual fee