CN105391889A - 数据处理装置、数据处理系统和数据处理装置的控制方法 - Google Patents

数据处理装置、数据处理系统和数据处理装置的控制方法 Download PDF

Info

Publication number
CN105391889A
CN105391889A CN201510514247.XA CN201510514247A CN105391889A CN 105391889 A CN105391889 A CN 105391889A CN 201510514247 A CN201510514247 A CN 201510514247A CN 105391889 A CN105391889 A CN 105391889A
Authority
CN
China
Prior art keywords
operator
unit
item
action
function screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510514247.XA
Other languages
English (en)
Inventor
小坂亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105391889A publication Critical patent/CN105391889A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00278—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a printing apparatus, e.g. a laser beam printer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/4406—Restricting access, e.g. according to user identity
    • H04N1/442—Restricting access, e.g. according to user identity using a biometric data reading device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113—Multi-level security, e.g. mandatory access control

Abstract

本发明涉及数据处理装置、数据处理系统以及数据处理装置的控制方法。数据处理装置获取距离图像，并且基于所获取的距离图像来标识已经对操作屏幕执行了手势操作的操作者，执行控制，以便在所标识的操作者是第一操作者时，使对操作屏幕中的第一操作项的手势操作生效，在所标识的操作者是第二操作者时，使对第一操作项的手势操作无效，并且以便在所标识的操作者是第一操作者时，使对操作屏幕中的第二操作项的手势操作无效，在所标识的操作者是第二操作者时，使对第二操作项的手势操作生效。

Description

数据处理装置、数据处理系统和数据处理装置的控制方法
技术领域
本发明涉及一种多个操作者可以同时操作包括多个操作项的单个操作屏幕的数据处理装置，以及数据处理系统、数据处理装置的控制方法。
背景技术
近年来，照相机扫描仪已知是读取原稿的图像数据的装置。照相机扫描仪捕捉放置在台板上的原稿的图像，然后对照相机所捕捉的原稿的图像数据进行处理和存储(参见日本专利申请公开No.2006-115334)。
此外，已知这样一种图像处理系统，在该图像处理系统中，投影仪将通过这种照相机扫描仪中的照相机和操作按钮获得的被捕捉的图像数据投影到台板上。在该图像处理系统中，可以通过检测用户对投影的屏幕执行的操作来执行诸如打印被捕捉的图像数据之类的操作。
然而，上述图像处理系统未被期望用于多个操作者同时对操作屏幕进行操作的情况。这种情况包括保险合同过程，在该过程中，照相机捕捉放置在台板上的合同原稿的图像，并且投影仪将所得图像数据以及用于确认内容已被核对的复选框投影到台板上。在这样的情况下，保险公司员工和客户可以同时对操作屏幕进行操作。然而，复选框应允许在客户同意员工给出的展示时被勾选，并且不应被员工随意勾选。
发明内容
本发明涉及这样一种技术：在多个操作者可以同时操作包括多个操作项的单个操作屏幕的系统中，该技术能够针对每个操作项限制可操作该项的操作者。
本发明涉及一种数据处理装置，其中包括多个操作项的操作屏幕可以同时被第一操作者和第二操作者操作，该数据处理装置包括：投影单元，被配置为将操作屏幕投影到预定区域上；确定单元，被配置为确定对由投影单元投影的操作屏幕执行操作的操作者是第一操作者还是第二操作者；以及控制单元，被配置为执行控制，以便在确定单元确定操作者是第一操作者时，使对操作屏幕中的第一操作项的操作和对操作屏幕中的第二操作项的操作生效，并且以便在确定单元确定操作者是第二操作者时，使对第一操作项的操作生效，并使对第二操作项的操作无效。
参照附图阅读示例性实施例的以下描述，本发明的其他特征将变得清楚。
附图说明
图1是例示了照相机扫描仪的系统配置示例的示图。
图2A、2B和2C是例示了照相机扫描仪的外观示例的示图。
图3是例示了控制器单元等的硬件配置示例的框图。
图4是例示了照相机扫描仪的功能配置示例的框图。
图5A、5B、5C和5D是例示了由距离图像获取单元执行的处理示例的流程图等。
图6是例示了由手势识别单元执行的处理示例的流程图。
图7A、7B和7C是例示了指尖检测处理的示意图。
图8A、8B和8C是各自例示了照相机扫描仪的使用状态示例的示图。
图9是例示了根据第一示例性实施例的由主控制单元执行的处理示例的流程图。
图10A、10B、10C、10D、10E、10F和10G是各自例示了操作屏幕以及如何操作屏幕的示例的示图。
图11A、11B、11C、11D、11E、11F和11G是例示了根据第一示例性实施例的由手势操作者标识单元执行的处理示例的流程图等。
图12是例示了根据第一示例性实施例的权限管理表示例的示图。
图13A、13B、13C和13D是各自例示了操作屏幕示例的示图。
图14是例示了根据第二示例性实施例的由主控制单元执行的处理示例的流程图。
图15A、15B和15C是各自例示了根据第二示例性实施例的离开状态检查处理的示图。
图16是例示了根据第二示例性实施例的权限管理表示例的示图。
图17是例示了根据第三示例性实施例的由主控制单元执行的处理示例的流程图。
图18A、18B和18C是各自例示了根据第三示例性实施例的针对执行限制检查而执行的操作示例的示图。
图19是例示了根据第三示例性实施例的权限管理表示例的示图。
具体实施方式
下面参照附图来描述用于实现本发明的示例性实施例。
图1是例示了根据第一示例性实施例的包括照相机扫描仪101的系统配置的示图。
如图1中所示，照相机扫描仪101经由网络104连接到主机102和打印机103。照相机扫描仪101是图像处理装置的示例。在图1中所示的系统配置中，可以通过来自主机102的指令来实现用照相机扫描仪101读取图像的扫描功能和将照相机扫描仪101所获得的扫描数据输出到打印机103的打印功能。此外，可以在不涉及主机102的情况下通过对照相机扫描仪101的直接指令来实现所述扫描功能和打印功能。
(照相机扫描仪的配置)
图2A、2B和2C是例示了根据本示例性实施例的照相机扫描仪101的外观示例的示图。
如图2A中所示，照相机扫描仪101包括控制器单元201、照相机单元202、臂单元203、短焦点投影仪207(下文称为投影仪207)以及距离图像传感器208。作为照相机扫描仪101的主体的控制器单元201、执行图像捕捉的照相机单元202、投影仪207以及距离图像传感器208经由臂单元203相互连接。臂单元203可以利用关节进行弯曲和伸展。照相机单元202是捕捉图像的图像捕捉单元的示例。投影仪207是投影以下所述的、用户对其执行操作的操作屏幕(操作显示器)的投影单元的示例。距离图像传感器208是获取距离图像的距离图像获取单元的示例。
图2A还例示了上面安装有照相机扫描仪101的台板204。照相机单元203和距离图像传感器208均具有朝向台板204的透镜，并且可以读取虚线所包围的读取区域205中的图像。在图2所示的示例中，放置在读取区域205中的原稿206可以被照相机扫描仪101读取。在台板204上设有转盘209。转盘209可以根据来自控制器单元201的指令进行旋转，使得转盘209上的物体(被摄体)和照相机单元202之间的角度可以改变。
照相机单元202可以以固定分辨率捕捉图像，但是优选地能够以高分辨率和低分辨率捕捉图像。
照相机扫描仪101还可以包括液晶显示器(LCD)触摸板330和扬声器340(在图2中未示出)。
图2B例示了照相机扫描仪101中的坐标系。在由照相机单元202和距离图像传感器208的RGB照相机363捕捉或者由投影仪207投影的图像平面被定义为XY平面、与图像平面正交的方向被定义为Z方向的情况下，针对照相机扫描仪101中的各个硬件设备来定义诸如照相机坐标系、距离图像坐标系和投影仪坐标系之类的坐标系。此外，正交坐标系以这样的方式来定义：包括台板204的平面被设为XY平面，并且与XY平面正交的向上方向被设为Z轴。因此，各坐标系上的相互独立的三维数据片可以以统一的方式表示。
图2C例示了坐标系被转换的情况的一个示例。更具体地说，图2C例示了正交坐标系、由照相机单元202在中心的照相机坐标系定义的空间、以及由照相机单元202捕捉的图像平面之间的关系。可以用以下公式(1)将正交坐标系中的三维点P[X,Y,Z]转换为照相机坐标系中的三维点Pc[Xc,Yc,Zc]：
[Xc，Yc，Zc]T＝[Rc|tc][X，Y，Z，1]T...(1)
在公式(1)中，Rc和tc由分别基于照相机相对于正交坐标系的方位(旋转)和位置(平移)而获得的外部参数构成。因此，Rc和tc分别被称为3×3旋转矩阵和平移矢量。用以下公式(2)把在照相机坐标系中定义的三维点可以转换为正交坐标系中的三维点：
照相机单元202所捕捉的二维照相机图像平面是由照相机单元202通过将三维空间中的三维信息转换为二维信息而获得的。更具体地说，该平面是通过用以下公式(3)对照相机坐标系上的三维点Pc[Xc,Yc,Zc]执行到照相机图像平面上的二维坐标pc[xp,yp]的透视投影转换而获得的：
λ[xp，yp，1]T＝A[Xc，Yc，Zc]T...(3)
在公式(3)中，A被称为照相机内部参数，是用焦距、图像中心等表示的3×3矩阵。
利用上述公式(1)和(3)，由正交坐标系表示的三维点群可以被转换为照相机坐标系上的三维点群坐标以及被转换到照相机图像平面中。假设每个硬件设备的内部参数以及该硬件设备相对于正交坐标系的位置和方位(外部参数)预先被用已知的校准方法校准。术语“三维点群”在下文中表示正交坐标系上的三维数据，除非另有指明。
(照相机扫描仪的控制器的硬件配置)
图3是例示了作为照相机扫描仪101的主体的控制器单元201等的硬件配置示例的框图。
如图3中所示，控制器单元201包括中央处理单元(CPU)302、随机存取存储器(RAM)303、只读存储器(ROM)304、硬盘驱动器(HDD)305、网络I/F306以及连接到系统总线301的图像处理器307。控制器单元201还包括照相机I/F308、显示控制器309、串行I/F310、音频控制器311以及USB控制器312。
CPU302控制整个控制器单元201的操作。RAM303是易失性存储器。ROM304是非易失性存储器，并且存储用于CPU302的引导程序。HDD305具有比RAM303大的容量，并且存储有通过控制器单元201执行的用于照相机扫描仪101的控制程序。当CPU302执行在ROM304和HDD305中存储的程序时，照相机扫描仪101的功能配置和下述流程图中的处理(信息处理)被实现。
当照相机扫描仪101被接通或类似来被启动时，CPU302执行存储在ROM304中的引导程序。引导程序被用于使CPU302读出存储在HDD305中的控制程序并将该控制程序加载到RAM303上。在执行引导程序之后，CPU302执行加载在RAM303上的控制程序，从而进行控制。RAM303还存储基于该控制程序的操作中所使用的数据。这种数据被CPU302写到RAM303和从RAM303读取。HDD305还可以存储基于控制程序的操作所需的各种设置和通过照相机输入产生的图像数据。这种设置和数据被CPU302写到HDD305和从HDD305读取。CPU302通过网络I/F306与网络104上的其它装置进行通信。
图像处理器307读出并处理存储在RAM303中的图像数据，并且将所得的图像数据写到RAM303。图像处理器307执行图像处理，诸如旋转、放大和颜色转换。
照相机I/F308连接到照相机单元202和距离图像传感器208。响应于来自CPU302的指令，照相机I/F308从照相机单元202获取图像数据，从距离图像传感器208获取距离图像数据，并将它们写到RAM303。照相机I/F308将来自CPU302的控制命令发送到照相机单元202和距离图像传感器208，使得照相机单元202和距离图像传感器208的设置被执行。
控制器单元201还可以包括下列中的至少一个：显示控制器309、串行I/F310、音频控制器311以及通用串行总线(USB)控制器312。
显示控制器309连接到投影仪207和LCD触摸板330，并且根据来自CPU302的指令来控制图像数据的显示。
串行I/F310输入和输出串行信号。串行I/F310连接到转盘209，并且把来自CPU302的用于开始旋转和结束旋转以及用于设置旋转角度的指令发送到转盘209。串行I/F310连接到LCD触摸板330。当LCD触摸板330被按下时，CPU302通过I/F310获取被按下的部分的坐标。
音频控制器311连接到扬声器340，并且根据来自CPU302的指令，将音频数据转换为模拟音频信号，并通过扬声器340输出音频声音。
USB控制器312根据来自CPU302的指令来控制外部USB设备。USB控制器312连接到诸如USB存储器和安全数字(SD)卡之类的外部存储器350，并将数据写到外部存储器350以及从外部存储器350读取数据。
(照相机扫描仪的功能配置)
图4是例示了当CPU302执行控制程序时所实现的照相机扫描仪101的功能配置401的示例的框图。如上所述，用于照相机扫描仪101的控制程序被存储在HDD305中，并且当照相机扫描仪101启动时，被加载到RAM303上以供CPU302执行。
主要负责控制的主控制单元402对功能配置401中的其它模块进行控制。
图像获取单元407是执行图像输入处理的模块，并且包括照相机图像获取单元408和距离图像获取单元409。照相机图像获取单元408获取通过照相机I/F308从照相机单元202输出的图像数据，并且将该图像数据存储在RAM303中(捕捉图像获取处理)。距离图像获取单元409获取通过照相机I/F308从距离图像传感器208输出的距离图像数据，并且将该距离图像数据存储在RAM303中(距离图像获取处理)。下面参照图5来详细地描述由距离图像获取单元409执行的处理。
识别处理单元410是根据由照相机图像获取单元408和距离图像获取单元409获取的图像数据来检测并识别台板204上的物体的移动的模块。识别处理单元410包括手势识别单元411和手势操作者标识单元412。手势识别单元411顺序地从图像获取单元407获取台板204上的图像。当检测到诸如触摸之类的手势时，手势识别单元411向主控制单元402通知所检测到的手势。手势操作者标识单元412标识已经执行了由手势识别单元411所检测到的手势的操作者，并且向主控制单元402通知所标识的操作者。下面参照图6和图10来更详细地描述由手势识别单元411和手势操作者标识单元412执行的处理。
图像处理单元413提供图像处理器307用来分析从照相机单元202和距离图像传感器208获取的图像的功能。手势识别单元411和手势操作者标识单元412也使用图像处理单元413的功能来执行处理。
用户接口单元413接收来自主控制单元402的请求，并且产生诸如消息和按钮之类的图形用户界面(GUI)部分。用户接口单元403请求显示单元406显示所产生的GUI部分。显示单元406通过显示控制器309将所请求的被请求GUI部分显示到投影仪207或LCD触摸板303。投影仪207朝向台板204，从而可以将GUI部分投影到台板204上。因此，台板204包括投影区域，图像被投影仪207投影到该投影区域上。用户接口单元403接收由手势识别单元411识别的诸如触摸之类的手势操作或通过串行I/F310接收来自LCD触摸板330的输入操作、以及与所接收的操作相关的坐标。用户接口单元403基于操作屏幕上的显示内容和被操作的坐标之间的关联来确定操作内容(诸如被按下的按钮)。用户接口单元403向主控制单元402通知操作内容，由此操作者所做出的操作被接收。
网络通信单元404通过网络I/F306与网络104上的其它装置执行基于TCP/IP的通信。
数据管理单元405将诸如由CPU302执行控制程序而产生的操作数据之类的各种数据存储在HDD305上的预定区域中，并且管理该数据。
(关于距离图像传感器和距离图像获取单元的描述)
距离图像传感器208是红外线图案投影方法距离图像传感器，并且如图3中所示，包括红外线图案投影单元361、红外线照相机362以及RGB照相机363。红外线图案投影单元361使用红外线(对于人不可见)来将三维测量图案投影到目标物体上。红外线照相机362读取已被投影到目标物体上的三维测量图案。RGB照相机363将可见光(对于人可见)转换为RGB信号。
参照图5A中的流程图来描述由距离图像获取单元409执行的处理。图5B至图5D例示了使用图案投影系统来测量距离图像的方法。
当处理开始时，在步骤S501中，如图5B中所示，距离图像获取单元409通过使用红外线图案投影单元361将红外线三维形状测量图案522投影到目标物体521上。
在步骤S502中，距离图像获取单元409获取作为由RGB照相机363捕捉的目标物体521的图像的RGB照相机图像523以及作为由红外线图案投影单元361在步骤S501中投影的三维形状测量图案522的图像的红外线照相机图像524。红外线照相机362和RGB照相机363被安装在不同的位置，从而分别在成像区域中捕捉作为彼此不同的两个图像的RGB照相机图像523和红外线照相机图像524，如图5C中所示。
在步骤S503中，距离图像获取单元409将红外线照相机362的坐标系转换为RGB照相机363的坐标系，使得坐标系在红外线照相机图像524和RGB照相机图像523之间匹配。假设红外线照相机362和RGB照相机363的相对位置和内部参数已经由预先执行的校准处理给出。
在步骤S504中，距离图像获取单元409提取三维形状测量图案522和已经在步骤S503中经受坐标转换的红外线照相机图像524之间的相应点，如图5D中所示。例如，距离图像获取单元409在三维形状测量图案522上搜索红外线照相机图像524上的点，当找到这样的点时，相应的点彼此关联。可替代地，距离图像获取单元409可以在三维形状测量图案522上搜索红外线照相机图像524中的像素的周边图案，从而最相似的部分可以彼此关联。
在步骤S505中，距离图像获取单元409基于利用连接红外线图案投影单元361和红外线照相机362的用作基线525的直线的三角测量来计算与红外线照相机362的距离。距离图像获取单元409在与在步骤S504中成功关联的像素相对应的位置处计算目标物体521和红外线照相机362之间的距离，并且将该距离存储为该像素的像素值。另一方面，距离图像获取单元409将未能被关联的像素的无效值存储作为其中距离测量失败的一部分。距离图像获取单元409对已经在步骤S503中经受了坐标转换的红外线照相机图像524中的所有像素执行上述处理，从而产生其每个像素设有距离值(距离信息)的距离图像。
在步骤S506中，距离图像获取单元409针对距离图像的每个像素存储RGB照相机图像523的RGB值，由此形成其中每个像素具有包括R、G、B和距离值的四个值的距离图像。这样获取的距离图像基于针对距离图像传感器208的RGB照相机363定义的距离图像传感器坐标系。
然后，在步骤S507中，距离图像获取单元409把基于如以上参照图2B所述的距离图像传感器坐标系获得的距离信息转换为正交坐标系上的三维点群。术语“三维点群”在下文中表示正交坐标系中的三维点群，除非另有指明。
距离图像传感器208可以利用除了在上述本示例性实施例中利用的红外线图案投影系统以外的系统。例如，可以利用其中用两个RGB照相机实现立体照相三维观看的立体系统或者其中通过检测激光束的飞行时间来测量距离的飞行时间(TimeofFlight，TOF)系统。
(关于手势识别单元的描述)
参照图6中的流程图来详细地描述手势识别单元411所执行的处理。
当处理开始时，在图6中的步骤S601中，手势识别单元411执行初始化处理。在初始化处理中，手势识别单元411从距离图像获取单元409获取距离图像的一个帧。在手势识别单元411所执行的处理的开始点，没有目标物体被放置在台板204上。因此，台板204的平面被识别为初始状态。更具体地说，手势识别单元411从所获取的距离图像提取最大平面，计算该平面的位置和法向量(在下文中，称为台板204的平面参数)，并将这些平面参数存储在RAM303中。
在步骤S602中，手势识别单元411通过步骤S621和S622获取台板204上的物体的三维点群。
在步骤S621中，手势识别单元411从距离图像获取单元409获取距离图像和三维点群中的每个的一个帧。
在步骤S622中，手势识别单元411使用台板204的平面参数来从所获取的三维点群中去除包括台板204的平面上的点群。
在步骤S603中，手势识别单元411通过步骤S631至S634来执行根据所获取的三维点群检测用户的手形状和指尖的处理。参照示意性地例示了指尖检测处理的图7来描述在步骤S603中执行的处理。
在步骤S631中，手势识别单元411从在步骤S602中获取的三维点群中提取在离包括台板204的平面预定高度或更高处的、图7A中的肤色三维点群701。
在步骤S632中，手势识别单元411产生所提取的表示手的三维点群被投影到台板204的平面上的二维图像702，以检测手的外形，该二维图像702在图7A示出。更具体地说，二维图像702是通过使用台板204的平面参数来投影点群的坐标而获得的。此外，如图7B所示，可以通过从投影的三维点群中提取xy坐标值来获得如在Z轴方向上看到的二维图像703。此时，手势识别单元411存储指示被投影在台板204的平面上的二维图像中的点和表示手的三维点群中的点之间的对应关系的信息。
在步骤S633中，手势识别单元411在限定所检测出的手的外形的点中的每个点处计算外形的曲率，并且检测这样的点作为指尖：在该点处，计算得到小于预定值的曲率。图7C是示意性地例示了根据外形的曲率来检测指尖的方法的示图。在该图中，例如，绘制了圆圈705和707，每个圆圈均包括限定被投影到台板204的平面上的二维图像703的外形的点704中的五个相邻点。这样的圆圈针对限定外形的每个点、以其作为中心顺序地绘制。其圆圈具有小于预定值(小曲率)的直径(例如，直径706，而非直径708)的点被检测为指尖。每个圆中的相邻点的数量(在本示例中为五个)不受特别限制。还可以通过对外形执行椭圆拟合来检测指尖，而不是如上述示例中那样使用曲率。
在步骤S634中，手势识别单元411计算所检测的指尖的数量以及每个指尖的坐标。如上所述，被投影到台板204上的二维图像中的点和表示手的三维点群中的点之间的对应关系被存储。因此，手势识别单元411可以获取每个指尖的三维坐标。用于检测指尖的图像不限于如上述方法中的被投影到二维图像上的三维点群的图像。例如，可以通过距离图像上的背景减除(backgroundsubtraction)或者根据RGB图像中的肤色区域来提取手区域，并且可以通过类似于上述方法的方法(诸如计算外形的曲率)来检测所述手区域中的指尖。在这种情况下检测出的指尖的坐标是诸如RGB图像或距离图像之类的二维图像上的二维坐标。因此，手势识别单元411需要通过使用距离图像上的这些坐标处的距离信息来将这些坐标转换为正交坐标系上的三维坐标。此时，指尖点可以是用于检测指尖的曲率圆的中心，而不是外形上的作为指尖点的点。
在步骤S604中，手势识别单元411根据所检测的手形状和指尖通过步骤S641至S645执行手势确定处理。
在步骤S641中，手势识别单元411确定在步骤S603中检测出的指尖的数量是否是一个。当手势识别单元411确定指尖的数量不是一个(在步骤S641中为否)时，处理进入步骤S646。在步骤S646中，手势识别单元411确定未执行手势。另一方面，当手势识别单元411确定指尖的数量是一个(在步骤S641中为是)时，处理进入步骤S642。在步骤S642中，手势识别单元411计算所检测出的指尖和包括台板204的平面之间的距离。
在步骤S643中，手势识别单元411确定在步骤S642中计算出的距离是否等于或小于预定值。当该距离等于或小于预定值(在步骤S643中为是)时，处理进入步骤S644。在步骤S644中，手势识别单元411确定用指尖触摸台板204的触摸手势已被执行。当在步骤S642中计算出的距离不等于或小于预定值(在步骤S643中为否)时，处理进入步骤S645。在步骤S645中，手势识别单元411确定移动指尖的手势(指尖位于台板204的上方但未触摸的手势)被执行。
在步骤S605中，手势识别单元411向主控制单元402通知所确定的手势，然后处理返回到步骤S602，并且重复手势识别处理。
手势识别单元411可以通过上述处理，基于距离图像来识别用户所执行的手势。
(关于使用状态的描述)
参照图8A、8B和8C来描述照相机扫描仪101的使用状态。
本发明期望应用于多个操作者同时操作照相机扫描仪101的情况。例如，本发明可以应用于诸如合同等的手续、产品等的展示、会议以及教育之类的各种情况。
照相机扫描仪101的操作者被分类为在给出解释的同时操作照相机扫描仪101的人(主操作者)以及在收听解释的同时操作照相机扫描仪101的人(副操作者)。
在合同等的手续中，说明员(主操作者)和客户(副操作者)执行包括以下的过程：核对合同内容、输入必要项、核对所输入的内容、以及批准。必要项可以由说明员或客户输入，只要客户最后核对所输入得内容即可。另一方面，只有已同意说明员的展示的客户才可以确认所输入的内容被核对。因此，不允许说明员代表客户确认内容被核对。
在教育的情况下，教师(主操作者)和学生(副操作者)执行包括以下的过程：问题设置、回答、改正、解释所建议的答案等。学生所做出的答案可以由教师而不是由学生改正。同时，学生可以输入问题的答案，教师可以输入所建议的答案。本发明的目的是在照相机扫描仪101由多个操作者操作的情况下通过适当地向每个操作者给予权限来实现适当的处理流程。
图8A、8B和8C例示了两个操作者801和802同时操作照相机扫描仪101的状态。例如，操作者801和802可以如图8A中所示那样在彼此面对面地坐(或站)在相对侧的状态下、在如图8B所示那样坐(或站)在相邻侧的状态下，或者在如图8C所示那样彼此并排坐的状态下，操作照相机扫描仪101。主操作者和副操作者如何坐可以由主操作者在该操作者登入照相机扫描仪101的系统时确定。可替代地，可以通过使用脸部识别技术等来检测预先登记的主操作者的脸，而其他操作者则可以被确定为副操作者。然后，可以基于结果来确定布置。另外，照相机扫描仪101可以被三个或更多个操作者使用。
在下述情况下，如图8A所示那样彼此面对面的操作者(主操作者801和副操作者802)使用照相机扫描仪101进行合同过程。操作者的数量、操作者如何坐、以及照相机101用于什么目的不限于本示例。
(关于主控制单元的描述)
参照图9中的流程图来详细地描述主控制单元402所执行的处理。
当处理开始时，在图9中的步骤S901中，主控制单元402使投影仪207在台板204上投影和显示操作屏幕。图10例示了主操作者801和副操作者802对被投影和显示在台板204上的操作屏幕进行操作的状态。图10A例示了操作屏幕的示例。打印按钮1001、姓名输入字段1002、复选框1003以及批准按钮1004被投影和显示在操作屏幕上。操作者801和802可以用手势操作来操作每个操作项。操作项和对每个操作项执行的手势操作不限于上面所述的那些。例如，可以利用软件键盘输入操作、对所显示的UI部分和图像的手势操作(诸如放大的或缩小的显示、旋转、移动和裁剪)。
在步骤S902中，主控制单元402确定手势检测通知是否已经从手势识别单元411输入。尽管以下描述中所检测到的手势是台板204上的触摸操作，但是其它手势操作可以被检测。在图10A中所示的情况下，主操作者801和副操作者802均未对操作屏幕做出操作。因此，手势识别单元411未检测到手势(在步骤S902中为否)，因此处理进入步骤S908。另一方面，在图10B至10G中所示的情况下，主操作者801或副操作者802正在执行手势操作。因此，手势识别单元411发出指示检测到手势的通知(在步骤S902中为是)，从而处理进入步骤S903。
在步骤S903中，主控制单元402标识由手势选择的操作项。被标识为选定项的操作项在图10B和10C中所示的情况下是姓名输入字段1002，在图10D和10E中所示的情况下是复选框1003，在图10F和10G中所示的情况下是打印按钮1001。
在步骤S904中，主控制单元402标识已执行了在步骤S902中检测到的手势的手势操作者。在图10B、10D和10F中所示的情况下主操作者801被标识为手势操作者。副操作者802在图10C、10E和10G中所示的情况下被标识为手势操作者。
现在，参照图11A至11G来描述步骤S904中的手势操作者标识处理。图11A是例示了手势操作者标识单元412所执行的处理示例的流程图。图11B至11F是例示了该处理的示图。
在图11A的步骤S1101中，手势操作者标识单元412获取近似手形状。更具体地说，手势操作者标识单元412通过对照相机单元202或距离图像传感器208捕捉的图像使用背景减除、帧减除(framesubtraction)等来获取近似手形状。可替代地，手势操作者标识单元412可以获取当触摸手势在图6中的步骤S632中被手势识别单元411检测到时所产生的近似手形状。例如，当如图10G中所示的触摸手势被执行时，获取如图11B中所示的近似手形状1111。
然后，在步骤S1102中，手势操作者标识单元412对手区域执行细化处理以产生图11C中所示的手区域的中心线1121。
在步骤S1103中，手势操作者标识单元412执行向量近似处理以产生图11D中所示的向量1131。
在步骤S1104中，手势操作者标识单元412产生手区域的框架模型，如图11E中所示，该框架模型包括手指区域1141、手区域1142、前臂区域1143和上臂区域1144。
最后，在步骤S1105中，手势操作者标识单元412基于在步骤S1104中获取的框架模型来估计手势操作被执行的方向，并且基于预先设置的、操作者之间的位置关系来标识手势操作者。因此，主控制单元402可以确定触摸手势是由操作者802用该操作者的右手执行的。
标识手势操作者的方法不限于此，可以通过其它方法来标识操作者。例如，如图11F中所示，可以通过使用在图像端部处的手区域的重心位置1151和指尖位置1152之间限定的方位1153来简单地标识手势操作者。可替代地，如图11G所示，可以通过根据由手势识别单元411检测到的指尖移动手势来产生手区域的踪迹1161来标识手势操作者。此外，可以通过附连到照相机扫描仪101的人存在传感器(未示出)或者通过使用脸部识别等来标识手势操作者。
回头参照图9，在步骤S905中，主控制单元402基于在步骤S903中标识的操作项和在步骤S904中标识的手势操作者来确定手势操作者是否被授权对操作项进行操作。当主控制单元402确定手势操作者被授权(在步骤S905中为是)时，处理进入步骤S906。另一方面，当主控制单元402确定手势操作者未被授权(在步骤S905中为否)时，处理进入步骤S908。手势操作者是否被授权是基于如图12所示的权限管理表1201来确定的。例如，主操作者801和副操作者802都被授权操作姓名输入字段1002。只有主操作者801被授权操作打印按钮1001，并且只有副操作者802被授权操作复选框1003和批准按钮1004。
确定操作者是否被授权的方法不限于此。例如，与各个操作项对应的UI部分1001至1004中的每一个可以被提供指示该部分是否被授权进行操作的信息。因此，可以基于提供给被操作的UI部分的信息以及关于手势操作者的信息来确定手势操作者是否被授权对相应项进行操作。
例如，可以提供图13A中所示的UI屏幕。更具体地说，在该UI屏幕中，可以操作的UI部分在朝向被授权操作者的方向上被加阴影。根据从照相机图像获取单元408或距离图像获取单元409获得的图像来检测被操作的UI部分被加阴影的方向。因此，可以通过确定加阴影的方向是否匹配朝向手势操作者的方向来确定手势操作者是否被授权。更具体地说，可以确定只有主操作者801被授权操作朝向主操作者801加阴影的打印按钮1301。此外，可以确定只有副操作者802被授权操作朝向副操作者802加阴影的复选框1303和批准按钮1304。此外，可以确定主操作者801和副操作者802这两者都被授权操作朝向主操作者801和副操作者802这两者都加阴影的姓名输入字段1302。
可替代地，可以提供如图13B中所示的UI屏幕。更具体地说，在该UI屏幕中，与可被每个操作者操作的操作项对应的UI部分具有易于被操作者看到的显示方位。因此，可以根据从照相机图像获取单元408或距离图像获取单元409获取的图像，基于UI部分的方位是否适合于手势操作者的方位来确定手势操作者是否被授权。在图13B所示的示例中，打印按钮1311被定向为易于被主操作者801看到。复选框1313和批准按钮1314被定向为易于被副操作者802看到。关于可被多个操作者操作的操作项，为操作者分别显示相应的UI部分。例如，姓名输入字段1312是可被主操作者801和副操作者802这两者操作的操作项。因此，为主操作者801和副操作者802分别显示姓名输入字段1312-1和姓名输入字段1312-2。这里，需要提供一种方法使得一个操作者对可被多个操作者操作的操作项进行操作的结果反映在用于另一个操作者的操作项上。更具体地说，当主操作者801对姓名输入字段1312-1执行输入操作时，输入内容反映在用于副操作者802的姓名输入字段1312-2上。类似地，当副操作者802对姓名输入字段1312-2执行输入操作时，输入内容反映在用于主操作者801的姓名输入字段1312-1上。在这种情况下，可以如图13B中所示那样显示相同的内容，或者可以如图13C中所示那样将显示方法或显示内容修改和显示为适合于每个操作者(1312-1’和1312-2’)。
如图13D中所示，可被多个操作者操作的操作项(姓名输入字段1322)可以被显示为使操作结果定向在朝向被期望呈现操作结果的操作者的方向上。更具体地说，可以提供如下的方法：在该方法中，当旋转按钮1323被操作时，显示被旋转为面向另一个操作者。
图12中所示的权限管理表1201可以与用于图13中所示的UI部分的显示方法结合。
回头参照图9，在步骤S906中，主控制单元402执行与在步骤S903中标识的操作项对应的处理。然后，在步骤S907中，主控制单元402根据所执行的与所标识的操作项对应的处理来对UI屏幕执行更新处理。
姓名输入字段1002可以被主操作者801和副操作者802这两者操作。因此，如图10B和10C中所示，输入结果反映在姓名输入字段1002上，而不管该项是被主操作者801操作还是被副操作者802操作。另一方面，复选框1003仅可以被副操作者802操作。因此，如图10E中所示，当副操作者802按下复选框1003时显示复选标记，而如图10D中所示，当主操作者801按下复选框1003时不显示复选标记。打印按钮1001仅可以被主操作者801操作。因此，如图10F中所示，当主操作者801按下打印按钮1001时执行打印机103的打印，而如图10G中所示，当副操作者802按下打印按钮1001时不执行打印机103的打印。
在步骤S908中，主控制单元402确定系统是否被终止。重复从步骤S901至步骤S908的处理，直到主控制单元402确定系统被终止为止。当被投影和显示在操作屏幕上的结束按钮被按下时，或者当照相机扫描仪101的主体上的电源按钮(未示出)被按下时，主控制单元402确定系统被终止(在步骤S908中为是)。
如上所述，根据本示例性实施例，当检测到手势操作时，对手势操作者进行标识，并针对操作屏幕上的每个操作项确定执行是否被允许。因此，在其中多个操作者可以同时操作单个操作屏幕的数据处理系统中，可以防止所显示的仅可被一个操作者操作的项被另一个操作者随意地操作。
在第一示例性实施例中，已经描述了操作者一直在照相机扫描仪101的范围内执行操作的情况。然而，在合同过程等中，说明员可能临时离开该操作者的座位。在这种情况下，不希望当说明员离开时某些可被客户操作的操作项被操作。因此，在第二示例性实施例中，描述了如下的方法：在该方法中，当一个操作者离开照相机扫描仪101可被操作的位置时，给予另一个操作者的权限改变。
参照图14至16来描述根据第二示例性实施例的在照相机扫描仪101中执行的处理。
图14是例示了根据第二示例性实施例的由主控制单元402执行的处理的流程的流程图。图14中的流程图与图9中的流程图的不同之处在于增加了检查操作者的离开状态的处理(步骤S1404)。与图9中的处理相同的处理以相同的步骤编号表示，并将不再进行详细的描述。
在步骤S903中标识操作项并且在步骤S904中标识手势操作者之后，然后在步骤S1401中，主控制单元402检查操作者的离开状态。更具体地说，如图15A中所示，通过用附连到照相机扫描仪101的人存在传感器1501和1502中的相应的一个检测操作者离开人检测区域1503或1504来检查离开状态。在这种情况下，操作者801已经移出了人检测区域1503，因此可以确定操作者801离开。作为如上所述使用两个人存在传感器1501和1502的替代，可以仅用能在照相机扫描仪101的整个周边上执行检测的单个人存在传感器来检查离开状态。可替代地，可以用通过改变照相机扫描仪101的照相机单元202或距离图像传感器208的变焦倍率而实现的更大图像捕捉范围来检查每个操作者的离开状态。更具体地说，如图15B中所示，当操作者801不在以更广的范围捕捉的图像1511中时，可以确定操作者801离开。此外，如图15C中所示，操作者801可以在离开该操作者的座位时按下离开按钮1521，并且可以基于离开按钮1521是否已被按下来检查离开状态。可以通过使用其它各种设备和单元来检查离开状态。
然后，在步骤S905中，基于在步骤S903中标识的操作项和在步骤S1401中检查的离开状态，主控制单元402确定操作者是否被授权操作该操作项。当主控制单元402确定操作者被授权(在步骤S905中为是)时，处理进入步骤S906。另一方面，当主控制单元402确定操作者未被授权(在步骤S905中为否)时，处理进入步骤S908。基于图16中所示的权限管理表1601来确定操作者是否被授权，权限管理表1601与图12中所示的权限管理表1201的不同之处在于基于另一个操作者是在场还是离开来进一步确定是否给予权限。例如，不管主操作者801是在场还是离开，副操作者802都可以操作复选框1003。另一方面，只有当主操作者801在场时，副操作者802才可以按下批准按钮1004。换句话说，当主操作者801离开时，副操作者802被确定为不被授权操作批准按钮1004。结果，当副操作者802在主操作者801离开的状态下按下批准按钮1004时，不执行批准处理。
如上所述，根据本示例性实施例，当一个操作者离开可以操作照相机扫描仪101的位置时，另一个操作者的权限可以受到限制。结果，当一个操作者离开时，可以防止操作被另一个操作者随意地执行。
在上面所述的第一示例性实施例和第二示例性实施例中，当某操作项被授权的操作者操作时，与被操作的项对应的处理立即被执行，而不管该项是被主操作者操作还是被副操作者操作。在这种配置中，当诸如不习惯于操作的副操作者之类的用户使用照相机扫描仪101时，无意的动作可能被错误地识别为手势操作，并因此可能执行错误操作。因此，在第三示例性实施例中，将描述用于通过主操作者控制副操作者可操作照相机扫描仪101的定时来防止这种错误操作的方法。
参照图17至19来描述根据第三示例性实施例的在照相机扫描仪101中执行的处理。
图17是例示了根据第三示例性实施例的由主控制单元402执行的处理的流程的示图。图17与图14的不同之处在于增加了步骤S1701和S1702中的处理。与第一和第二示例性实施例中的处理相同的处理以相同的步骤编号表示，并将不再对其进行详细的描述。
在步骤S1701中，主控制单元402确定在步骤S904中标识的手势操作者是否是主操作者801。当手势操作者是主操作者801(在步骤S801中为是)时，处理进入步骤S905。在步骤S905中，执行权限检查处理。另一方面，当手势操作者是副操作者802(在步骤S801中为否)时，处理进入步骤S1702。
在步骤S1702中，主控制单元402检查是否已输入允许副操作者802执行操作的指令。例如，如图18A中所示，当主操作者801的手放置在台板上的预定位置上时，主控制单元402可以确定已输入允许副操作者802执行操作的指令。在这种情况下，可以通过检查主操作者801的手是否在预定位置来确定副操作者802是否被授权执行操作。可替代地，当主操作者801按下操作允许按钮(未示出)时，副操作者802可以被授权执行操作。在这种情况下，可以通过检查操作允许按钮是否被按下来确定副操作者802是否被授权执行操作。
然后，在步骤S905中，主控制单元402基于图19中所示的权限管理表1901来确定所标识的操作者是否被授权。权限管理表1901与图16中所示的权限管理表1601的不同之处在于增加了与在主操作者801未发出操作允许指令的情况下给予副操作者802的权限相关的字段。更具体地说，当主操作者801未输入操作允许指令时，副操作者802对任何操作项执行的操作无效。当主操作者801已输入操作允许指令时，以与图16的情况相同的方式向副操作者801给予授权。
如上所述，副操作者802可以在图18A所示的情况下按下复选按钮，因为主操作者801正将主操作者801的手放置在台板上的预定位置上，从而用于副操作者802的操作允许指令已经被输入。另一方面，在图18B所示的情况下，确定用于副操作者802的操作允许指令尚未被输入，因此副操作者802对复选按钮的操作无效，因为主操作者801的手未放置在台板上的预定位置上。通过增加这样的控制，当不习惯于操作的副操作者802执行的使手在屏幕上交叉的自然动作被识别为按下批准按钮1004的操作时，操作可以受到限制。
如上所述，根据本示例性实施例，主操作者801可以限制由副操作者802执行的操作，从而可以防止由于副操作者802执行的无意操作而执行错误的操作。
在上述示例性实施例中，可以在诸如照相机扫描仪101之类的数据处理装置中实现更高的用户可操作性，其中利用所述数据处理装置，多个操作者可以同时对包括多个操作项的单个操作屏幕进行操作。更具体地说，基于距离图像来标识已经对投影的操作屏幕执行了手势操作的操作者。然后，根据所标识的操作者，针对操作屏幕中的每个操作项来控制操作是否被允许。因此，可以防止能被多个操作者中的一个操作者操作的显示项被另一个操作者随意地操作。
以上描述了示例性实施例。然而，本发明不限于特定的示例性实施例，并且在不脱离权利要求中所描述的本发明的精神的情况下，可以以各种方式进行修改和改变。
其它实施例
本发明的实施例(一个或多个)还可以通过这样的系统或装置的计算机来实现：所述计算机读出并执行记录在存储介质(其也可被完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个实施例的功能和/或包括用于执行上述实施例中的一个或更多个实施例的功能的一个或更多个电路(例如，专用集成电路(ASIC))；以及还可以通过这样执行的方法来实现：由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个实施例的功能和/或控制所述一个或更多个电路以执行上述实施例中的一个或更多个实施例的功能。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理器单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如以下中的一个或更多个：硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参照示例性实施例描述了本发明，但是要理解本发明不限于所公开的示例性实施例。权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (11)

1.一种数据处理装置，在该数据处理装置中，包括多个操作项的操作屏幕能够同时被第一操作者和第二操作者操作，其特征在于，该数据处理装置包括：
投影单元，被配置为将所述操作屏幕投影到预定区域上；
确定单元，被配置为确定已经对由投影单元投影的操作屏幕执行了操作的操作者是第一操作者还是第二操作者；和
控制单元，被配置为执行控制，以便在确定单元确定所述操作者是第一操作者时，使对操作屏幕中的第一操作项的操作和对操作屏幕中的第二操作项的操作生效，并且以便在确定单元确定所述操作者是第二操作者时，使对第一操作项的操作生效，而使对第二操作项的操作无效。
2.根据权利要求1所述的数据处理装置，其中，所述控制单元被配置为执行控制，以便在确定单元确定操作者是第一操作者时，使对操作屏幕中所包括的第三操作项的操作无效，并且以便在确定单元确定操作者是第二操作者时，使对第三操作项的操作生效。
3.根据权利要求1所述的数据处理装置，还包括存储单元，所述存储单元被配置为存储这样的信息：该信息指示针对操作屏幕中所包括的所述多个操作项中的每个操作项，第一操作者和第二操作者中的每一个是否被授权执行操作，
其中，所述控制单元被配置为基于存储在存储单元中的所述信息来执行所述控制。
4.根据权利要求1所述的数据处理装置，还包括距离图像获取单元，所述距离图像获取单元被配置为获取距离图像，
其中，所述确定单元被配置为基于由距离图像获取单元获取的距离图像来确定已经对操作屏幕执行了操作的操作者是第一操作者还是第二操作者。
5.根据权利要求4所述的数据处理装置，其中，所述确定单元被配置为：基于由距离图像获取单元获取的距离图像来估计操作被执行的方向，并且基于所估计的方向以及预先设置的、第一操作者与第二操作者之间的位置关系来确定已经对操作屏幕执行了所述操作的操作者是第一操作者还是第二操作者。
6.根据权利要求4所述的数据处理装置，还包括识别单元，所述识别单元被配置为基于由距离图像获取单元获取的距离图像来识别对操作屏幕执行的手势操作，
其中，所述确定单元被配置为确定已经对操作屏幕执行了由识别单元识别的手势操作的操作者是第一操作者还是第二操作者。
7.根据权利要求6所述的数据处理装置，其中，所述识别单元被配置为基于从由距离图像获取单元获取的距离图像中检测到的手的形状和位置来识别所述手势操作。
8.根据权利要求2所述的数据处理装置，还包括检查单元，所述检查单元被配置为检查第一操作者是否在能够操作所述数据处理装置的位置，
其中，所述控制单元被配置为执行控制，以便在检查单元的检查结果指示第一操作者不在能够操作所述数据处理装置的位置时，使第二操作者对第三操作项的操作无效。
9.根据权利要求1所述的数据处理装置，还包括输入单元，所述输入单元被配置为输入允许第二操作者执行操作的指令，
其中，所述控制单元被配置为执行控制，以便在未输入所述指令时，使第二操作者对操作屏幕中的操作项中的任一个的操作无效。
10.一种数据处理系统，在该数据处理系统中，包括多个操作项的操作屏幕能够同时被第一操作者和第二操作者操作，其特征在于该数据处理系统包括：
投影单元，被配置为将所述操作屏幕投影到预定区域上；
确定单元，被配置为确定已经对由投影单元投影的操作屏幕执行了操作的操作者是第一操作者还是第二操作者；和
控制单元，所述控制单元被配置为执行控制，以便在确定单元确定所述操作者是第一操作者时，使对操作屏幕中的第一操作项的操作和对操作屏幕中的第二操作项的操作生效，并且以便在确定单元确定所述操作者是第二操作者时，使对第一操作项的操作生效，而使对第二操作项的操作无效。
11.一种用于数据处理装置的控制方法，在所述数据处理装置中，包括多个操作项的操作屏幕能够同时被第一操作者和第二操作者操作，其特征在于，所述控制方法包括：
将操作屏幕投影到预定区域上；
确定已经对被投影的操作屏幕执行了操作的操作者是第一操作者还是第二操作者；和
执行控制，以便在所述操作者被确定为第一操作者时，使对操作屏幕中的第一操作项的操作和对操作屏幕中的第二操作项的操作生效，并且以便在所述操作者被确定为第二操作者时，使对第一操作项的操作生效，而使对第二操作项的操作无效。
CN201510514247.XA 2014-08-20 2015-08-20 数据处理装置、数据处理系统和数据处理装置的控制方法 Pending CN105391889A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014167828A JP6381361B2 (ja) 2014-08-20 2014-08-20 データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム
JP2014-167828 2014-08-20

Publications (1)

Publication Number Publication Date
CN105391889A true CN105391889A (zh) 2016-03-09

Family

ID=55348293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510514247.XA Pending CN105391889A (zh) 2014-08-20 2015-08-20 数据处理装置、数据处理系统和数据处理装置的控制方法

Country Status (3)

Country Link
US (1) US20160054806A1 (zh)
JP (1) JP6381361B2 (zh)
CN (1) CN105391889A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6769790B2 (ja) * 2016-09-07 2020-10-14 東芝テック株式会社 印刷制御装置及びプログラム
JP6866467B2 (ja) * 2017-02-20 2021-04-28 シャープＮｅｃディスプレイソリューションズ株式会社 ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
JP6373537B1 (ja) * 2017-09-04 2018-08-15 株式会社ワコム 空間位置指示システム
JP6633115B2 (ja) * 2018-03-27 2020-01-22 合同会社オフィス・ゼロ プログラム作成支援システム及びその方法並びにそのプログラム
JP2020052681A (ja) * 2018-09-26 2020-04-02 シュナイダーエレクトリックホールディングス株式会社 操作処理装置
US11928831B2 (en) * 2019-09-20 2024-03-12 Canon Kabushiki Kaisha Information processing apparatus, shape data generation method, and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595334A (zh) * 2003-02-24 2005-03-16 株式会社东芝 使操作员能够不操作设备而发出指令的操作识别系统
US20110197263A1 (en) * 2010-02-11 2011-08-11 Verizon Patent And Licensing, Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20130290863A1 (en) * 2012-04-25 2013-10-31 International Business Machines Corporation Permitting participant configurable view selection within a screen sharing session
US20140009418A1 (en) * 2012-07-09 2014-01-09 Konica Minolta, Inc. Operation display device, operation display method and tangible computer-readable recording medium
CN103853450A (zh) * 2012-12-06 2014-06-11 柯尼卡美能达株式会社 目标操作装置以及目标操作控制方法
CN103929603A (zh) * 2013-01-16 2014-07-16 株式会社理光 图像投影设备、图像投影系统及控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
JP2009080683A (ja) * 2007-09-26 2009-04-16 Pioneer Electronic Corp タッチパネル型表示装置、その制御方法、プログラム及び記憶媒体
JP5304848B2 (ja) * 2010-10-14 2013-10-02 株式会社ニコン プロジェクタ
US20130173925A1 (en) * 2011-12-28 2013-07-04 Ester Yen Systems and Methods for Fingerprint-Based Operations
US8924735B2 (en) * 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
US9063631B2 (en) * 2013-03-15 2015-06-23 Chad Dustin TILLMAN System and method for cooperative sharing of resources of an environment
US20150370472A1 (en) * 2014-06-19 2015-12-24 Xerox Corporation 3-d motion control for document discovery and retrieval

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595334A (zh) * 2003-02-24 2005-03-16 株式会社东芝 使操作员能够不操作设备而发出指令的操作识别系统
US20110197263A1 (en) * 2010-02-11 2011-08-11 Verizon Patent And Licensing, Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20130290863A1 (en) * 2012-04-25 2013-10-31 International Business Machines Corporation Permitting participant configurable view selection within a screen sharing session
US20140009418A1 (en) * 2012-07-09 2014-01-09 Konica Minolta, Inc. Operation display device, operation display method and tangible computer-readable recording medium
CN103853450A (zh) * 2012-12-06 2014-06-11 柯尼卡美能达株式会社 目标操作装置以及目标操作控制方法
CN103929603A (zh) * 2013-01-16 2014-07-16 株式会社理光 图像投影设备、图像投影系统及控制方法

Also Published As

Publication number Publication date
US20160054806A1 (en) 2016-02-25
JP6381361B2 (ja) 2018-08-29
JP2016045588A (ja) 2016-04-04

Similar Documents

Publication Publication Date Title
CN105391889A (zh) 数据处理装置、数据处理系统和数据处理装置的控制方法
US10241616B2 (en) Calibration of sensors and projector
US10456918B2 (en) Information processing apparatus, information processing method, and program
US10310675B2 (en) User interface apparatus and control method
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
US9996947B2 (en) Monitoring apparatus and monitoring method
US10664090B2 (en) Touch region projection onto touch-sensitive surface
CN104081307A (zh) 图像处理装置、图像处理方法和程序
CN106415439A (zh) 用于镜面反射红外光的投影屏幕
US10176552B2 (en) Non-transitory computer-readable storage medium, image display method, and image processing system for associating the same object in different images
CN108141560B (zh) 用于图像投影的系统及方法
JP2018112894A (ja) システムおよび制御方法
US10976704B2 (en) Fingerprint authentication during holographic object display
US20150253932A1 (en) Information processing apparatus, information processing system and information processing method
US20170329207A1 (en) Tracking a handheld device on surfaces with optical patterns
JP5882270B2 (ja) 情報処理装置、プログラム
JP6127465B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN107077196A (zh) 识别触敏表面上的对象
JP2017126225A (ja) 画像処理装置、方法およびプログラム
JP2017162126A (ja) 入力システム、入力方法、制御用プログラム、及び記憶媒体
JP6686319B2 (ja) 画像投影装置及び画像表示システム
JP2016139396A (ja) ユーザーインターフェイス装置、方法およびプログラム
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
JP2019101753A (ja) 物体形状測定装置及びその制御方法、並びにプログラム
TWI566126B (zh) 從影像發展出脈絡資訊之技術

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160309