CN1284073C - 信息显示系统及其信息处理装置、指示装置和标记显示法 - Google Patents

信息显示系统及其信息处理装置、指示装置和标记显示法 Download PDF

Info

Publication number
CN1284073C
CN1284073C CNB2004100322552A CN200410032255A CN1284073C CN 1284073 C CN1284073 C CN 1284073C CN B2004100322552 A CNB2004100322552 A CN B2004100322552A CN 200410032255 A CN200410032255 A CN 200410032255A CN 1284073 C CN1284073 C CN 1284073C
Authority
CN
China
Prior art keywords
information
indicating
coordinate
display
photographs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100322552A
Other languages
English (en)
Other versions
CN1534446A (zh
Inventor
山田纪彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN1534446A publication Critical patent/CN1534446A/zh
Application granted granted Critical
Publication of CN1284073C publication Critical patent/CN1284073C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Abstract

本发明提供一种利用由指示装置拍摄的摄影图像来取得决定指示位置的信息、显示指示标记的信息显示系统及其信息处理装置、指示装置和标记显示法。例如使用带照相机的移动电话机等作为指示装置(3)，通过摄影装置(32)拍摄由投影仪等图像显示装置(2所投影的显示图像(23)上任意位置的规定范围并输出摄影图像信息。连接图像显示装置(2)的信息处理装置(1)具有：指示坐标确定装置(13)，其判定来自指示装置(3)的摄影图像信息与当前时刻的显示图像的哪个范围相对应，根据该判定结果确定该指示装置(3)的指示坐标；显示图像信息存储装置(11)，其存储与显示图像(23)对应的显示图像信息；显示图像信息生成装置(12)，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上。

Description

信息显示系统及其信息处理装置、指示装置和标记显示法
技术领域
本发明涉及可取得指示位置的坐标信息的信息显示系统、用于该信息显示系统的信息处理装置、同样用于该信息显示系统的指示装置、以及信息显示系统中的指示标记显示方法。
背景技术
专利文献1：特开平6-308879号公报
专利文献2：特开2001-148025号公报
专利文献3：特开2001-166881号公报
专利文献4：特开2001-325069号公报
专利文献5：美国专利第6275214号说明书
作为图像显示装置之一，最近投影仪的使用越来越广泛。作为由与该投影仪连接的信息处理设备(例如个人计算机)取得由该投影仪投影的投影画面上的任意位置的坐标的方法，除进行指示的装置(指示棒、激光指示器等)之外，还需要用于拍摄投影画面的固定照相机或光学传感器，因此信息显示系统变得很大，在通用性方面存在问题。
为解决此问题，迄今为止已有各种各样的提案。例如，可列举出专利文献1的“光学式指示系统”、专利文献2的“位置检测装置及其方法、平面姿势检测装置及其方法”、专利文献3的“指示装置及其方法”、专利文献4的“位置检测装置及其方法”、专利文献5的“COMPUTERPRESENTATION SYSTEM AND METHOD WITH OPTICAL TRACKING OF WIRELESSPOINTER：利用无线指示器的光学追踪的计算机演示系统和方法”等。
专利文献1在显示画面上设置发光元件，由设置在指示器(该指示器起到作为指示装置的作用)上的光电变换元件接收该发光元件所发的光，根据光电变换元件的输出信号计算出指示器的轴方向，在对应于该轴方向的位置显示指示器标志，但为了检测位置，必须在显示画面上设置至少一个发光元件。
此外，专利文献2、3、4利用摄像装置(照相机)作为指示装置，拍摄显示图像的特征图像，从该特征形状取得坐标。因此，用照相机拍摄的图像中必须包含特征形状，例如，屏幕必须为矩形，或者必须由照相机拍摄显示在显示图像中的几何图形。
此外，专利文献4必须在显示画面上的各位置配置多个作为标志的对象，还显示与图像的原有内容无关的内容。
此外，专利文献5用从手持式光学光束指示器(激光指示器等)发出的光束来指示显示在屏幕上的显示图像的某个位置，用摄像装置拍摄它们，由计算机处理该摄影图像，来检测该指示位置。
该专利文献5使用激光指示器等作为指示装置。由于激光指示器不是用户普遍所有的东西，例如在演示(presentation)会场等中，主办方方必须准备作为指示装置的激光指示器。此外，有人指出从激光指示器发出的光束在安全性上也存在问题。
此外，由于该专利文献5的技术仅仅把由激光指示器等指示的位置检测为指示位置而已，因此，在该指示位置不能进行输入任何命令之类的操作。亦即，由于在激光指示器中没有输入命令等的功能，因此实现在指示位置进行其它操作(例如输入命令等)的操作是很困难的。
此外，上述各种专利文献2、3、4、5作为绝对坐标取得指示位置，未考虑作为相对坐标取得指示位置。
发明内容
因此，本发明的目的在于提供一种不设置固定照相机或光学传感器，可以把用户一般所有的便携设备用作指示装置来确定(特定すゐ)指示位置，并且可以在该指示位置输入显示数据等命令的信息显示系统、信息处理装置、指示装置和信息显示系统中的指示标记显示方法。
(1)作为绝对坐标取得指示位置的本发明的信息显示系统具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，上述指示装置具有摄影装置，其可以拍摄包含该指示装置在上述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息，上述信息处理装置具有：指示坐标确定装置，其从上述指示装置接收上述摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标；显示图像信息存储装置，其存储上述显示图像信息；显示图像信息生成装置，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(2)此外，作为绝对坐标取得指示位置的本发明的信息显示系统具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构：上述指示装置具有：摄影装置，其可以拍摄包含该指示装置在上述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息；指示坐标确定装置，其接收来自该摄影装置的该摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标，上述信息处理装置具有：显示图像信息存储装置，其存储上述显示图像信息；显示图像信息生成装置，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(3)此外，作为作为绝对坐标取得指示位置的本发明的信息显示系统具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构：上述指示装置具有摄影装置，其可以拍摄包含该指示装置在上述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息，上述信息处理装置具有：指示坐标确定装置，其接收来自上述指示装置的上述摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标；显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还将指示标记合成到该显示图像信息上的由上述指示坐标确定装置确定的指示坐标上进行显示。
(4)此外，作为绝对坐标取得指示位置的本发明的信息显示系统具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构：上述指示装置具有：摄影装置，其可以拍摄包含该指示装置在上述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息；指示坐标确定装置，其接收来自该摄影装置的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标，上述信息处理装置具有：显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还将指示标记合成到该显示图像信息上的由上述指示坐标确定装置确定的指示坐标上进行显示。
(5)在上述(1)至(4)的任何一项所述的信息显示系统中，优选的是：上述的拍摄规定范围是由上述摄影装置具有的校准(視準)装置设定的可拍摄范围，把由该校准装置设定的可拍摄范围的中央部作为由上述指示装置所要指示的位置，取得该位置的坐标作为指示坐标。
(6)在上述(1)至(4)的任何一项所述的信息显示系统中，优选的是：上述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应的判定，是通过根据上述摄影图像信息生成模板图像信息，将该模板图像信息与对应于摄影时刻的显示图像的显示图像信息进行模式匹配(pattern matching)来进行的。
(7)在上述(1)至(4)的任何一项所述的信息显示系统中，优选的是：上述指示装置是具有摄影功能和通信功能的便携式信息终端设备。
(8)在上述(1)至(4)的任何一项所述的信息显示系统中，优选的是：上述指示装置具有命令输入装置，上述信息处理装置具有接收来自上述指示装置的命令并处理该命令的命令处理装置，如果在由该信息处理装置确定上述指示坐标之后，从上述命令输入装置发出命令，则进行该命令处理，把该处理结果反映到上述指示坐标上。
(9)作为绝对坐标取得指示位置的信息显示系统中所用的本发明的信息处理装置，具有：指示坐标确定装置，其接收从指示装置输出的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标；显示图像信息存储装置，其存储所述显示图像信息；显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
(10)在作为绝对坐标取得指示位置的信息显示系统中所用的本发明的指示装置，具有：摄影装置，其可以拍摄包含该指示装置在显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息；指示坐标确定装置，其接收来自该摄影装置的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标。
(11)在作为绝对坐标取得指示位置的信息显示系统中的本发明的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，上述指示装置由该指示装置具有的摄影装置拍摄包含在上述显示图像上所要指示的位置的规定范围，将与该规定范围对应的摄影图像信息输出到上述信息处理装置；在上述信息处理装置，从上述指示装置接收上述摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置确定为指示坐标之后，将指示标记合成到上述显示图像信息上的该确定的指示坐标上进行显示。
(12)在作为绝对坐标取得指示位置的信息显示系统中的本发明的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。该指示标记显示方法也可以这样进行处理：上述指示装置由该指示装置具有的摄影装置拍摄包含在上述显示图像上所要指示的位置的规定范围，得到与该规定范围对应的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置确定为指示坐标，将与该确定的指示坐标对应的指示坐标信息输出到上述信息处理装置方，在上述信息处理装置方，将指示标记合成到与从上述指示装置传送的指示坐标信息对应的指示坐标上进行显示。
(13)在上述(11)或(12)所述的信息显示系统的指示标记显示方法中，优选的是：上述拍摄的规定范围是由上述摄影装置具有的校准装置设定的可拍摄范围，把由该校准装置设定的可拍摄范围的中央部作为由上述指示装置所要指示的位置，取得该位置的坐标作为指示坐标。
(14)在上述(11)或(12)所述的信息显示系统的指示标记显示方法中，优选的是：上述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应的判定，是通过根据上述摄影图像信息生成模板图像信息，将该模板图像信息与对应于摄影时刻的显示图像的显示图像信息进行模式匹配来进行的。
(15)作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统，具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。其特征在于，上述指示装置具有：摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与上述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，上述信息处理装置具有：显示图像信息存储装置，其存储与上述显示图像对应的显示图像信息；指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；显示图像信息生成装置，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(16)此外，作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统，具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构：上述指示装置具有摄影装置，其可以拍摄该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；上述信息处理装置具有：指示坐标移动向量计算装置，其对通过改变或不改变由上述指示装置的摄影装置得到的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与上述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；显示图像信息存储装置，其存储与上述显示图像对应的显示图像信息；指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；显示图像信息生成装置，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(17)此外，作为作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统，具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构：上述指示装置具有：摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与上述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；上述信息处理装置具有：显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其把指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(18)在上述(15)至(17)的任何一项所述的信息显示系统中，上述指示坐标确定处理可以这样进行，以上述临时指示位置作为基准设定规定范围，在该规定范围内，通过将上述摄影图像与摄影时刻的显示图像信息进行模式匹配，分别计算出各位置的相关性，根据计算出的相关性，确定上述移动后的指示坐标。
并且，即使在(15)、(16)、(17)、(18)的各信息显示系统中，也可以应用上述(5)、(6)、(7)、(8)项所述的内容。
(19)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的信息处理装置，具有：显示图像信息存储装置，其存储与显示图像对应的显示图像信息；指示坐标确定装置，其将指示标记移动前的指示位置偏离指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
(20)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的指示装置，具有：摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量。。
(21)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的信息处理装置，具有：指示坐标移动向量计算装置，其对通过改变或不改变由指示装置的摄影装置得到的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；显示图像信息存储装置，其存储与所述显示图像对应的显示图像信息；指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
(22)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的指示装置，具有：摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标。
(23)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与比其更早的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将该指示坐标移动向量输出到上述信息处理装置方；上述信息处理装置将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标，将指示标记合成到与上述显示图像对应的显示图像信息上的上述确定的指示坐标上进行显示。
(24)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。该指示标记显示方法也可以这样进行处理：上述指示装置通过该指示装置具有的摄影装置拍摄任意范围，上述信息处理装置对通过由上述指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时间的摄影图像信息与比其更早的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标，并把指示标记合成到与上述显示图像对应的显示图像信息上的上述确定的指示坐标上进行显示。
(25)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。该指示标记显示方法也可以这样进行处理：上述指示装置对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时间的摄影图像信息与比其更早的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；上述信息处理装置把指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(26)在上述(23)至(25)的任何一项所述的信息显示系统中的指示标记显示方法中，上述指示坐标确定处理可以这样进行：以上述临时指示位置作为基准设定规定范围，通过在该规定范围内对上述摄影图像与摄影时刻的显示图像信息进行模式匹配，分别计算出各位置的相关性，根据计算出的相关性，确定上述移动后的指示坐标。
并且，在(23)、(24)、(25)的各信息显示系统中的指示标记显示方法中，也可以应用上述(13)、(14)中所述的内容。
上述的发明可大体划分为：作为绝对坐标取得指示位置并在该取得的坐标位置上进行指示标记显示的发明；作为相对坐标取得指示位置并在该取得的坐标位置上进行指示标记显示的发明；以及将两者组合起来的发明。
在作为绝对坐标取得的坐标位置上进行指示标记显示的发明，可利用兼具摄影功能和通信功能的便携式信息终端设备作为指示装置，拍摄包含由该指示装置所要指示的显示图像上的位置的规定范围，将与该规定范围对应的摄影图像信息输出到作为信息处理装置的个人计算机(以下称为PC)等。进而，在接收到该摄影图像信息的PC上，判定该摄影图像信息与对应于当前的显示图像的显示图像信息的哪个范围相对应，根据该判定结果，把指示装置所指示的位置的坐标确定为指示坐标，将指示标记合成到该确定的指示坐标上进行显示。
这样，本发明中，没有必要在显示图像上特别设置特殊形状或标志等，没有必要同时拍摄特殊图像，只要拍摄包含指示位置的范围即可。
此外，由于通过用摄影装置拍摄指示位置来确定指示坐标，将在PC方生成的指示标记显示在该位置，因此与用激光指示器等对指示位置进行指示不同，可以防止在显示的指示标记上发生抖动。亦即，若指示者用激光指示器等进行指示，则照射在指示位置的光点大多由于手的抖动等而抖动，但本发明通过在PC方或在指示装置上进行抖动校正处理，可使消除抖动。
此外，通过把由校准装置(摄影装置的取景器或显示器等)设定的可拍摄范围的中央部作为指示器的指示位置，因此可以容易而且正确地进行指示位置的设定。
此外，由于通过根据指示装置所拍摄的规定范围的摄影图像信息生成模板图像，并对该模板图像信息与显示图像信息进行模式匹配，来判定摄影图像与显示图像整体的哪个部分相对应，利用该判定结果来确定指示位置，因此可以高精度地确定指示位置。
此外，在这样的作为绝对坐标取得指示位置的系统中，如上所述，指示坐标的确定可在信息处理装置(PC)方进行，但也可以在指示装置方进行。在此情况下，指示装置具有指示坐标确定装置。
在信息处理装置(PC)方进行指示坐标确定的优点在于，指示装置只是简单地将摄影图像信息发送到信息处理装置，可以减少指示装置的运算量。此外，在指示装置方不必设置确定指示坐标所需的(例如图像处理用的)硬件或软件。因此，作为指示装置可以利用一般的便携式信息设备。此外，由于一般PC的处理能力比指示装置高，因此能更高速地进行坐标确定等处理，也可以容易且高速地进行复杂的图像处理运算，可以高精度地确定坐标。
另一方面，在指示装置方进行指示坐标确定的优点在于，从PC方来看，可以把指示装置看作单纯的设备。亦即，由于只要对该设备(指示装置)发送显示图像信息，就可从该设备将绝对坐标信息发送过来，因此在PC方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC方的运算量。
此外，在作为相对坐标取得指示位置并在该取得的坐标位置上进行指示标记显示的发明中，将当前时刻的摄影图像信息与时间上比其靠前一帧的摄影图像信息进行比较，根据其比较结果计算指示坐标移动向量，将该指示坐标移动向量输出到PC，该PC在当前时刻显示的显示图像上，把当前时刻显示的指示标记，在仅偏离了与由指示装置计算出的指示坐标移动向量对应的量的位置，合成到与当前时刻显示的显示图像对应的显示图像信息进行显示。
当作为相对坐标取得该指示位置时，由于由指示装置确定的摄影对象也可以不是显示图像，因此，很少受到摄影场所的制约，在宽阔的演示会场等通过很多人进行指示的情况下也很便于使用。此外，由于可用PC鼠标的感觉来使用指示装置，因此指示操作易于进行也是其特征之一。
此外，当作为相对坐标取得指示位置时，由于不需要把保存在PC方的显示图像信息，作为用于求出相对坐标的指示坐标移动向量计算所需的信息，因此计算指示坐标移动向量的运算可以只在指示装置方进行。
这样，由于在进行指示坐标移动向量的计算时不需要显示图像信息，因此没有必要进行将显示图像信息加载到指示装置方之类的处理，此外，由于只要仅把由指示装置算出的指示坐标移动向量信息发送到信息处理装置方即可，因此在指示装置和PC之间，不必进行信息量很大的图像信息的发送和接收，因此可以减轻两者间的通信负荷。
此外，由于利用摄影装置求出指示坐标移动向量，在PC方显示生成的指示标记，因此与用激光指示器对指示位置进行指示不同，可以防止显示的指示标记发生抖动。亦即，若指示者用激光指示器等进行指示，则照射在指示位置的光点大多由于手的抖动等而产生抖动，但本发明通过在PC方或指示装置上进行抖动校正处理，可以消除抖动。
此外，在这样的作为相对坐标取得指示位置的系统中，如上所述，指示坐标移动向量的计算可以在指示装置方进行，但也可以在信息处理装置(PC)方进行。并且，当在PC方进行指示坐标移动向量的计算时，PC方具有指示坐标移动向量计算装置和摄影图像信息存储装置。
如上所述，在指示装置方进行指示坐标移动向量计算的优点在于，由于只要仅把指示装置算出的指示坐标移动向量信息发送到PC方即可，因此在指示装置和PC之间，不必进行信息量很大的图像信息的发送和接收，因此可以减轻两者间的通信负荷，除此优点之外，从PC方来看，可以把指示装置看作单纯的设备。亦即，由于从该设备(指示装置)向PC简单地发送相对坐标信息，因此在PC方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC方的运算量。
另一方面，在信息处理装置(PC)进行指示坐标移动向量计算的优点在于，指示装置只是简单地将摄影图像信息发送到信息处理装置，因此可以减少指示装置的运算量。此外，在指示装置方不必设置用于计算指示坐标移动向量所需的硬件或软件。因此，作为指示装置，可以利用一般的便携式信息设备。此外，由于一般PC的处理能力比指示装置高，因此能更高速地进行指示坐标移动向量的计算处理，可以高精度地进行指示坐标移动向量的计算。
此外，作为在上述各发明中所用的指示装置，作为具有摄影功能和通信功能的便携式信息终端设备，可以使用带照相机的移动电话机、数字照相机、数字摄像机等，但其中，通过使用带照相机的便携式信息设备(特别是移动电话机)，使用更加方便。亦即，由于带照相机的移动电话机广为普及、其原本就具有通过网络的通信功能、此外还具有输入字符的接口、能够用单手操作等，在功能性和操作性方面都很优秀，因此使用更加方便。
此外，由于最近在这种移动电话机中，有的还可以安装任意的应用程序，因此在这样的移动电话机的情况下，只要安装指示应用程序就可以实现，不必改造硬件、不必为实现本发明而新制作硬件是很大的特征。
此外，具体来说，把作为绝对坐标取得指示坐标和作为相对坐标取得指示坐标组合起来的发明，亦即上述(15)至(26)的发明是：利用通过指示装置的移动求出的相对坐标移动向量信息，对显示图像与模板图像进行模式匹配的区域进行限定，对该限定的区域与由摄像装置拍摄的最新的摄影图像(模板图像)进行模式匹配。
从而，由于把通过作为相对坐标确定指示位置的处理而得到的指示位置作为临时指示位置，在其周边设定规定的模式匹配区域，只要在该模式匹配区域内进行模式匹配即可，因此与把显示图像整个区域作为模式匹配的对象的情况相比较，可以大幅度减少模式匹配所需的运算量，可以高速且高精度地进行指示位置的确定。
此外，在(15)的发明中，指示坐标移动向量计算处理是在指示装置方进行的，但该指示坐标移动向量计算处理也可在信息处理装置方进行。这就是(16)的发明，在此情况下，在信息处理装置方设置指示坐标移动向量计算装置，将来自指示装置的摄影图像信息发送到信息处理装置方的指示坐标移动向量计算装置，在信息处理装置方计算指示坐标移动向量。该指示坐标移动向量计算处理可以按与上述相同的步骤来进行。
然后，指示坐标确定装置利用来自指示装置方的摄影装置的摄影图像信息、根据自身的指示坐标移动向量计算装置算出的指示坐标移动向量、以及存储在显示图像信息存储装置中的摄影时刻的显示图像，进行指示坐标的确定。
这样，在信息处理装置方进行指示坐标移动向量计算的优点在于，指示装置只是简单地将摄影图像信息发送到信息处理装置，可以减少指示装置的运算量。此外，在指示装置方不必设置计算指示坐标移动向量所需的硬件或软件。因此，作为指示装置，可以利用一般的便携式信息设备。此外，由于一般信息处理装置的处理能力比指示装置高，因此除了能更高速地进行指示坐标移动向量计算处理之外，由于也可以容易且高速地进行复杂的图像处理运算，因此可以进行高精度的指示坐标移动向量的计算。
进而，(16)的发明将指示坐标确定装置设置在指示装置方，在指示装置方一直进行到指示坐标确定处理为止，在此情况下，存在于指示装置方的指示坐标确定装置利用来自摄影装置的摄影图像以及由指示坐标移动向量计算装置计算出的指示坐标移动向量，还取得来自信息处理装置方的显示图像，进行指示坐标确定处理，将这样确定的指示坐标发送到信息处理装置方。
这样，将指示坐标确定装置设置在指示装置方，指示装置方一直进行到指示坐标确定处理为止的优点在于，从PC方来看，可以把指示装置看作单纯的设备。亦即，由于只要对该设备(指示装置)发送显示图像信息，即可从该设备将绝对坐标信息发送过来，因此在信息处理装置方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少信息处理装置方的运算量。
此外，在上述(15)至(17)的任何一项所述的信息显示系统中以及上述(23)至(25)的任何一项所述的信息显示系统中的指示标记显示方法中，指示坐标确定处理是：通过一边以上述推测的位置为基点沿规定的路径，在上述摄影图像的摄影时刻的显示图像上的规定范围内移动该摄影图像，一边进行该摄影图像与上述显示图像的模式匹配，计算在各位置上的相关性，根据计算出的相关性，确定上述移动后的指示坐标。从而，可以高效且高精度地确定指示坐标。
此外，在上述各发明中，通过在指示装置方设置命令输入装置，在PC方设置接收来自指示装置的命令并对其进行处理的命令处理装置，当从指示装置的命令输入装置发出命令时，在PC方可以接收该命令，进行命令处理并将其处理结果反映到上述指示装置的指示坐标上。
例如，指示者通过指示装置指示显示图像上的任意位置时，可以在该指示位置输入字符或修改显示内容，不仅可以简单地指示出指示位置，而且也可以进行显示内容的编辑和修正操作。亦即，这使计算机的远程操作成为可能。
附图说明
图1是说明本发明的实施方式1的结构图。
图2是说明实施方式1中作为绝对坐标取得指示位置的示例图。
图3是说明实施方式1中的指示坐标确定处理步骤的流程图。
图4是说明实施方式1中的将指示标记合成到显示图像上的处理的流程图。
图5是说明本发明的实施方式2的结构图。
图6是说明实施方式2中作为相对坐标取得指示位置的示例图。
图7是说明实施方式2中的指示坐标移动向量计算处理步骤的流程图。
图8是图7的指示坐标移动向量计算处理的具体例的说明图。
图9是说明实施方式2中的将指示标记合成到显示图像上的处理的流程图。
图10是说明本发明的实施方式3的结构图。
图11是实施方式3的指示坐标确定处理的说明图。
图12是通过实施方式3中的指示装置(带照相机的移动电话机)3进行的指示操作例的说明图。
图13是实施方式3中用于进行指示坐标确定的模式匹配的动作例的说明图。
图14是说明本发明的实施方式4的结构图，是用于实现作为绝对坐标取得指示位置之后可在该指示坐标上执行命令的结构图。
图15是进行命令输入，将对该命令的处理的执行结果显示在确定坐标位置的一例的示意图。
图16是进行命令输入，将对该命令的处理的执行结果显示在确定坐标位置的另一例的示意图。
图17是说明本发明的实施方式4的结构图，是用于实现作为相对坐标取得指示位置之后可在该指示坐标上执行命令的结构图。
符号说明
1：信息处理装置(PC1)；2：信息显示装置；3：指示装置(带照相机的移动电话机)；11：显示图像信息存储装置；12：显示图像信息生成装置；13：指示坐标确定装置；14：命令处理装置；21：投影仪；22：屏幕；23：显示图像；31：校准装置；32：摄影装置；33：指示坐标移动向量计算装置；34：摄影图像信息存储装置；35：命令输入装置；M：指示标记；Pt：临时指示位置；Is：摄影图像；It：模板图像；Id：显示图像；V：指示坐标移动向量；Id：显示图像；ap：模式匹配区域。
具体实施方式
以下，对本发明的实施方式进行说明。在该实施方式中，对以下的例子进行说明：假设采用投影仪作为图像显示装置，将该投影仪连接到作为信息处理装置的PC，将该PC上的数据用投影仪投影到墙壁或屏幕上，对该投影的图像用指示装置指定任意位置，取得该确定位置的坐标信息，在该坐标上显示指示标记。
此外，作为指示装置，假定使用具有拍摄图像的摄影功能和具有可将由此得到的图像信息发送到网络或PC上的通信功能的便携式信息终端设备(例如，带照相机的移动电话机、具有通信功能的数字照相机、具有通信功能的数字摄像机等)。
并且，由于本发明既可以作为绝对坐标取得指示位置，还可以作为相对坐标取得指示位置，因此把作为绝对坐标取得指示位置的例子作为实施方式1，把作为相对坐标取得指示位置的例子作为实施方式2，把组合两者来确定指示坐标的例子作为实施方式3进行说明，进而，作为实施方式4，对以下处理进行说明：使在所指示的坐标位置上可以输入命令，在PC上执行所输入的命令，将其执行结果反映到该取得的坐标位置上。
实施方式1
图1是表示说明该实施方式1所需的结构要素的图，其结构要素大体划分为：作为信息处理装置的PC1；显示从该PC1输出的信息的信息显示装置2；指示该信息显示装置显示的图像上的任意位置的指示装置3。
并且，如上所述，假定作为指示装置3使用具有摄影功能和通信功能的便携式信息终端(带照相机的移动电话机、具有通信功能的数字照相机、具有通信功能的数字摄像机等)。
PC1具有：显示图像信息存储装置11，其存储应显示的图像的图像信息；显示图像信息生成装置12，其具有以下功能：在生成当前时刻应显示的图像信息的同时，把指示标记合成到显示图像上的所指示的坐标位置上；指示坐标确定装置13，其确定由指示装置3指示的坐标(应显示指示标记的坐标)。
此外，信息显示装置2由投影图像信息的投影仪21、投影图像信息的屏幕22构成。
此外，指示装置3具有：校准装置31，它是具有上述摄影功能的便携式信息终端通常具有的取景器或显示画面等；摄影装置32，其拍摄由该校准装置31设定的规定范围的图像。并且，可以通过无线局域网、红外线通信、利用电话线路的网络等任何通信装置，把来自该指示装置3的信息发送到PC1。
对这样的结构的将指示标记显示在由指示装置3指示的位置上的具体动作进行说明。
通过操作该PC1的操作者的操作，读出存储在PC1的显示图像信息存储装置11中的显示图像信息，由显示图像信息生成装置12对所读出的图像信息进行显示图像信息生成处理，使其能够用投影仪21进行显示处理，此后，发送到投影仪21，由投影仪21投影到屏幕22(参考图2)等。
图2是用指示装置3(在该图2的例中假设其为带照相机的移动电话机，该带照相机的移动电话机也标注符号3)指示由投影仪21投影的显示图像23上的任意位置的示例图。从该图2可知，用带照相机的移动电话机3拍摄包含投影到屏幕22上的显示图像23上的任意位置P(图中以黑圆表示)。
该任意位置P是在投影到屏幕22上的显示图像23上显示指示标记的位置，以下称其为指示位置P。使该指示位置P成为用带照相机的移动电话机3的校准装置(在此情况下是带照相机的移动电话机3的显示画面31)设定的可拍摄范围的中央部。并且，在显示图像23上表示的虚线框a是由该带照相机的移动电话机3的显示画面31设定的可拍摄范围(一般是显示画面的显示范围)，用该虚线框a包围的范围成为一次摄影可拍摄的范围。
这样，利用带照相机的移动电话机3的摄影功能，在将指示位置P设置在该显示画面31的中央部即可拍摄范围a的中央部的状态下进行摄影时，通过通信装置将该摄影图像信息发送到PC1。从而，在PC1上，由该指示坐标确定装置13按图3的流程图所示的步骤进行指示坐标确定。
图3是PC1的指示坐标确定装置13进行的指示坐标确定处理步骤的示意图，当取得从带照相机的移动电话机3发送的摄影图像信息时(步骤S1)，首先进行畸变或亮度等的校正处理，进而，进行缩放等各种前处理(步骤S2)，根据该前处理后的摄影图像信息生成模板图像信息(步骤S3)。通过在步骤S2进行的前处理，该模板图像信息变为适于检测与显示图像信息的匹配度的分辨率。
进而，判定该模板图像信息与显示在屏幕22上的显示图像整体的哪个部分相对应。可通过应用对该模板图像信息与存储在显示图像信息存储装置11中的显示图像信息中的与摄影时刻显示的显示图像对应的显示图像信息进行模式匹配等图像识别技术，来进行该判定处理(步骤S4)。
进而，当判定出模板图像信息与对应于摄影时刻显示的显示图像的显示图像信息的哪个部分相对应之后，将该判定的部分的中央部作为指示位置P，把与该指示位置P对应的坐标确定为指示坐标(步骤S5)。
这样，当通过指示坐标确定装置13得到与指示位置P对应的指示坐标之后，将指示标记M(参考图2)合成到该指示坐标上进行显示。从而，在投影到屏幕22上的显示图像23上的用户指示位置P上显示在PC1上生成的指示标记M。
图4是说明将指示标记M显示在投影到屏幕22上的显示图像23上的指示位置P的处理步骤的流程图。当通过上述图3所示的处理确定指示坐标后，取得该指示坐标(步骤S11)，从保持指示标记图像信息的指示标记图像信息保持部(在该例中，假设指示标记图像信息被保持在显示图像信息存储装置11中)读出指示标记图像信息(步骤S12)。
进而，将该读出的指示标记图像信息合成到与摄影时刻的显示图像对应的显示图像信息的规定坐标上(由图3确定的指示坐标)(步骤S13)，生成已在指示坐标上合成了指示标记信息的显示图像信息(步骤S14)。
从而，在投影到屏幕22上的显示图像23上，在由带照相机的移动电话机3所指示的指示位置P上显示指示标记M。
这样，当想要指示投影到屏幕22上的显示图像23上的某个特定位置时，使打算用带照相机的移动电话机3指示的该位置(指示位置P)在该带照相机的移动电话机3的校准装置(显示画面)31的中心，只要拍摄该部分的图像，就可以使指示标记M显示在显示图像的指示位置P。
并且，在上述实施方式中，以使用带照相机的移动电话机作为指示装置3为例进行了说明，但并不限于带照相机的移动电话机，当然同样可以在具有通信功能的数字照相机或具有通信功能的数字摄像机等上实施。此外，在上述实施方式中，以把指示标记图像信息保持在PC1上的显示图像信息存储装置11为例进行了说明，但该指示标记图像信息也可以保持在其它场所(例如，指示装置3方)，也可以从该保持场所读出指示标记图像信息，将其传送到PC1。
这样，在实施方式1中，只要用该指示装置3拍摄包含由指示装置3所要指示的位置的规定范围即可，不必象以往那样在显示图像上显示特征形状等。此外，由于在该实施方式1中的指示坐标的确定是通过把由指示装置3拍摄得到的模板图像信息与对应于投影到屏幕22上的显示图像的显示图像信息进行模式匹配来决定的，因此指示坐标的检测精度高也是其特征之一。
并且，在该实施方式1中，对将指示坐标确定装置13设置在PC1方，在PC1方进行指示坐标确定处理的例子进行了说明，但也可以把该指示坐标确定装置13设置在指示装置3方，在指示装置3方进行指示坐标确定处理。在此情况下，指示装置3的指示坐标确定装置13从PC1方的显示图像信息存储装置11读出摄影时刻显示的显示图像，进行相对于显示图像的指示坐标确定处理，将这样确定的指示坐标发送到PC1方(显示图像信息生成装置12)。
这样，指示坐标确定处理也可以不在PC1方，而在指示装置3方进行。
并且，前面已说明过，将指示坐标确定装置13设置在PC1方，在PC1方进行指示坐标确定处理的优点在于，指示装置3只简单地把摄影图像信息发送到PC1，可以减少指示装置3的计算量。此外，在指示装置3方不必设置指示坐标确定所需的硬件或软件。因此，作为指示装置3可以利用一般的便携式信息设备。此外，由于一般PC1的处理能力比指示装置3高，因此能更高速地进行坐标确定等处理，也可以容易且高速地进行复杂的图像处理运算，可以高精度地确定坐标。
另一方面，将指示坐标确定装置13设置在指示装置3方，在指示装置3方进行指示坐标确定处理的优点在于，从PC1方来看，可以把指示装置3看作单纯的设备。亦即，由于只要对该设备(指示装置3)发送显示图像信息，就可从该设备发送来绝对坐标信息，因此在PC1方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC1方的运算量。
实施方式2
该实施方式2是作为相对坐标取得指示位置的示例。在该实施方式2中，也与实施方式1相同，以下述情况为例进行说明：将作为图像显示装置的投影仪21连接到PC1，由投影仪21将该PC1上的数据投影到屏幕22上，对投影到该屏幕22上的显示图像23，用指示装置3确定任意位置，在该确定位置上显示指示标记M。
图5是说明该实施方式2所需的结构要素的示意图，与实施方式1相同，其结构要素可大体划分为：PC1；连接到该PC1的投影仪21；指示用投影仪21投影的显示图像上的任意位置的指示装置3。并且，在该实施方式2中，也是将指示装置3作为带照相机的移动电话机3进行说明。
在该实施方式2中，PC1具有：显示图像信息存储装置11，其存储应显示的图像的图像数据；显示图像信息生成装置12，其具有以下功能：在生成当前时刻应显示的图像数据的同时，把指示标记M合成到显示图像23上的所指示的位置。
此外，指示装置3具有：校准装置(在此情况下也是带照相机的移动电话机3的显示画面)31；摄影装置32，其用于拍摄由该校准装置31设定的可拍摄范围的图像；指示坐标移动向量计算装置33，其用于计算指示坐标移动向量；摄影图像信息存储装置34，其作为帧缓冲器，用于存储从一帧大小的摄影图像得到的特征图像。并且，可以利用无线局域网、红外线通信、电话线路的网络等任意的通信装置，把来自该指示装置3的信息发送到PC1。
由于该实施方式2是作为相对坐标取得指示位置的方式，因此只要取得移动了指示装置3的移动方向和移动量(指示坐标移动向量)即可。因此，无论带照相机的移动电话机3拍摄何处均可，例如，如图6所示，也可以拍摄不在投影到屏幕22上的显示图像23中的场所。
其次，对该实施方式2的具体的指示动作进行说明。假设将存储在PC1的显示图像信息存储装置11的显示图像信息中的某个显示图像信息发送到投影仪21，将其显示图像23投影到屏幕22上。
在此状态下，首先，利用带照相机的移动电话机3的摄影功能，拍摄任意场所(在图6所示的显示图像的外侧亦可)。并且，此时，假设指示标记M显示在作为其初始位置(设其为P0)的显示图像23中的例如中央部。
其次，用带照相机的移动电话机3拍摄下一帧，通过将其与先前拍摄的前一帧进行比较，计算移动方向和移动量，由指示坐标移动向量计算装置33计算指示坐标移动向量。计算该指示坐标移动向量可利用后述的模式匹配或MPEG(Motion Picture Expert Group-电影专家组)等所采用的移动检测技术。
进而，根据该计算出的指示坐标移动向量，把显示在显示图像23上的指示标记M显示在从当前位置(此时为初始位置P0)偏离了指示坐标移动向量的量的位置。亦即，原来在图6中的初始位置P0的指示标记M被显示在从初始位置P0偏离了计算出的指示坐标移动向量的量的位置P1。
图7是说明上述指示坐标移动向量计算装置33进行的指示坐标移动向量计算处理的流程图。在图7中，首先，通过指示装置3(此处为带照相机的移动电话机3)拍摄某个位置(步骤S21)，对所拍摄的图像进行畸变或亮度等的校正处理，进而，为了抽出特征点，作为前处理进行二进制化(2值化)处理等处理(步骤S22)，从该前处理结束后的摄影图像抽出特征点，取得特征图像(步骤S23)。
进而，将该特征图像与保持在摄影图像信息存储装置34中的前一帧的特征图像进行比较，计算指示坐标移动向量(步骤S24)，将其作为指示坐标移动向量输出的同时(步骤S25)，通过将上述步骤S23所得到的特征图像作为新的前一帧特征图像写入摄影图像信息存储装置34中，进行特征图像的更新(步骤S26)。进而，若继续移动指示装置(此时为带照相机的移动电话机)3，则返回到步骤S21。
这样，当由指示坐标移动向量计算装置33计算出指示坐标移动向量时，在仅偏离了与所计算出的指示坐标移动向量对应的量的位置，显示指示标记M。
并且，当用带照相机的移动电话机3所拍摄的摄影图像是最初的摄影图像，没有得到前一帧特征图像时，将由该最初的摄影图像得到的特征图像保存在摄影图像信息存储装置34中，等待第2次以后的摄影操作，当通过第2次拍摄得到特征图像时，将该特征图像与保持在特征图像信息存储装置中的前一帧(由最初的摄影图像得到的特征图像)进行比较，求出指示坐标移动向量，把通过该第2次拍摄得到的特征图像作为前一帧特征图像，写入摄影图像信息存储装置34中，更新存储内容。
参考图6和图8，说明用上述图7的流程图说明过的处理的具体例。
首先，例如，如图6所示，用带照相机的移动电话机3拍摄某个位置(此处为屏幕22外侧的某个位置)。并且，假定在该位置偶尔存在“A”字符。使该“A”字符处在用带照相机的移动电话机3的校准装置31(显示画面31)设定的可拍摄范围(图中用虚线框a表示)的中央位置进行拍摄，对该摄影图像(将其作为第(n-1)帧的摄影图像)施行前处理(2进制化等)，假设得到图8(a)那样的特征图像。
然后，使带照相机的移动电话机3如图6所示移动到左斜上方的位置，拍摄同一“A”字符。此时，由于使带照相机的移动电话机3如图6所示移动到左斜上方，“A”字符位于从由带照相机的移动电话机3的校准装置31(显示画面31)设定的可拍摄范围(图中用虚线框a表示)的中央位置向右斜下方偏移的位置，得到该位置的摄影图像(将其作为第n帧的摄影图像)。假定通过对该第n帧摄影图像进行上述同样的前处理，得到如图8(b)所示的特征图像。
进而，将该图8(b)所示的特征图像与保持在摄影图像信息存储装置34中的前一帧特征图像(此时为第(n-1)帧的特征图像)进行比较，计算出指示坐标移动向量。对该指示坐标移动向量的计算处理进行说明。
首先，根据第(n-1)帧的特征图像，生成模板图像It。亦即，从如图8(c)所示的特征图像(这是图8(a)的特征图像)中以其中心坐标(0，0)为基准，如图8(d)那样，剪切出以作为其基准的中心坐标(0，0)为中心的例如5像素×5像素的图像(用图8(c)中的粗线框表示的范围的图像)，将其作为模板图像It。
然后，将该图8(d)所示的模板图像It与图8(b)所示的第n帧的特征图像进行模式匹配，使其位置为对准状态以得到最高的相关性(相似度)(参考图8(e))，当求出该状态下的模板图像It相对于基准坐标(0，0)的坐标时，可得到坐标(2，-1)。并且，图8(c)和图8(e)分别是与该图8(a)、图8(b)相同的图像，但为了明确区别模板图像It的范围和特征图像，用比图8(a)、图8(b)的黑色浅的黑色来表示它们。
这样，作为从第(n-1)帧的特征图像中剪切出模板图像It的基准坐标、以及模板图像It与第n帧的特征图像的匹配结果为相似度最高的模板图像It的位置中的模板图像It的中心坐标，得到了(2，-1)，这表示第(n-1)帧特征图像与第n帧特征图像之间横向错开-2个像素，纵向错开+1个像素，这表示第n帧特征图像相对于第(n-1)帧特征图像，在水平方向移动了-2，在垂直方向移动了+1。若作为向量表示的话，为(-2，1)的移动量，该(-2，1)是此时要求出的指示坐标移动向量。亦即，此时通过带照相机的移动电话机3的移动，如图8(f)所示，可认为用实线表示的框(对应于模板图像It外周的框)移动到用虚线表示的框。
这样，当求得指示坐标移动向量时，如图6所示，将投影到屏幕22的显示图像23上的指示标记M，显示在以当前的指示位置P0为基点偏离了所算出的指示坐标移动向量的位置P1。
图9是说明将指示标记M合成到在屏幕22上所投影的显示图像23上的指示位置P1进行显示的处理步骤的流程图，对表示在图4所示的实施方式1中的处理，加入了利用由上述图7说明过的处理步骤所求出的指示坐标移动向量与当前时刻的指示坐标来求出应显示指示标记M的指示坐标的处理。
亦即，当作为相对坐标取得指示位置时，由于只要求出从当前位置起向什么方向移动和移动多少距离的向量(指示坐标移动向量)即可，因此，首先取得当前的指示标记M的指示坐标和所算出的指示坐标移动向量(步骤S31)，根据所取得的当前坐标位置和指示坐标移动向量，重新求出所指示的指示坐标(步骤S32)。
然后，当这样求出新的指示坐标后，取得该指示坐标(步骤S33)，其后与图4的步骤S12到步骤S14相同，从指示标记图像信息保持部(在本例中，也假设指示标记图像信息被保持在显示图像信息存储装置11中)读出指示标记图像信息(步骤S34)。该读出的指示标记图像信息被合成到与当前时刻的显示图像对应的显示图像信息的指示坐标上(在步骤S33取得的指示坐标)(步骤S35)，生成在指示坐标上附加了指示标记的显示图像信息(步骤S36)。
这样，在实施方式2中，由于只要能够取得移动指示装置3(此处假设其为带照相机的移动电话机3)的移动方向和移动量(指示坐标移动向量)即可，因此在指示装置3方也可以不拍摄投影到屏幕22上的显示图像，而是拍摄其它场所。亦即，可以象使用连接到PC等的鼠标那样使用指示装置3，使用非常方便。并且，在该实施方式2的情况下，虽然指示装置3采用可取得动态图像的装置比较合适，但当然也可以是只能输入静态图像的照相机。
此外，在该实施方式2中，也以使用带照相机的移动电话机作为指示装置3为例进行了说明，但并不限于带照相机的移动电话机，当然同样可以在具有通信功能的数字照相机或具有通信功能的数字摄像机等上实施。
此外，以把指示标记图像信息保持在PC1的显示图像信息存储装置11为例进行了说明，但也如实施方式1中所述，该指示标记图像信息也可以保存在其它场所(例如，指示装置3方)，也可以从该保存场所读出指示标记图像信息，将其传送到PC1。
这样，在实施方式2中，由于作为指示装置3的摄影对象的图像也可以不是从投影仪投影的显示图像23，因此可以减少摄影范围的制约。从而，例如在宽阔的演示会场等通过很多人进行指示的情况下也很便于使用。此外，由于可用PC鼠标的感觉来使用指示装置，指示操作易于进行也是其特征之一。
此外，当作为相对坐标取得指示位置时，由于不需要把PC1方所保存的显示图像信息，作为用于求出相对坐标的指示坐标移动向量计算所需的信息，因此计算指示坐标移动向量的运算可以只在指示装置3方进行。
这样，当进行指示坐标移动向量计算时，不需要显示图像信息，也就没有必要进行将显示图像信息加载到指示装置3方的处理，此外，由于只要把由指示装置3算出的指示坐标移动向量发送到PC1方即可，因此在指示装置3和PC1之间，不必进行信息量很大的图像信息的发送和接收，因此可以减轻两者间的通信负荷。
并且，在上述实施方式2中，指示坐标移动向量计算处理在指示装置3方进行，但该指示坐标移动向量计算处理也可以在PC1方进行。此时，在PC1方设置指示坐标移动向量计算装置33和摄影图像信息存储装置34，将来自指示装置3的摄影图像信息发送到指示坐标移动向量计算装置33，计算出指示坐标移动向量。该指示坐标移动向量计算处理可以按与上述相同的步骤进行。
这样，指示坐标移动向量计算可以不在指示装置3方进行，而在PC1方进行。
并且，已经说明过，在指示装置3方进行指示坐标移动向量计算的优点在于，由于只要仅把在指示装置3算出的指示坐标移动向量信息发送到PC1方即可，因此在指示装置3和PC1之间，不必进行信息量很大的图像信息的发送和接收，因此可以减轻两者间的通信负荷，除此优点之外，从PC1方来看，可以把指示装置3看作单纯的设备。亦即，由于从该设备(指示装置)对PC1简单地发送相对坐标信息，因此在PC1方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC1方的运算量。
另一方面，在PC1方进行指示坐标移动向量计算的优点在于，在指示装置3中只是简单地将摄影图像信息发送到PC，可以减少指示装置3的运算量。此外，在指示装置3方不必设置计算指示坐标移动向量所需的硬件或软件。因此，作为指示装置3，可以使用一般的便携式信息设备。此外，由于一般PC1的处理能力比指示装置3高，因此能更高速地进行指示坐标移动向量计算处理，除此之外，也可以容易且高速地进行复杂的图像处理运算，可以高精度地进行指示坐标移动向量的计算。
实施方式3
该实施方式3通过将上述实施方式1和实施方式2组合起来，使指示装置3能够高速且高精度地确定显示图像中的指示坐标。
亦即，在实施方式1中，当指示装置3进行指示坐标的确定时，如图3的流程图所示，当取得从带照相机的移动电话机3发送的摄影图像信息时(步骤S1)，首先进行畸变或亮度等各种校正处理，进而，进行缩放等各种前处理(步骤S2)，根据该前处理后的摄影图像信息生成模板图像信息(步骤S3)。对该模板图像信息与存储在显示图像信息存储装置11中的显示图像信息中摄影时刻显示的显示图像相对应的显示图像信息进行模式匹配，判定该模板图像信息与显示在屏幕22上的显示图像整体的哪个部分相对应(步骤S4)。
然后，当判定出模板图像信息与对应于摄影时刻显示的显示图像的显示图像信息的哪个部分相对应后，把该判定部分的中央部作为指示位置P，把与该指示位置P对应的坐标确定为指示坐标(步骤S5)。
这样来进行指示坐标的确定，但在实施方式1中，指示坐标确定装置13进行的指示坐标确定处理是将模板图像与显示图像全体进行模式匹配来确定指示坐标，而在该实施方式3中，利用在实施方式2中说明过的通过带照相机的移动电话机3的移动求得的指示坐标移动向量信息，对模板图像与显示图像的应当进行模式匹配的区域进行限定，对该限定区域进行模板图像与显示图像的模式匹配。
图10是说明该实施方式3所需的结构要素的示意图，它是说明实施方式1所用的图1和说明实施方式2所用的图5的组合。亦即，该图10所示的结构为把图1的结构中的指示装置3改为图5的指示装置3的结构。因此，与图1相同，信息处理装置(PC)1具有：显示图像信息存储装置11、显示图像信息生成装置12、指示坐标确定装置13。此外，指示装置3除具有校准装置31、摄影装置32之外，还具有指示坐标移动向量计算装置33、摄影图像信息存储装置(帧缓冲器)34。
说明这样的结构中的动作。首先，与实施方式1和实施方式2相同，假设在屏幕22上，将存储在PC1的显示图像信息存储装置11中的显示图像信息中的某个显示图像信息发送到投影仪21，将其显示图像23投影到屏幕22上。
在该状态下，首先，利用带照相机的移动电话机3(在该实施方式3中，也把指示装置3作为带照相机的移动电话机3进行说明)的摄影功能，拍摄屏幕22的某个范围。其次，利用带照相机的移动电话机3拍摄下一帧，通过将其与先前拍摄的前一帧进行比较，计算移动方向和移动量，由指示坐标移动向量计算装置33计算指示坐标移动向量。
然后，将由摄影装置32拍摄的最新摄影图像和由指示坐标移动向量计算装置33计算出的指示坐标移动向量信息发送到PC1的指示坐标确定装置13。该指示坐标确定装置13利用由该摄影装置拍摄的最新摄影图像和由指示坐标移动向量计算装置33计算出的指示坐标移动向量信息、以及存储在显示图像信息存储装置12中的摄影时刻(带照相机的移动电话机3的摄影装置32的摄影时刻)的显示图像，进行指示坐标的确定。以下详细说明该指示坐标确定装置13的动作。
图11是指示坐标确定装置13进行的指示坐标确定处理的示意图，(a)表示带照相机的移动电话机3方的摄影图像在时间轴T上的变化，(b)表示从PC1方的显示图像信息存储装置11取得的显示图像在时间轴T上的变化。
该带照相机的移动电话机3的摄影图像在时间轴T上的变化与以下情况对应：用户通过将带照相机的移动电话机3如图12所示那样沿虚线箭头方向移动，使该带照相机的移动电话机3的可拍摄范围(图12用虚线框包围的区域a0、a1)沿虚线箭头变化。并且，在图12中，表示将带照相机的移动电话机3从初始位置P0移动到该情况下的移动最终位置P1后的状态。亦即，从摄影装置32输出对应于带照相机的移动电话机3的移动的各帧的摄影图像，但在图11中，只表示出最新(时间Tn)的摄影图像Is(n)及其前一帧摄影图像Is(n-1)以及更前一帧的摄影图像Is(n-2)。
同样，对从PC1方的显示图像信息存储装置11取得的显示图像，在图11中也只表示出最新(时间Tn)的显示图像Id(n)和其前一显示图像Id(n-1)以及更前一显示图像Id(n-2)。
并且，在图11中，假定最新的摄影图像(时间Tn的摄影图像)是将带照相机的移动电话机3移动到图12的移动最终位置P1的状态下拍摄得到的摄影图像。
进而，如在实施方式2中所说明的那样，在指示坐标移动向量计算装置33上，根据从摄影装置32得到的时间上连续的多个摄影图像，计算出指示坐标移动向量(将其称为指示坐标移动向量V)(图11的步骤S41)，根据该计算出的指示坐标移动向量V，求出指示标记M的指示位置(在该实施方式3中称其为临时指示位置Pt)。
该临时指示位置Pt位于从初始位置P0偏离指示坐标移动向量V的量的位置。并且，在该实施方式3中，该临时指示位置Pt不是指示标记M的实际显示位置，首先，求出临时指示位置Pt，根据它决定最终指示位置。
然后，当求出临时指示位置Pt后，进行模式匹配区域的限定，将该限定的区域设定为模式匹配区域(步骤S42)。亦即，设定以临时指示位置Pt为中心的规定范围，将所设定的规定范围作为模式匹配区域。进而，在该模式匹配区域内，对摄影图像与在该摄影图像的摄影时刻的显示图像进行模式匹配(步骤S43)。进而，根据该模式匹配的结果，进行指示坐标的确定(步骤S44)。
其次，对根据该模式匹配结果进行的指示坐标的确定处理，参考图13进行说明。
如上所述，根据从摄影装置32得到的时间上连续的多个摄影图像计算出指示坐标移动向量V，根据该计算出的指示坐标移动向量V，求出指示标记M的临时指示位置Pt。进而，以该临时指示位置Pt为基准，设定模式匹配区域ap。在图13中，将以Pt为中心的纵为5像素、横为5像素的范围作为ap进行表示。对模式匹配区域ap的宽度等，可作本例之外的种种设定。
进而，从利用带照相机的移动电话机3的摄影装置32得到的摄影图像Is(n)(图13中用打上阴影线的矩形表示)，通过在实施方式1的说明中使用的图3的从步骤S2到步骤S3所示的处理相同的处理，生成模板图像It(n)。
其次，对于先前求出的以临时指示位置Pt为中心的规定的模式匹配区域ap内的每个像素位置，对模板图像It(n)与摄影图像Is(n)的摄影时刻的显示图像Id(n)进行模式匹配。
在所设定的模式匹配区域ap内的模式匹配处理结束后，作为坐标取得迄今为止求得的具有最高相关性的像素的位置，把该坐标确定为要求出的指示位置(设其为指示位置P1)，将指示标记M移动到该指示坐标P1上进行显示。
在该图13中，表示出指示坐标P1存在于临时指示位置Pt的左斜下方的例子，在该指示坐标P1上显示指示标记M。
如以上说明的那样，在实施方式1中说明过的作为绝对坐标确定指示位置时，将摄影图像与显示图像全部区域进行模式匹配以确定指示位置，但根据该实施方式3，通过同时利用实施方式2中说明过的作为用相对坐标确定指示位置的处理，将通过用相对坐标确定指示位置的处理得到的指示位置作为临时指示位置，在其周边设定规定的模式匹配区域，由于只要在该模式匹配区域内进行模式匹配即可，因此与把显示图像整个区域作为模式匹配对象的情况相比较，可以大幅度减少模式匹配的运算量，可以高速且高精度地进行指示位置的确定。
并且，在该实施方式3中，与上述实施方式1和实施方式2相同，也以使用带照相机的移动电话机作为指示装置3为例进行了说明，但并不限于带照相机的移动电话机，当然同样可以在具有通信功能的数字照相机或具有通信功能的数字摄像机等上实施。此外，以把指示标记图像信息保持在PC1的显示图像信息存储装置11中为例进行了说明，但如实施方式1所述的那样，该指示标记图像信息也可以保持在其它场所(例如，指示装置3方)，也可以从该保持场所读出指示标记图像信息，将其传送到PC1。
并且，在该实施方式3中，指示坐标移动向量计算处理在指示装置3方进行，但也如同在实施方式2中说明过的那样，该指示坐标移动向量计算处理也可以在PC1方进行。在此情况下，在PC1方设置指示坐标移动向量计算装置33和摄影图像信息存储装置34，将来自指示装置3的摄影图像信息发送到指示坐标移动向量计算装置33，计算出指示坐标移动向量。该指示坐标移动向量计算处理可以按与上述相同的步骤进行。
进而，指示坐标确定装置13利用来自摄影装置32的摄影图像信息和指示坐标移动向量计算装置33计算出的指示坐标移动向量、以及存储在显示图像信息存储装置11中的摄影时刻的显示图像，进行指示坐标的确定。
这样，在PC1方进行指示坐标移动向量计算的优点在于，在指示装置3只是简单地将摄影图像信息发送到PC，可以减少指示装置3的运算量。此外，在指示装置3方不必设置用于计算指示坐标移动向量所需的硬件或软件。因此，作为指示装置3，可以利用一般的便携式信息设备。此外，由于一般PC1的处理能力比指示装置3高，因此能更高速地进行指示坐标移动向量的计算处理，除此之外，由于也可以容易且高速地进行复杂的图像处理运算，因此可以高精度地进行指示坐标移动向量的计算。
进而，在该实施方式3的情况下，也可以将存在于PC1方的指示坐标确定装置13设置在指示装置3方，在指示装置3方一直进行到指示坐标确定处理为止。在此情况下，作为指示装置3的结构要素，除摄影装置32、指示坐标移动向量计算装置33、摄影图像信息存储装置(帧缓冲器)34之外，还设置指示坐标确定装置13。进而，存在于该指示装置3方的指示坐标确定装置13利用来自摄影装置32的摄影图像和由指示坐标移动向量计算装置33计算出的指示坐标移动向量，进而，还从PC1方的显示图像信息存储装置11取得摄影时刻显示的显示图像，进行指示坐标确定处理，将由此确定的指示坐标发送到PC1方(显示图像信息生成装置12)。
这样，将指示坐标确定装置13设置在指示装置3方，在指示装置3方一直进行到指示坐标确定处理为止的优点在于，从PC1方来看，可以把指示装置3看作单纯的设备。亦即，由于只要对该设备(指示装置3)发送显示图像信息，就可从该设备将绝对坐标信息发送过来，因此在PC1方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC1方的运算量。
实施方式4
该实施方式4对以下例子进行说明：在上述实施方式1、2、3中，在由指示装置3进行指示所得到的指示坐标位置上，可以对PC1发出某种命令，在PC1上进行与该命令对应的处理，将其结果反映到指示标记位置。并且，此处对作为绝对坐标取得指示坐标的情况(实施方式1的情况)进行说明。
图14是用于实现该实施方式4的结构图，相对于图1所示的结构图，其不同之处仅在于：在指示装置3方设置命令输入装置35，在PC1设置命令处理装置14，由于其它的结构要素与图1相同，因此对同一部分赋予相同符号，并省略其说明。此外，在该实施方式4中，也假设使用带照相机的移动电话机3作为指示装置3。
在此情况下，由于指示装置3是带照相机的移动电话机3，因此命令输入装置35可以使用设置在该带照相机的移动电话机3上的按键输入部，假设可以通过操作该按键输入部发出各种各样的命令。
命令处理装置14用于执行与从带照相机的移动电话机3发出的命令对应的处理。
并且，例如也可以利用该带照相机的移动电话机3具有的通信功能，通过因特网等将来自带照相机的移动电话机3的命令发送到PC1，此外，也可以通过红外线通信等直接发送到PC1，可以考虑各种该通信装置。
图15是从该带照相机的移动电话机3进行命令输入，并将对该命令的处理结果反映在投影到屏幕22的显示图像23的某个指示位置(由带照相机的移动电话机3指示的指示坐标位置)的例子，在该图15的例子中，表示出将来自带照相机的移动电话机3的命令从基站4通过因特网5等发送到PC1的例子。
在该例中，从带照相机的移动电话机3输出的命令是：将“Hello”这一单词显示在由该带照相机的移动电话机3指示的指示位置P(参考图2)上。亦即，通过在上述实施方式1中所说明的步骤，进行取得作为指示标记的显示位置的指示坐标的处理，在其结果得到的指示标记的指示坐标上，通过发出显示“Hello”这一单词的命令，在PC1方接收该命令，在该时刻的指示标记的指示坐标上显示“Hello”。
由于PC1可通过指示装置掌握指示的坐标，因此可以进行在指示标记的指示坐标上执行命令的处理。
图16是对图15输入另一命令的例子，该图16表示将数值显示在指示标记的指示坐标上的例子，在此情况下，通过由带照相机的移动电话机3进行作为命令的数值输入，在PC1方，例如使表计算应用程序运行，执行对该命令的处理，将该处理结果显示在确定坐标上。
并且，上述的例子对作为绝对坐标取得指示位置的坐标时的命令输入以及对该命令的处理进行了说明，但在作为相对坐标取得指示位置的坐标的情况下，也可以基本同样执行。
图17是对作为绝对坐标取得指示位置的坐标时(实施方式2的情况)的命令输入以及对该命令的处理进行说明的结构图，相对于图5表示的结构图，其不同之处仅在于：在指示装置3方设置命令输入装置35，在PC1中设置命令处理装置14，由于其它的结构要素与图5相同，因此通过对同一部分赋予相同符号，省略其说明。
在这样的情况下，也是通过如上述实施方式2说明过的步骤得到的指示标记的指示坐标上发出某个命令，在PC1方执行对应于该命令的处理，可以在该时刻的指示标记的指示坐标上反映出对该命令的处理结果。
此外，在实施方式3中，当然也可以进行与实施方式1和实施方式2同样的命令输入。
并且，本发明并不限于上述实施方式，在不脱离本发明的主旨的范围内，可实施种种变形。例如，在上述各实施方式中，对在演示会场等中对由投影仪投影到屏幕上的显示图像的指示操作进行了说明，但本发明中的显示设备并不仅限于投影仪，也可以应用于连接个人计算机(PC)的液晶显示器等各种显示设备等，此外，也可以应用于各种游戏设备。
此外，本发明可以作成记述以上说明的用于实现本发明的处理步骤的处理程序，可将该处理程序预先存储在软盘、光盘、硬盘等存储介质上，本发明包含存储该处理程序的存储介质。此外，也可以从网络得到该处理程序。

Claims (26)

1.一种信息显示系统，其具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，
所述指示装置具有：
摄影装置，其可以拍摄包含该指示装置在所述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息，
所述信息处理装置具有：
指示坐标确定装置，其接收来自所述指示装置的所述摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标；
显示图像信息存储装置，其存储所述显示图像信息；
显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
2.一种信息显示系统，其具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，
所述指示装置具有：
摄影装置，其可以拍摄包含该指示装置在所述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息；
指示坐标确定装置，其接收来自该摄影装置的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标，
所述信息处理装置具有：
显示图像信息存储装置，其存储所述显示图像信息；
显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
3.一种信息显示系统，其具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，
所述指示装置具有：
摄影装置，其可以拍摄包含该指示装置在所述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息，
所述信息处理装置具有：
指示坐标确定装置，其接收来自所述指示装置的所述摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标；
显示图像信息存储装置，其存储与显示图像对应的显示图像信息；
显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还将指示标记合成到该显示图像信息上的由所述指示坐标确定装置确定的指示坐标上进行显示。
4.一种信息显示系统，其具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，
所述指示装置具有：
摄影装置，其可以拍摄包含该指示装置在所述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息；
指示坐标确定装置，其接收来自该摄影装置的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标，
所述信息处理装置具有：
显示图像信息存储装置，其存储与显示图像对应的显示图像信息；
显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还将指示标记合成到该显示图像信息上的由所述指示坐标确定装置确定的指示坐标上进行显示。
5.如权利要求1至4的任何一项所述的信息显示系统，其特征在于，
所述拍摄的规定范围是由所述摄影装置具有的校准装置设定的可拍摄范围，把由该校准装置设定的可拍摄范围的中央部作为由所述指示装置所要指示的位置，取得该位置的坐标作为指示坐标。
6.如权利要求1至4的任何一项所述的信息显示系统，其特征在于，
所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应的判定，是通过根据所述摄影图像信息生成模板图像信息，将该模板图像信息与对应于摄影时刻的显示图像的显示图像信息进行模式匹配来进行的。
7.如权利要求1至4的任何一项所述的信息显示系统，其特征在于，
所述指示装置是具有摄影功能和通信功能的便携式信息终端设备。
8.如权利要求1至4的任何一项所述的信息显示系统，其特征在于，
所述指示装置具有命令输入装置，所述信息处理装置具有接收来自所述指示装置的命令并处理该命令的命令处理装置，如果在由所述信息处理装置确定所述指示坐标之后，从所述命令输入装置发出命令，则进行该命令处理，把该处理结果反映到所述指示坐标上。
9.一种用于信息显示系统中的信息处理装置，具有：
指示坐标确定装置，其接收从指示装置输出的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标；
显示图像信息存储装置，其存储所述显示图像信息；
显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
10.一种用于信息显示系统中的指示装置，具有：
摄影装置，其可以拍摄包含该指示装置在显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息；
指示坐标确定装置，其接收来自该摄影装置的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置的坐标确定为指示坐标。
11.一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，
所述指示装置由该指示装置具有的摄影装置拍摄包含在所述显示图像上所要指示的位置的规定范围，将与该规定范围对应的摄影图像信息输出到所述信息处理装置；
在所述信息处理装置，从所述指示装置接收所述摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置确定为指示坐标之后，将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
12.一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，
所述指示装置由该指示装置具有的摄影装置拍摄包含在所述显示图像上所要指示的位置的规定范围，得到与该规定范围对应的摄影图像信息，通过对所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息进行匹配，来判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，将该判定的部分的规定部位作为所述指示装置所要指示的位置，把该位置确定为指示坐标，将与该确定的指示坐标对应的指示坐标信息输出到所述信息处理装置；
在所述信息处理装置，将指示标记合成到与从所述指示装置传送的指示坐标信息对应的指示坐标上进行显示。
13.如权利要求11或12所述的信息显示系统中的指示标记显示方法，其特征在于，
所述拍摄的规定范围是由所述摄影装置具有的校准装置设定的可拍摄范围，把由该校准装置设定的可拍摄范围的中央部作为由所述指示装置所要指示的位置，取得该位置的坐标作为指示坐标。
14.如权利要求11或12所述的信息显示系统中的指示标记显示方法，其特征在于，
所述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应的判定，是通过根据所述摄影图像信息生成模板图像信息，将该模板图像信息与对应于摄影时刻的显示图像的显示图像信息进行模式匹配来进行的。
15.一种信息显示系统，其具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，
所述指示装置具有：
摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；
指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，
所述信息处理装置具有：
显示图像信息存储装置，其存储与所述显示图像对应的显示图像信息；
指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；
显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
16.一种信息显示系统，其具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，
所述指示装置具有：
摄影装置，其可以拍摄该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息，
所述信息处理装置具有：
指示坐标移动向量计算装置，其对通过改变或不改变由所述指示装置的摄影装置得到的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；
显示图像信息存储装置，其存储与所述显示图像对应的显示图像信息；
指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；
显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
17.一种信息显示系统，其具有：信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，
所述指示装置具有：
摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；
指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；
指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标，
所述信息处理装置具有：
显示图像信息存储装置，其存储与所述显示图像对应的显示图像信息；
显示图像信息生成装置，其把指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
18.如权利要求15至17的任何一项所述的信息显示系统，其特征在于，
所述指示坐标确定装置进行的指示坐标确定处理以所述临时指示位置作为基准设定规定范围，在该规定范围内，通过将所述摄影图像与摄影时刻的显示图像信息进行模式匹配，计算出各位置的相关性，根据计算出的相关性，确定所述移动后的指示坐标。
19.一种用于信息显示系统中的信息处理装置，具有：
显示图像信息存储装置，其存储与显示图像对应的显示图像信息；
指示坐标确定装置，其将指示标记移动前的指示位置偏离指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；
显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
20.一种用于信息显示系统中的指示装置，具有：
摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；
指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量。
21.一种用于信息显示系统中的信息处理装置，具有：
指示坐标移动向量计算装置，其对通过改变或不改变由指示装置的摄影装置得到的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；
显示图像信息存储装置，其存储与所述显示图像对应的显示图像信息；
指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标；
显示图像信息生成装置，其将指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
22.一种用于信息显示系统中的指示装置，具有：
摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；
指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的比当前时刻更早的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；
指示坐标确定装置，其将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标。
23.一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，
所述指示装置对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与比其更早的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将该指示坐标移动向量输出到所述信息处理装置，
所述信息处理装置将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标，将指示标记合成到与所述显示图像对应的显示图像信息上的所述确定的指示坐标上进行显示。
24.一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，
所述指示装置通过该指示装置具有的摄影装置拍摄任意范围，
所述信息处理装置对通过由所述指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时间的摄影图像信息与比其更早的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标，把指示标记合成到与所述显示图像信息上的所述确定的指示坐标上进行显示。
25.一种信息显示系统中的指示标记显示方法，该信息显示系统具有：信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，
所述指示装置对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时间的摄影图像信息与比其更早的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将指示标记移动前的指示位置偏离所述指示坐标移动向量的量，以求出指示标记移动后的临时指示位置，对包括所述临时指示位置的规定范围内的所述显示图像信息和来自所述指示装置的摄影图像信息进行比较，把指示标记移动后的指示位置确定为指示坐标，
所述信息处理装置把指示标记合成到所述显示图像信息上的所述确定的指示坐标上进行显示。
26.如权利要求23至25的任何一项所述的信息显示系统中的指示标记显示方法，其特征在于，
所述指示坐标确定处理以所述临时指示位置作为基准设定规定范围，通过在该规定范围内对所述摄影图像与摄影时刻的显示图像信息进行模式匹配，计算出各位置的相关性，根据计算出的相关性，确定所述移动后的指示坐标。
CNB2004100322552A 2003-03-28 2004-03-29 信息显示系统及其信息处理装置、指示装置和标记显示法 Expired - Fee Related CN1284073C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP091330/2003 2003-03-28
JP2003091330 2003-03-28
JP013212/2004 2004-01-21
JP2004013212A JP2004318823A (ja) 2003-03-28 2004-01-21 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNA2006100577404A Division CN1841290A (zh) 2003-03-28 2004-03-29 信息显示系统及其信息处理装置、指示装置和标记显示法

Publications (2)

Publication Number Publication Date
CN1534446A CN1534446A (zh) 2004-10-06
CN1284073C true CN1284073C (zh) 2006-11-08

Family

ID=33478514

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100322552A Expired - Fee Related CN1284073C (zh) 2003-03-28 2004-03-29 信息显示系统及其信息处理装置、指示装置和标记显示法

Country Status (4)

Country Link
US (1) US20040246229A1 (zh)
JP (1) JP2004318823A (zh)
CN (1) CN1284073C (zh)
HK (1) HK1066879A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402382A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理设备和信息处理方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050162384A1 (en) * 2004-01-28 2005-07-28 Fujinon Corporation Pointing device, method for displaying point image, and program therefor
US20050222801A1 (en) * 2004-04-06 2005-10-06 Thomas Wulff System and method for monitoring a mobile computing product/arrangement
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
EP1779226B1 (en) * 2004-08-12 2018-10-24 Philips Intellectual Property & Standards GmbH Method and system for controlling a display
US7852317B2 (en) 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
EP1902350A1 (en) * 2005-07-04 2008-03-26 Bang & Olufsen A/S A unit, an assembly and a method for controlling in a dynamic egocentric interactive space
US9285897B2 (en) * 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
JP4744217B2 (ja) * 2005-07-19 2011-08-10 富士フイルム株式会社 端末の動作方法
WO2007017782A2 (en) * 2005-08-11 2007-02-15 Koninklijke Philips Electronics N.V. Method of determining the motion of a pointing device
JP4262712B2 (ja) * 2005-10-24 2009-05-13 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 携帯端末装置、マウスアプリケーションプログラム、及び携帯端末装置をワイヤレスマウス装置として用いる方法
JP2007193403A (ja) * 2006-01-17 2007-08-02 Hitachi Ltd ポインティングデバイス、ポインタ指示位置制御方法およびディスプレイシステム
KR101261550B1 (ko) * 2006-02-01 2013-05-06 삼성전자주식회사 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법
US8106884B2 (en) 2006-03-20 2012-01-31 Samsung Electronics Co., Ltd. Pointing input device, method, and system using image pattern
KR20070095179A (ko) * 2006-03-20 2007-09-28 삼성전자주식회사 영상 패턴을 이용한 포인팅 입력 장치, 방법, 및 시스템
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
WO2008087974A1 (ja) * 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8081162B2 (en) * 2007-05-16 2011-12-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device with surface and free space navigation
US8144123B2 (en) * 2007-08-14 2012-03-27 Fuji Xerox Co., Ltd. Dynamically controlling a cursor on a screen when using a video camera as a pointing device
CN101398711A (zh) * 2007-09-29 2009-04-01 玴荣科技股份有限公司 手持摄影机的光标定位方法
US8488129B2 (en) * 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
JP5188148B2 (ja) * 2007-11-09 2013-04-24 キヤノン株式会社 表示装置及び方法及びプログラム
US7973768B2 (en) 2007-11-16 2011-07-05 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device with consolidated processing for surface and free space navigation
US8154771B2 (en) * 2008-01-29 2012-04-10 K-Nfb Reading Technology, Inc. Training a user on an accessiblity device
US8432391B2 (en) * 2008-06-02 2013-04-30 Panasonic Corporation Remote control device and remote control method
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
JP5522381B2 (ja) * 2010-03-15 2014-06-18 セイコーエプソン株式会社 表示装置、端末装置、表示システム、プログラム、情報記憶媒体、表示方法および画像変更方法
JP5430491B2 (ja) 2010-05-17 2014-02-26 キヤノン株式会社 情報処理装置、表示装置、表示システム、情報処理装置の制御方法、及び表示装置の制御方法
EP2591398A4 (en) 2010-07-08 2014-04-02 Nokia Corp VISUAL DATA DISTRIBUTION
JP2012118448A (ja) * 2010-12-03 2012-06-21 Sony Corp 画像処理方法、画像処理装置及び画像処理プログラム
JP5387557B2 (ja) * 2010-12-27 2014-01-15 カシオ計算機株式会社 情報処理装置及び方法、並びにプログラム
JP5742379B2 (ja) * 2011-03-30 2015-07-01 カシオ計算機株式会社 投影システムおよび投影方法
JP5341126B2 (ja) * 2011-03-31 2013-11-13 シャープ株式会社 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
CN102322800B (zh) * 2011-05-31 2013-04-03 南京信息工程大学 基于机器视觉和gps的汽车列车最大横向摆动量检测方法
JP5650060B2 (ja) * 2011-06-03 2015-01-07 日本電信電話株式会社 画像追跡装置及び画像追跡方法
JP5771508B2 (ja) * 2011-11-10 2015-09-02 オリンパス株式会社 表示装置、撮像装置、および映像表示システム
JP2013137735A (ja) * 2011-11-30 2013-07-11 Ricoh Co Ltd 表示制御装置、表示制御方法、プログラム、表示システム
JP5949242B2 (ja) * 2012-07-11 2016-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
TWI537775B (zh) * 2012-07-26 2016-06-11 群邁通訊股份有限公司 滑鼠圖示控制方法及系統
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
JP5573908B2 (ja) * 2012-09-28 2014-08-20 カシオ計算機株式会社 ポインティング装置及びその情報送信方法と情報送信プログラム
US10142455B2 (en) * 2013-02-04 2018-11-27 Here Global B.V. Method and apparatus for rendering geographic mapping information
US10192335B1 (en) * 2014-08-25 2019-01-29 Alexander Wellen Remote control highlighter
JP6063431B2 (ja) * 2014-11-28 2017-01-18 京セラドキュメントソリューションズ株式会社 表示装置及び表示プログラム
CN104537662A (zh) * 2014-12-24 2015-04-22 百度在线网络技术（北京）有限公司 一种用于提供拍照图像的方法与设备
TW201626159A (zh) * 2015-01-08 2016-07-16 原相科技股份有限公司 相對位置判斷方法、顯示器控制方法、以及使用這些方法的系統
CN105389804B (zh) * 2015-10-22 2018-10-23 西交利物浦大学 一种基于图像处理的多功能指示器实现方法
JP6816402B2 (ja) * 2016-08-12 2021-01-20 セイコーエプソン株式会社 表示装置および表示装置の制御方法
CN107329592B (zh) * 2017-05-17 2019-10-25 广州视源电子科技股份有限公司 位置指示方法、操作装置、显示装置与位置指示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2681454B2 (ja) * 1995-02-21 1997-11-26 コナミ株式会社 射的ゲーム装置
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
US6275214B1 (en) * 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
JP3994672B2 (ja) * 2000-03-31 2007-10-24 セイコーエプソン株式会社 画像処理を用いた指示位置の検出
JP4708581B2 (ja) * 2000-04-07 2011-06-22 キヤノン株式会社 座標入力装置、座標入力指示具及びコンピュータプログラム
US20040048663A1 (en) * 2002-09-10 2004-03-11 Zeroplus Technology Co., Ltd. Photographic pointer positioning device
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402382A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理设备和信息处理方法

Also Published As

Publication number Publication date
CN1534446A (zh) 2004-10-06
JP2004318823A (ja) 2004-11-11
HK1066879A1 (en) 2005-04-01
US20040246229A1 (en) 2004-12-09

Similar Documents

Publication Publication Date Title
CN1284073C (zh) 信息显示系统及其信息处理装置、指示装置和标记显示法
CN1260673C (zh) 2维码读取方法和读取装置、数字照相机及其便携终端
CN1510913A (zh) 图像处理系统、投影机、便携式装置和图像处理方法
CN1247028C (zh) 运动检测装置及搜索区域形状可变运动检测器
CN1219402C (zh) 全方位影像输出方法和装置
CN1204739C (zh) 摄像机控制装置和方法
CN1270277C (zh) 图像失真校正方法和设备
CN1928887A (zh) 图像处理装置及其方法
CN1823523A (zh) 投影设备、倾斜角获取方法以及投影图像校正方法
CN1897694A (zh) 活动对象跟踪系统、活动对象跟踪控制设备、方法和程序
CN1671176A (zh) 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置
CN101067762A (zh) 信息处理设备及其控制方法和图像处理设备
CN1691744A (zh) 图像处理系统、投影机及图像处理方法
CN1834582A (zh) 图像处理方法、三维位置测量方法以及图像处理装置
CN1748413A (zh) 投影仪及其投影图像校正方法
CN101068310A (zh) 运动图像处理设备和运动图像处理方法
JP2007201948A (ja) 撮像装置、画像処理方法及びプログラム
CN1835569A (zh) 时移图像分配系统，时移图像分配方法，时移图像请求装置及图像服务器
CN1922652A (zh) 信息显示方法以及信息显示装置
CN1849623A (zh) 图像组合系统、图像组合方法和程序
CN1945580A (zh) 图像处理装置
CN101046737A (zh) 图像供给装置和图像显示装置之间的通信
CN1804682A (zh) 模糊校正方法及摄像装置
CN1729427A (zh) 投影装置、投影系统和图像获得方法
CN1178165C (zh) 图象处理装置、图象处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1066879

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061108

Termination date: 20190329

CF01 Termination of patent right due to non-payment of annual fee