CN101207804A - 图像显示系统、显示装置和显示方法 - Google Patents

图像显示系统、显示装置和显示方法 Download PDF

Info

Publication number
CN101207804A
CN101207804A CNA2007101989251A CN200710198925A CN101207804A CN 101207804 A CN101207804 A CN 101207804A CN A2007101989251 A CNA2007101989251 A CN A2007101989251A CN 200710198925 A CN200710198925 A CN 200710198925A CN 101207804 A CN101207804 A CN 101207804A
Authority
CN
China
Prior art keywords
speed
display unit
image
appointed information
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101989251A
Other languages
English (en)
Other versions
CN101207804B (zh
Inventor
佐古曜一郎
木村敬治
鹤田雅明
飞鸟井正道
伊藤大二
尾崎望
杉野彰信
关泽英彦
户塚米太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101207804A publication Critical patent/CN101207804A/zh
Application granted granted Critical
Publication of CN101207804B publication Critical patent/CN101207804B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • A63F13/12
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36Monitoring, i.e. supervising the progress of recording or reproducing

Abstract

本发明公开了一种图像显示系统、显示装置和显示方法。该图像显示系统包括显示装置、被放置在可移动体上的成像装置以及服务器装置。显示装置和成像装置能够与服务器装置通信。成像装置包括成像部件、速度检测部件和控制向服务器装置的图像数据和速度信息的发送的控制部件。服务器装置包括利用速度信息管理可移动体的移动速度的可移动体速度管理部件和控制部件,控制部件识别与速度指定信息相匹配的成像装置,并且使得图像数据被从所识别的成像装置发送到显示装置。显示装置包括显示部件以及执行速度指定过程、图像请求发送过程和显示过程的控制部件。

Description

图像显示系统、显示装置和显示方法
技术领域
本发明涉及图像显示系统、显示装置和显示方法。具体而言,本发明涉及显示由成像装置拍摄的图像的技术,该成像装置被放置在以在显示装置的一部分上指定的速度移动的可移动体上。
背景技术
在JP-A-2005-341604中描述了数据通信系统的一个例子。
在JP-A-2005-337863中描述了利用由照相机拍摄的图像更新车载导航系统所拥有的地形图的技术。
在JP-T-2004-538681、JP-T-2004-537193和JP-T-2004-538679中公开了扩充已被广播并记录到万维网(WWW)的节目以享用它们的尝试。
发明内容
然而,目前还未提出一种允许用户任意地指定可移动体的速度以使得用户能够观看在以指定速度移动的可移动体上拍摄的图像的技术。
因此,本发明被设计用来允许用户指定速度以观看由以指定速度移动的成像装置实际拍摄的图像。
根据本发明的一个实施例,提供了一种图像显示系统,包括显示装置、被放置在可移动体上用于拍摄图像的成像装置以及服务器装置。显示装置和成像装置的每一个都能够与服务器装置通信。成像装置包括成像部件、速度检测部件和控制部件,成像部件被配置为拍摄图像以获得图像数据,速度检测部件被配置为检测可移动体的移动速度并且生成指示所检测的移动速度的速度信息,控制部件被配置为执行发送控制过程,使得由成像部件获得的图像数据和由速度检测部件生成的速度信息被发送到服务器装置。服务器装置包括可移动体速度管理部件和控制部件,可移动体速度管理部件被配置为利用从成像装置发送来的速度信息管理上面放置有成像装置的可移动体的移动速度,控制部件被配置为执行照相机识别过程和传送控制过程,照相机识别过程基于从显示装置发送来的速度指定信息检查由可移动体速度管理部件管理的可移动体的移动速度并识别与速度指定信息相匹配的成像装置,传送控制过程使得图像数据被从所识别的成像装置发送到显示装置。显示装置包括显示部件和控制部件,显示部件被配置为执行图像显示,控制部件被配置为执行速度指定过程、图像请求发送过程和显示过程,速度指定过程基于用户输入设置速度指定信息,图像请求发送过程向服务器装置发送速度指定信息以发出对图像数据的请求,显示过程接收响应于图像请求发送过程而从服务器装置发送来的图像数据并使得显示部件基于所接收的图像数据执行显示操作。
根据本发明的另一个实施例,提供了一种图像显示系统,包括显示装置、被放置在可移动体上用于拍摄图像的成像装置以及服务器装置。显示装置和成像装置的每一个都能够与服务器装置通信。成像装置包括成像部件、速度检测部件和控制部件,成像部件被配置为拍摄图像以获得图像数据,速度检测部件被配置为检测可移动体的移动速度并且生成指示所检测的移动速度的速度信息,控制部件被配置为执行发送控制过程,使得由成像部件获得的图像数据和至少包括在通过拍摄图像获得图像数据时由速度检测部件生成的速度信息的附加数据被发送到服务器装置。服务器装置包括存储部件和控制部件,存储部件被配置为存储从成像装置发送来的图像数据和附加数据,控制部件被配置为执行搜索/发送控制过程,该过程基于从显示装置发送来的速度指定信息搜索存储在存储部件中的图像数据,并且使得找到的图像数据被从存储部件读出并被发送到显示装置。显示装置包括显示部件和控制部件,显示部件被配置为执行图像显示,控制部件被配置为执行速度指定过程、图像请求发送过程和显示过程,速度指定过程基于用户输入设置速度指定信息,图像请求发送过程向服务器装置发送速度指定信息以发出对图像数据的请求,显示过程接收响应于图像请求发送过程而从服务器装置发送来的图像数据并使得显示部件基于所接收的图像数据执行显示操作。
根据本发明的又一个实施例,提供了一种显示装置,包括显示部件、通信部件和控制部件,显示部件被配置为执行图像显示,通信部件被配置为与外部服务器装置进行数据通信,控制部件被配置为执行速度指定过程、图像请求发送过程和显示过程,速度指定过程基于用户输入设置速度指定信息,图像请求发送过程经由通信部件向服务器装置发送速度指定信息以发出对图像数据的请求,显示过程使得通信部件接收响应于图像请求发送过程而从服务器装置发送来的图像数据并且使得显示部件基于所接收的图像数据执行显示操作。
根据本发明的又一个实施例,提供了一种显示方法,包括以下步骤:基于用户输入设置速度指定信息;向外部服务器装置发送速度指定信息以发出对图像数据的请求;以及接收响应于请求而从服务器装置发送来的图像数据,并且基于所接收的图像数据进行显示。
根据本发明,通过指定速度,显示装置的用户能够看见实际由被放置在以指定速度移动的可移动体上的成像装置拍摄的图像。这种外部成像装置的例子包括:被另一人佩戴的成像装置;附接到汽车、火车等的成像装置;被放置在动物、鸟类等上的成像装置。
系统操作的例子包括:拍摄的图像数据被实时地通过服务器装置从成像装置传送到显示装置的操作;以及在成像装置中拍摄的图像数据被存储在服务器装置中,并且所存储的图像数据被读出并提供给显示装置的操作。
在实时传送的情况下,服务器装置使用可移动体速度管理部件来辨别每个可移动体的移动速度。因而,当从显示装置接收到速度指定信息时,服务器装置能够识别与速度指定信息相匹配的成像装置。服务器装置使得图像数据从所识别的成像装置被传送到显示装置。显示装置接收并显示图像数据。结果,显示装置的用户可以看见由以与指定速度相对应的速度移动的成像装置拍摄的当前场景的显示图像。
在图像数据被存储在服务器装置中的情况下,由被放置在可移动体上的成像装置通过拍摄图像获得的图像数据与附加数据一同被发送到服务器装置,附加数据包括指示图像拍摄时的移动速度的速度信息,并且图像数据和附加数据被存储在服务器装置中。因此,由多个场所的大量成像装置拍摄的图像的图像数据与其速度信息一同被累积在服务器装置中。因而,如果在显示装置的一部分上指定一个速度并且指示指定速度的速度指定信息被发送到服务器装置,则服务器装置能够基于速度指定信息搜索存储在其中的图像数据。服务器装置取得与速度指定信息相匹配的图像数据,并且将所取得的图像数据发送到显示装置。显示装置接收并显示图像数据。结果,显示装置的用户可以看见由以指定速度移动的成像装置拍摄的过去场景的显示图像。
根据本发明,通过指定速度,显示装置的用户可以看见由正以(或者过去以)指定速度移动的成像装置拍摄的图像。因而,本发明允许用户体验可从以多种速度移动的可移动体上看到的场景。
此外,因为用户能够利用例如地图图像指定位置,所以用户可以看见在某一位置处以某一速度移动时可以看到的场景。当希望检查当在可以指定的某一场所处以某一速度移动时可以看见的场景时,或者当希望欣赏这一场景时,这是优选的。
此外,因为用户能够指定日期/时间,所以用户可以看见当在某一日期/时间以某一速度移动时可以看见的场景。因而,可以向用户提供多种场景。
附图说明
图1是示出根据本发明一个实施例的成像/显示装置的示例性外观的图示;
图2A和2B是示出根据本发明一个实施例的成像装置和显示装置的示例性外观的图示;
图3是图示根据本发明一个实施例的示例性系统配置的图;
图4是根据本发明一个实施例的成像/显示装置的框图;
图5是根据本发明一个实施例的成像装置的框图;
图6是根据本发明一个实施例的显示装置的框图;
图7是根据本发明一个实施例的成像装置和显示装置的框图;
图8是根据本发明一个实施例的服务器装置的框图;
图9是根据本发明一个实施例的示例性系统操作I的流程图;
图10是图示根据本发明一个实施例的照相机位置/速度管理表的图;
图11是图示根据本发明一个实施例的示例性系统操作II的图;
图12是图示根据本发明一个实施例的速度图像数据库的图;
图13是根据本发明一个实施例的示例性系统操作II的流程图;
图14A至14D是在本发明的一个实施例中当指定位置和速度时使用的图像的图示;以及
图15A至15D是在本发明的一个实施例中要显示的拍摄图像的图示。
具体实施方式
下文中将描述根据本发明优选实施例的图像显示系统、显示装置和显示方法。根据优选实施例的成像/显示装置1和显示装置40对应于权利要求中所记载的显示装置,并且在优选实施例中,根据本发明的显示方法表现为成像/显示装置1或显示装置40的处理过程。同时,根据优选实施例的成像/显示装置1和成像装置30对应于权利要求中所记载的成像装置。因此,根据优选实施例的成像/显示装置1能够充当所附权利要求中记载的显示装置和成像装置。
下面的描述遵循以下顺序。
[1.成像/显示装置、成像装置和显示装置的示例性外观]
[2.系统配置]
[3.成像/显示装置、成像装置、显示装置和服务器装置的示例性结构]
[4.示例性的系统操作I]
[5.示例性的系统操作II]
[6.实施例的效果、示例性的变型和示例性的扩展]
[1.成像/显示装置、成像装置和显示装置的示例性外观]
图1图示了成像/显示装置1的示例性外观。该成像/显示装置1可以由用户佩戴作为眼镜形状的显示照相机。
成像/显示装置1具有含框架结构的佩戴单元,框架结构例如围绕头部两侧从两个太阳穴区域向枕骨区延伸,并且在被用户戴上时,佩戴单元放置在耳朵上,如该图所示。
成像/显示装置1具有被设计用于左眼和右眼的一对显示面板部件2a和2b,并且当成像/显示装置1被用户以如图1所示的方式佩戴时,显示面板部件2a和2b布置在用户眼睛的前部(即,在普通眼镜的镜片所在的位置处)。例如,液晶面板被用于显示面板部件2a和2b,并且显示面板部件2a和2b能够进入透视(see-through)状态,即透明或半透明状态,如该图中透射控制所示。显示面板部件2a和2b能够进入透视状态的能力允许用户在他或她佩戴眼镜的任何时刻佩戴成像/显示装置1,而不会干扰他或她的日常生活。
另外,成像/显示装置1具有被布置为面向前方的图像拾取透镜3a,以对处于在成像/显示装置1被用户戴上的同时用户所看见的方向上的场景成像。
另外,成像/显示装置1具有在图像拾取透镜3a拍摄图像的方向上提供照明的发光部件4a。发光部件4a例如由发光二极管(LED)形成。
另外,成像/显示装置1具有一对耳机扬声器5a,当成像/显示装置1被用户戴上时,这对耳机扬声器5a可以插入到用户的右耳孔和左耳孔中。注意,在图中只示出了左耳机扬声器5a。
另外,成像/显示装置1具有用于收集外部声音的麦克风6a和6b。麦克风6a和6b分别被布置在右显示面板部件2a的右侧和左显示面板部件2b的左侧。
注意,图1仅仅示出了一个例子,并且对于用户佩戴成像/显示装置1来说,各种结构都是可能的。一般来说,对于佩戴单元的要求是其呈眼镜形状或者是头戴式类型,以使得显示面板部件2a和2b例如被布置在用户眼睛的前方且靠近用户眼睛,并且图像拾取透镜3a拍摄图像的方向是用户眼睛朝向的方向,即向前方向。还要注意,尽管这对显示面板部件2a和2b可以设置用于两只眼睛,如上所述,但是可以只提供一个显示部件以用于一只眼睛。
还要注意,图像拾取透镜3a拍摄图像的方向不一定与用户眼睛朝向的方向一致。例如,图像拾取透镜3a可以对侧向或后向成像。
还要注意,成像/显示装置1不一定具有左和右立体声扬声器5a,而是可以只具有一个耳机扬声器5a以插入到一只耳孔中。还要注意,麦克风的数目可以是一个。即,成像/显示装置1可以只具有麦克风6a和6b中的一个。还要注意,成像/显示装置1不是一定带有麦克风或耳机扬声器。
还要注意,成像/显示装置1不是一定具有发光部件4a。
尽管成像/显示装置1的佩戴单元已被描述为呈眼镜形状或者是头戴式类型,但是供用户佩戴成像/显示装置的佩戴单元可以是任何类型的,例如头戴式耳机型、围颈型、耳后型等等。另外,成像/显示装置可以经由固定设备(例如夹子)附接到普通的眼镜、帽舌、头戴式耳机等等,以使得成像/显示装置可以被用户佩戴。还要注意,成像/显示装置不一定要戴在用户的头部。
图1中所示的成像/显示装置1是用户要佩戴的设备,在该设备中,用于成像的组件和用于监视图像的显示面板部件2a和2b被集成在一个单元中。然而,存在用户佩戴的设备的其他示例,例如图2A中所示的成像装置30和图2B中所示的显示装置40。
图2A中所示的成像装置30利用预定佩戴框架佩戴在用户的太阳穴区之一上。成像装置30具有图像拾取透镜3a和发光部件4a,这两个部件被布置为面向前方以对处于在成像装置30被用户戴上的同时用户所看见的方向上的场景成像。另外,成像装置30具有用于收集外部声音的麦克风6a。
即,成像装置30是不具有显示能力但是具有在被用户佩戴时对用户视场内的场景成像的能力的设备,与上述成像/显示装置1的情况一样,成像装置30可以具有用于佩戴的多种形状、结构和组件。
图2B中所示的显示装置40是呈腕表形状的显示装置。显示装置40具有显示面板部件2a,在显示装置40利用腕带被佩戴在用户手腕上的同时,用户可以看见显示面板部件2a。
尽管图2B中所示的显示装置40假定了腕表的形状,但是用户要佩戴或携带的显示装置40可以具有用于佩戴或携带的多种形状和结构。例如,显示装置40可以是可被用户携带的小型便携式设备。另外,显示装置40可以是眼镜形设备以由用户佩戴(即,类似于图1中所示的成像/显示装置1的设备,除了该设备不具有成像能力以外)。
尽管用户要携带的显示装置40可以是专用于显示以进行监视的设备,但是具有显示能力的其他类型的设备,例如移动电话、便携式游戏机和个人数字助理(PDA),也可以充当根据本实施例的显示装置40。
另外,除了可以被用户佩戴或携带的这些设备以外,固定显示装置、计算机装置、电视接收机、车内显示监视器等等也可以用作根据本实施例的显示装置40。
尽管图2A中所示的成像装置30和图2B中所示的显示装置40可以彼此独立地使用,但是成像装置30和显示装置40这两者都可以被用户佩戴并且被组合用作成像/显示装置。在这种情况下,成像装置30和显示装置40可以彼此执行数据通信,以使得显示装置40显示由成像装置30拍摄的图像以进行监视,或者显示例如从外部发送的图像。
在本实施例中假定成像/显示装置1和显示装置40被人类用户使用,并且成像装置30被放置在包括人在内的多种可移动体上并因此被使用。尽管图2A中所示的成像装置30假定被人佩戴以对该人的视场内的场景成像,但是存在被放置在除了人以外的其他可移动体上的多种其他的成像装置30。
除了人以外的可移动体的示例包括非人类动物、在地面上行进的设备、在海面上行进的设备、在海面下行进的设备、通过空气行进的设备以及在地球大气层外行进的设备。
非人类动物的示例包括鸟、哺乳动物、爬行动物、两栖动物、鱼、昆虫以及多种其他动物。
在地面上行进的设备的例子包括自动车辆(例如小汽车、卡车、巴士车、出租车和摩托车)以及人力车辆(例如自行车、黄包车和玩具车)。其他例子包括轨道车辆,例如火车和蒸汽机车。另外的例子包括在游乐园等中骑马以及用在工厂或其他场所中的商用车辆。在地面上行进的设备并不限于人们所乘的可移动体。例如,被设计用于商用或娱乐用的各种类型的机械和诸如无线电控制的玩具之类的玩具也是在地面上行进的设备的例子。
在海面上行进的设备的例子包括多种船只,例如海船、小艇、个人船只、冲浪板、划艇、救生圈和救生艇。
在海面下行进的设备的例子包括潜水艇、自动水下车辆和诸如水中呼吸器之类的潜水装备。
通过空气行进的设备的例子包括多种飞行器,例如飞机、直升机、滑翔机、降落伞、气球和风筝。
在地球大气层外行进的设备的例子包括火箭、空间探测器和卫星。
应当意识到,存在多种其他的可移动体的特定例子。用于放置成像/显示装置1的形状和结构取决于成像/显示装置1被放置在其上的可移动体。
[2.系统配置]
在本实施例中,成像/显示装置1或显示装置40的用户指定一个速度,以便观看由以指定速度移动的另一个成像/显示装置1或成像装置30拍摄的当前或过去图像。在图3中图示了用于实现这一操作的示例性系统配置。
图3图示了这样一种系统配置,其中成像/显示装置1、显示装置40、成像装置30和服务器装置70经由网络60彼此通信。
网络60的例子包括诸如因特网之类的广域网和诸如局域网(LAN)之类的小范围网络。
这里假定用户A、B和C佩戴例如如图1中所示的成像/显示装置1。这里还假定用户D佩戴例如如图2B中所示的显示装置40,而用户E佩戴如图2A中所示的成像装置30。
进一步假定用户F既佩戴了如图2A中所示的成像装置30,又佩戴了如图2B中所示的显示装置40,这两个装置组合起来充当成像/显示装置。
还假定安装在可移动体G和H上的成像装置30是安装在诸如汽车、轨道车辆或飞行器之类的可移动体(除了人以外的可移动体)上的成像装置,并且具有用于放置在上面的合适形状。
下面将描述系统操作的两个例子(即,示例性系统操作I和II)。首先,在示例性系统操作I的情况下,用户E佩戴的成像装置30以及安装在可移动体G和H上的成像装置30定期地或者在预定时间(例如当它们的运行速度改变时)经由网络60向服务器装置70发送指示其移动速度的速度信息以及例如照相机ID(即,每个成像装置30的标识信息)。
用户A、B和C中的每一个佩戴的成像/显示装置1也恒定地、定期地或者在预定时间经由网络60向服务器装置70发送照相机ID及其速度信息。
服务器装置70管理从成像装置30和成像/显示装置1的每一个发送来的速度信息以及其照相机ID,以一直识别成像装置30和成像/显示装置1每一个的当前移动速度。
同时,响应于用户指定速度,用户A、B和C佩戴的成像/显示装置1以及用户D和F佩戴的显示装置40中的每一个经由网络60访问服务器装置70,并向服务器装置70发送指示指定速度的速度指定信息以发出对图像的请求。
基于速度指定信息,服务器装置70识别以与速度指定信息相匹配的速度移动的成像装置30或成像/显示装置1。然后,服务器装置70请求所识别的成像装置30或成像/显示装置1发送这样拍摄的图像的图像数据。在所识别的成像装置30或成像/显示装置1响应于该请求而开始发送图像数据之后,服务器装置70将图像数据转发到速度被指定的显示装置40或成像/显示装置1。
速度被指定的显示装置40或成像/显示装置1接收从服务器装置70发送来的图像数据,并显示所接收的图像数据。
以上述方式,用户A、B、C、D和F能够通过指定速度来观看由以指定速度移动的成像装置或成像/显示装置实际拍摄的场景。
注意,下面将在这样的假定下描述示例性系统操作I:即成像/显示装置1或显示装置40的用户不仅指定速度,还指定位置。
接着,在示例性系统操作II的情况下,用户E佩戴的成像装置30以及安装在可移动体G和H上的成像装置30中的每一个恒定地、定期地或者在任意时间将通过拍摄图像获得的图像数据和至少包括指示在拍摄图像时的速度的速度信息的附加数据经由网络60上载到服务器装置70。
用户A、B和C佩戴的成像/显示装置1中的每一个也能够恒定地、定期地或者在任意时间将通过拍摄图像获得的图像数据和至少包括指示在成像时的速度的速度信息的附加数据经由网络60上载到服务器装置70。
服务器装置70将由成像/显示装置1和成像装置30中的每一个上载的图像数据和附加数据登记并存储在速度图像数据库中,这将在下面描述。
同时,响应于用户指定速度,用户A、B和C佩戴的成像/显示装置1以及用户D和F所用的显示装置40中的每一个经由网络60访问服务器装置70,并向服务器装置70发送指示指定速度的速度指定信息以对图像发出请求。
基于速度指定信息,服务器装置70搜索速度图像数据库以提取由成像装置或成像/显示装置拍摄的图像的图像数据,该成像装置或成像/显示装置正以由速度指定信息指示的指定速度移动。然后,服务器装置70将所提取的图像数据发送到成像/显示装置1或显示装置40。
成像/显示装置1或显示装置40接收从服务器装置70发送来的图像数据,并显示所接收的图像数据。
以上述方式,用户A、B、C、D和F能够观看以指定速度移动的成像装置或成像/显示装置在过去实际拍摄的场景。
注意,下面将在这样的假定下描述示例性系统操作II:即成像/显示装置1或显示装置40的用户不仅指定速度,还指定位置。
[3.成像/显示装置、成像装置、显示装置和服务器装置的示例性结构]
下面将参考图4至8描述成像/显示装置1、成像装置30、显示装置40和服务器装置70的示例性结构。
首先,下面将参考图4描述成像/显示装置1的示例性结构。
系统控制器10由微计算机形成,微计算机例如包括中央处理单元(CPU)、只读存储器(ROM)、随机访问存储器(RAM)、非易失性存储器部件和接口部件,并且控制成像/显示装置1的整体操作。基于保存在内部ROM等中的程序,系统控制器10执行多种计算过程,并经由总线13与成像/显示装置1的每个部分交换控制信号等等,以使成像/显示装置1的每个部分执行必要的操作。
成像/显示装置1包括成像部件3,用作对处于用户看见的方向上的场景成像的组件。
成像部件3包括成像光学系统、成像设备部件和成像信号处理部件。
成像部件3中的成像光学系统具有:由图1中所示的图像拾取透镜3a形成的透镜系统、光圈、变焦透镜、聚焦透镜等等;用于允许透镜系统执行聚焦操作、变焦操作的驱动系统;等等。
成像部件3中的成像设备部件具有用于检测由成像光学系统获得的用于成像的光并对检测到的光进行光电转换以生成成像信号的固态成像器件阵列。固态成像器件阵列例如是电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列。
成像部件3中的成像信号处理部件包括用于对由固态成像器件获得的信号进行增益控制和波形整形的采样保持/自动增益控制(AGC)电路和视频A/D转换器,并且获得数字形式的拾取图像数据。成像信号处理部件还对拾取的图像数据执行白平衡处理、亮度处理、彩色信号处理、模糊校正处理等等。
成像由上述包括成像光学系统、成像设备部件和成像信号处理部件的成像部件3完成,从而通过成像获得图像数据。
系统控制器10执行成像部件3中成像操作的开启和关闭的控制、成像光学系统中变焦透镜和聚焦透镜的驱动控制、成像设备部件中灵敏度和帧频的控制、每一过程的参数的设置和在成像信号处理部件中执行的过程的设置,等等。
通过成像部件3执行的成像操作获得的拾取图像数据可以经由图像处理部件15被提供给显示部件2、存储部件25或通信部件26。
在系统控制器10的控制下,图像处理部件15执行将拾取的图像数据转换为预定图像数据格式的过程,以及用于允许图像数据被显示在显示部件2上以进行监视的必要的信号处理。用于允许图像数据被显示在显示部件2上以进行监视的信号处理的示例包括:亮度电平控制;色彩校正;对比度控制;尖锐度(边缘增强)控制;分割屏幕过程;合成字符图像的过程;放大或缩小图像的生成;以及图像效果的应用,例如镶嵌图像、亮度反转图像、软聚焦、图像一部分的高亮显示和图像的整体颜色气氛的变化。
图像处理部件15还执行在成像部件3、显示部件2、存储部件25和通信部件26之间传送图像数据的过程。具体而言,图像处理部件15执行将拾取的图像数据从成像部件3提供到显示部件2、存储部件25或通信部件26的过程,将从存储部件25读取的图像数据提供到显示部件2的过程,以及将由通信部件26接收的图像数据提供到显示部件2的过程。
成像/显示装置1包括作为用于向用户呈现显示的组件的显示部件2。显示部件2具有上述的由液晶面板形成的显示面板部件2a和2b以及用于驱动显示面板部件2a和2b进行显示的显示驱动部件。
显示驱动部件由像素驱动电路形成,其用于允许提供自图像处理部件15的图像信号被显示在例如形成为液晶显示器的显示面板部件2a和2b上。即,显示驱动部件利用用于显示的预定水平/垂直驱动时序对显示面板部件2a和2b中呈矩阵形式布置的像素施加基于视频信号的驱动信号。作为这一过程的结果,由成像部件3拍摄的图像、从存储部件25读取的图像数据的图像、或者由通信部件26接收的图像数据的图像被显示在显示面板部件2a和2b上。
另外,显示驱动部件能够控制显示面板部件2a和2b中每个像素的透射以允许像素进入透视状态(即,透明或半透明状态)。
系统控制器10执行显示部件2中显示操作的开/关(透视)控制、与要显示的图像数据有关的过程参数的指定、屏幕区域设置控制、用于字符生成的指示,等等。
成像/显示装置1还包括音频输入部件6、音频处理部件16和音频输出部件5。
音频输入部件6包括图1中所示的麦克风6a和6b、用于放大由麦克风6a和6b获得的音频信号的麦克风放大器部件以及A/D转换器,并且输出音频数据。
在音频输入部件6处获得的音频数据被提供给音频处理部件16。
在系统控制器10的控制下,音频处理部件16控制音频数据的传送。具体而言,音频处理部件16将在音频输入部件6处获得的音频数据提供到音频输出部件5、存储部件25或通信部件26。音频处理部件16还将从存储部件25读取的音频数据和由通信部件26接收的音频数据提供到音频输出部件5。
在系统控制器10的控制下,音频处理部件16还执行诸如音量控制、音调控制或音效的施加之类的过程。
音频输出部件5包括图1中所示的那对耳机扬声器5a、用于耳机扬声器5a的放大器电路以及D/A转换器。
即,提供自音频处理部件16的音频数据被D/A转换器转换为模拟音频信号,并且该模拟音频数信号被放大器电路放大,并经由耳机扬声器5a作为声音输出。因而,用户能够听见外部的声音、基于从存储部件25读取的音频数据的音频、或者基于由通信部件26接收的音频数据的音频。
注意,音频输出部件5可以使用所谓的骨传导扬声器。
存储部件25是用于将图像数据(和音频数据)记录到预定存储介质上并从预定存储介质读取这些数据的单元。例如,存储部件25由硬盘驱动器(HDD)形成。当然,可以采用各种类型的存储介质,例如如同闪存一类的固态存储器、包含固态存储器的存储器卡、光盘、磁光盘和全息图存储器。对于存储部件25的要求是能够根据所采用的存储介质进行记录和读取。
在系统控制器10的控制下,存储部件25将通过成像获得的图像数据(和音频数据)记录在存储介质上,或者将由通信部件26接收的图像数据(和音频数据)记录在存储介质上。具体而言,存储部件25对经由图像处理部件15提供的图像数据和经由音频处理部件16提供的音频数据或者由通信部件26接收的图像数据和音频数据进行编码,以使得它们可以被记录在存储介质上,然后将编码后的数据记录在存储介质上。
另外,在系统控制器10的控制下,存储部件25还能够读取所记录的图像数据和音频数据。所读取的图像数据经由图像处理部件15被提供给显示部件2,而所读取的音频数据经由音频处理部件16被提供给音频输出部件5。还可以将所读取的图像/音频数据提供到通信部件26作为要发送到外部设备的数据。
通信部件26经由图3中所示的网络60向外部设备发送数据或者从外部设备接收数据,外部设备具体而言是服务器装置70。
通信部件26可以被配置为经由用于网络接入点的短距无线通信执行网络通信,例如根据诸如无线LAN、蓝牙等等的系统。
由成像部件3获得的拾取图像数据经由图像处理部件15被提供给通信部件26。另外,由音频输入部件6获得的音频数据经由音频处理部件16被提供给通信部件26。通信部件26能够对图像数据和音频数据编码以用于通信目的,调制编码后的数据以进行无线电发送,并将调制后的数据发送到外部设备。即,通信部件26能够将通过成像和声音收集当前在成像/显示装置1中获得的图像数据和音频数据发送到外部设备(例如,服务器装置70)。
另外,通信部件26还能够对从存储部件25读取的图像数据和音频数据编码以用于通信目的,调制编码后的数据以进行无线电发送,并将调制后的数据发送到外部设备。
在下面描述的示例性系统操作I中,系统控制器10除了执行图像/音频数据的发送以外,还执行恒定地、定期地或者在预定时间将速度检测部件17检测到的当前速度信息和位置检测部件12检测到的当前位置信息与照相机ID一起经由通信部件26发送服务器装置70的处理过程。照相机ID是唯一地指定给每个设备的标识信息,并且是可以用于在系统上标识特定的成像/显示装置1或成像装置30的代码。照相机ID例如可以存储在系统控制器10内的非易失性存储器等中。
当从服务器装置70接收到对图像的请求时,执行图像/音频数据的发送。
在下面描述的示例性系统操作II中,例如,当在通过成像和声音收集当前在成像/显示装置1中获得的图像/音频数据被发送到服务器装置70时,系统控制器10生成附加数据,并使得通信部件26对附加数据与图像/音频数据一起进行编码并发送。附加数据包括图像数据的管理信息、下面描述的速度检测部件1 7检测到的当前速度信息、位置检测部件12检测到的当前位置信息以及由日期/时间计算部件28通过计算获得的当前日期/时间信息。
另一种可能的操作是以下操作:一旦将通过成像和声音收集获得的图像/音频数据存储在存储部件25中,就在后续时刻从存储部件25中读取所存储的图像/音频数据,并经由通信部件26将所读取的图像/音频数据发送到服务器装置70。在这一操作的情况下,当在存储部件25中存储图像/音频数据时,系统控制器10生成包括上述信息片段的附加数据,并使得存储部件25记录附加数据以及图像/音频数据。当所记录的图像/音频数据被从存储部件25中读取并发送到服务器装置70时,一起记录的附加数据也被发送到服务器装置70。
当系统控制器10通过执行以上过程将图像/音频数据发送到服务器装置70时,指示通过拍摄图像获得图像数据时的位置的位置信息以及指示获得图像数据时的日期和时间的日期/时间信息也被发送到服务器装置70。
另外,通信部件26接收从外部设备(服务器装置70)发送来的图像/音频数据,对所接收的图像/音频数据进行解调,并将解调后的图像/音频数据发送到图像处理部件15和音频处理部件16。在这种情况下,所接收的图像和音频分别经由显示部件2和音频输出部件5输出。
当然,由通信部件26接收的图像/音频数据可以被提供到存储部件25并记录在存储介质上。
成像/显示装置1还包括照明部件4和照明控制部件14。照明部件4由图1中所示的发光部件4a和用于使发光部件4a(例如LED)发光的发光电路形成。基于从系统控制器10发布的指令,照明控制部件14使得照明部件4执行发光操作。
因为照明部件4中的发光部件4a以图1中所示的方式附接到成像/显示装置1,所以照明部件4提供了图像拾取透镜3a拍摄图像的方向上的照明。
成像/显示装置1还包括用于用户操作的操作输入部件11。
操作输入部件11可包括诸如键、拨号盘等之类的操作单元,并且被配置为检测诸如键操作之类的用户操作。或者,操作输入部件11可以被配置为检测用户的故意行为。
在操作输入部件11包括操作单元的情况下,操作单元可包括下面描述的用于电源开/关操作、与成像有关的操作(例如,变焦操作、与信号处理有关的操作等)、与显示有关的操作(例如,显示内容的选择、用于控制显示器的操作等)以及用于指定外部设备的操作的操作单元。
在操作输入部件11被配置为检测用户行为的情况下,操作输入部件11可以具有加速度传感器、角速度传感器、振动传感器、压力传感器等等。
例如,用户从侧面轻拍成像/显示装置1的动作可以利用加速度传感器、振动传感器等检测。因而,系统控制器10可以在例如横向加速度已超过预定值时确定用户操作已发生。而且,加速度传感器、角速度传感器等可以用于检测用户是从右侧轻拍成像/显示装置1的侧边(其对应于眼镜的侧部)还是从左侧轻拍,并且系统控制器10可以将用户的这些动作中的每一种视为预定操作。
另外,用户点头或摇头的动作可以利用加速度传感器、角速度传感器等检测。系统控制器10可以将用户的这些动作中的每一种视为用户操作。
另外,压力传感器可以例如提供在成像/显示装置1的左侧和右侧中的每一侧(其对应于眼镜的侧部)上。这样,系统控制器10可以在用户利用手指推动成像/显示装置1的右侧时确定用户已执行了用于远距离变焦的操作,并且在用户利用手指推动成像/显示装置1的左侧时确定用户已执行了用于广角变焦的操作。
另外,操作输入部件11可以具有用于检测关于用户的生物信息的生物传感器。在这种情况下,所检测的生物信息可以被识别为操作输入。生物信息的示例包括脉搏速率、心跳速率、心电图信息、肌动图信息、呼吸信息(例如,呼吸速率、呼吸深度、呼气量等)、排汗、皮肤电响应(GSR)、血压、血液中的饱和氧浓度、皮肤表面温度、脑波(例如,α波、β波、θ波和δ波的信息)、血流变化和眼睛的状态。
这样,系统控制器10可以识别生物传感器检测到的信息作为用户的操作输入。用户的故意行为的一个示例是眼睛的运动(例如,用户眼睛导向方向的改变、眨眼等)。例如,当检测到用户眨眼三次的动作时,系统控制器10可以将该动作视为特定的操作输入。另外,例如,还可以基于检测到的生物信息检测用户已戴上或摘下成像/显示装置1,或者特定用户已戴上成像/显示装置1。因而,系统控制器10可以例如响应于这种动作的检测开启或关闭成像/显示装置1的电源。
操作输入部件11向系统控制器10提供由上述的加速度传感器、角速度传感器、振动传感器、压力传感器、生物传感器等通过充当操作单元获取的信息。系统控制器10基于所提供的信息检测用户操作。
成像/显示装置1还包括速度检测部件17。速度检测部件17检测佩戴成像/显示装置1的用户的移动速度(即,用户行走或行进的速度)。当然,在用户保持静止时,用户的移动速度是0。速度检测部件17可以利用加速度传感器等来检测用户的移动速度。或者,速度检测部件17可以通过分析由成像部件3拍摄的周围图像来计算用户的移动速度。
成像/显示装置1还包括位置检测部件12。位置检测部件12例如是GPS接收机部件。GPS接收机部件接收来自全球定位系统(GPS)卫星的无线电波,并将当前位置的纬度和经度的信息输出到系统控制器10。
注意,位置检测部件12可以采用由移动电话公司提供的Wi-Fi(无线保真度)或位置信息服务,或者这种服务和GPS的组合。
检测到的当前位置可以利用速度检测部件17检测到的速度来加以校正。
成像/显示装置1还包括日期/时间计算部件28。日期/时间计算部件28计算当前日期和时间(年、月、日、时、分、秒)。系统控制器10能够基于日期/时间计算部件28所计算的值来识别当前日期和时间。
在示例性系统操作I的情况下,速度检测部件17检测到的移动速度和位置检测部件12检测到的当前位置信息被定期地或者在预定时间经由通信部件26发送到服务器装置70。
在示例性系统操作II的情况下,当图像/音频数据和附加数据被发送到服务器装置70时,该附加数据包括速度检测部件17检测到的速度信息(指示当通过成像获得发送的图像数据时用户的移动速度)、位置检测部件12检测到的位置信息(指示当通过成像获得发送的图像数据时用户的位置)、以及日期/时间计算部件28获得的日期/时间信息(指示当通过成像获得发送的图像数据时的日期和时间)。
成像/显示装置1能够在显示部件2上显示地图图像。为了显示地图图像,成像/显示装置1还包括地图数据库29。在存储部件25例如由HDD等形成的情况下,地图数据库29可以存储在HDD等的部分区域中。
地图数据库29是包含用于在所谓的导航系统中显示地图的信息、用于生成与位置信息相对应的地图图像的信息、诸如地点名之类的附加信息、搜索信息等的数据库。
系统控制器10能够利用地图数据库29执行搜索并显示适当的地图的过程。
下面将参考图5描述成像装置30的结构。注意,在图5中,在图4中具有对应部分的组件与它们在图4中的对应部分被分派以相同的标号,并且将省略其描述。图5中所示的成像装置30与图4中所示的成像/显示装置1的不同之处在于成像装置30不包括用于输出图像的显示部件2、用于输出音频的音频输出部件5或用于显示地图的地图数据库29。
也就是说,在成像装置30如图2所示被用户佩戴或者如上所述被放置在各种可移动体上的同时,成像装置30能够利用成像部件3进行成像,并经由通信部件26将拾取的图像数据发送到外部设备或者将拾取的图像数据记录在存储部件25中。
系统控制器10控制成像操作、通信操作、记录操作等。
注意,在成像装置30被安装在诸如汽车、轨道车辆、船只或飞行器之类的可移动体上的情况下,安装在可移动体中的速度检测机构可以被用作速度检测部件17。
下面将参考图6描述显示装置40的示例性结构。注意,在图6中,在图4中具有对应部分的组件与它们在图4中的对应部分被指派给相同的标号,并且将省略其描述。图6中所示的显示装置40与图4中所示的成像/显示装置1的不同之处在于显示装置40不包括用于成像的成像部件3或用于音频输入的音频输入部件6。另外,显示装置40不具有帮助成像的照明部件4或照明控制部件14。另外,显示装置40不一定配备有速度检测部件17。
因为显示装置40被设计为不向服务器装置70发送图像/音频数据,所以显示装置40不一定配备有用于生成要发送到服务器装置70的位置信息或日期/时间信息的位置检测部件12或日期/时间计算部件28。
当然,系统控制器10不是一定具有执行控制向服务器装置70的图像/音频数据的发送的过程的能力。
显示装置40是被用户以图2B所示的方式佩戴、或者被用户携带、或者被用户安装在房间、汽车等中的设备。显示装置40经由通信部件26接收从外部设备(服务器装置70)发送来的图像/音频数据。然后,显示装置40经由显示部件2和音频输出部件5输出所接收的图像/音频数据,或者将所接收的图像/音频数据记录在存储部件25中。
系统控制器10控制通信操作、显示操作、音频输出操作、记录操作等。
在显示装置被固定地安装在房间等当中的情况下,通信部件26可以被配置为经由有线连接执行网络通信。
图2A中所示的成像装置30和图2B中所示的显示装置40可以被同一用户使用,如图3中所示的用户F,以使得成像装置30和显示装置40组合起来实现类似于成像/显示装置1的功能。
在这种情况下,成像装置30和显示装置40可以具有如图7所示的配置。
在图7的示例性配置中,成像装置30与图4中所示的成像/显示装置1具有基本相同的结构,除了成像装置30不具有显示部件2而是具有发送部件27以外。
发送部件27将提供自图像处理部件15的图像数据编码为要进行显示以用于监视的图像数据,以使得该图像数据可以被发送到显示装置40。然后,发送部件27将编码后的图像数据发送到显示装置40。
显示装置40包括接收部件41、显示控制部件42和显示部件2。
接收部件41与成像装置30中的发送部件27执行数据通信。接收部件41接收从成像装置30发送来的图像数据,并对所接收的图像数据进行解码。
由接收部件41解码的图像数据被提供到显示控制部件42。显示控制部件42执行用于呈现关于图像数据的显示的信号处理、屏幕分割、字符合成等以生成用于显示的图像信号,并将所生成的图像信号提供给显示部件2,显示部件2具有诸如液晶显示器之类的显示面板部件2a。
根据用于显示的图像信号,显示部件2利用预定的水平/垂直驱动时序对显示面板部件2a中呈矩阵形式布置的像素施加基于视频信号的驱动信号以进行显示。
当成像装置30和显示装置40具有以上配置时,佩戴成像装置30和显示装置40的用户(如同图3中的用户F)能够以与使用成像/显示装置1类似的方式使用这两个装置。
下面将参考图8描述服务器装置70的示例性结构。
服务器装置70包括服务器控制部件72、网络存储部件71、通信部件73、照相机位置/速度管理部件74和地图数据库75。
网络存储部件71例如由HDD等形成,并且被用于缓冲或存储图像数据和音频数据或者用于存储各种类型的信息。在示例性系统操作II的情况下,下面描述的速度图像数据库被存储在网络存储部件71中。如下参考图12所述,速度图像数据库是累积有经由网络60从成像装置30或成像/显示装置1接收的图像/音频数据和附加数据的数据库。
通信部件73经由网络60与成像/显示装置1、成像装置30和显示装置40中的每一个的通信部件26进行数据通信。
服务器控制部件72执行服务器装置70所必需的操作控制。具体而言,服务器控制部件72控制在成像/显示装置1、成像装置30和显示装置40之间进行的通信操作、将图像/音频数据存储在网络存储部件71中的过程、搜索过程等。
照相机位置/速度管理部件74和地图数据库75是当实现下面描述的示例性系统操作I时需要的组件。照相机位置/速度管理部件74执行诸如成像/显示装置1或成像装置30(即,成像/显示装置1或成像装置30被安装在其上的可移动体的成像/显示装置1或成像装置30)的当前位置和速度的管理和搜索之类的过程。具体而言,照相机位置/速度管理部件74利用例如下面描述的如图10所示的照相机位置/速度管理表来管理从成像/显示装置1和成像装置30定期发送的速度信息和位置信息。另外,照相机位置/速度管理部件74能够通过将其与存储在地图数据库75中的地图信息相比较来实现对成像/显示装置1和成像装置30的当前位置的更详细的管理。
尽管上面已描述了成像/显示装置1、成像装置30、显示装置40和服务器装置70的结构,但是应当意识到这些结构中的每一个仅仅是示例。当然,根据要实现的实际系统操作或功能,可以有多种方式实现(一个或多个)组件的添加或省略。应当意识到,成像装置30、成像/显示装置1和显示装置40的适当的结构取决于成像装置30或成像/显示装置1被安装(放置)在其上的可移动体的类型或者取决于显示装置40的形式(例如,表状、便携型、固定型等)。
[4.示例性的系统操作I]
下文中将描述根据本实施例的示例性的系统操作。
在下面的描述中将使用“装置A”和“装置B”的称谓。
称谓“装置A”指如图3所示的成像/显示装置1或显示装置40。称谓“装置B”指如图3所示的成像/显示装置1或成像装置30。
换句话说,“装置A”指被用户用来接收并显示来自服务器装置70的、在另一可移动体处拍摄的图像的设备,并且对应于权利要求中所记载的“显示装置”。
另一方面,“装置B”指向服务器装置70发送图像并且如前所述被人、动物、车辆或其他可移动体佩戴或者安装在人、动物、车辆或其它可移动体上的设备,并且对应于权利要求中所记载的“成像装置”。
下面将参考图9和10描述示例性的系统操作I。
在示例性的系统操作I中,由装置B(即,成像装置30或成像/显示装置1)拍摄的图像的图像数据经由服务器装置70被实时传送到装置A(即,显示装置40或成像/显示装置1)。
在这种情况下,服务器装置70使用照相机位置/速度管理部件74来一直识别每个装置B(即,装置B被安装在其上的每个可移动体)的移动速度和当前位置。因而,当从装置A接受到速度指定信息和位置指定信息时,服务器装置70能够基于速度指定信息和位置指定信息识别期望的装置B。服务器装置70请求所识别的装置B发送图像数据。在由装置B拍摄的图像的图像数据的发送开始之后,服务器装置70将图像数据转发到装置A。装置A从服务器装置70接收图像数据并显示所接收的图像数据。结果,装置A的用户能够看见由在指定位置处以指定速度移动的装置B拍摄的当前场景的显示图像。
图9图示了由装置A(即,成像/显示装置1或显示装置40)的系统控制器10执行的处理过程、由服务器装置70的服务器控制部件72执行的处理过程以及由装置B(即,成像/显示装置1或成像装置30)的系统控制器10执行的处理过程。
首先,在步骤F100,在装置A的一部分上,利用地图图像执行位置指定过程和速度指定过程。
例如,首先,装置A的系统控制器10利用地图数据库29中的数据来在显示部件2上显示地图,作为位置指定的准备。根据用户操作,装置A的系统控制器10还执行对地图上特定区域的搜索、滚动等等。因而,用户能够在显示部件2上查看特定区域的地图图像。
例如,当用户已指定了地点名称或尺度或者已完成滚动时,系统控制器10改变显示的区域或尺度以使某一区域的地图图像被显示,例如图14A所示。
系统控制器10使得指针PT被显示在地图图像上,如图14B所示,并且允许指针PT根据用户操作在地图图像上移动。即,通过将指针PT移动到地图图像上的期望位置并执行预定操作,用户能够指定地图图像上的特定位置。
注意,指针PT的使用不是必需的。例如,显示部件2可以被配置为接受触摸面板操作,以使得用户可以通过利用手指触摸地图图像上的期望位置来指定该位置。
响应于用户以这种方式执行指定地图图像上的某一点的操作,系统控制器10生成位置指定信息。位置指定信息包括地图图像上由用户指定的点的纬度和经度值。
另外,根据用户输入,装置A的系统控制器10生成速度指定信息。例如,系统控制器10使得如图14C所示的速度选择屏幕被显示在显示部件2上。因而,例如,用户被允许选择:零速度(即,不移动速度);6km/h或更低的速度,这是人正常行走的速度;6和30km/h之间的速度范围,这是人正常跑步或自行车正常行进的速度;30和50km/h之间的速度范围,这是汽车等正常行进的速度;等等。例如,系统控制器10使得光标K被显示以便能够选择任何选项,并且允许光标K根据用户操作移动。用户通过执行移动光标K以便选择期望速度的操作和确定选择的操作来选择他或她期望的速度。自然,显示部件2可以被配置为接受触摸面板操作以使得用户可以通过利用手指触摸期望选项(速度)来选择他或她期望的选项(速度)。
响应于用户选择并确定他或她的期望速度的操作,系统控制器10设置速度指定信息。
注意,供用户选择的选项并不必需按以上示例中准备。例如,系统控制器10可以使得如图14D所示的输入框W被显示在显示部件2上,以便用户可以输入用于指定速度的数值。
还要注意,指定的速度不一定是特定数值。例如,可以准备容易辨别的描述性选项,例如“正常行走速度”、“正常自行车速度”、“正常汽车速度”和“正常火车速度”,以供用户选择。
响应于用户以上述方式输入特定速度或速度范围的操作,系统控制器10设置该特定速度或速度范围作为速度指定信息。
在步骤F100处生成了位置指定信息和速度指定信息之后,装置A的系统控制器10在步骤F101访问服务器装置70。换句话说,装置A的系统控制器10建立与服务器装置70的通信连接。此时,装置A的系统控制器10向服务器装置70发送图像请求的信息、速度指定信息和位置指定信息。
在步骤F300,服务器装置70的服务器控制部件72建立与装置A的通信连接,并接受图像请求、速度指定信息和位置指定信息。
然后,在步骤F301,服务器控制部件72搜索当前位于由位置指定信息指示的指定位置的附近并且以由速度指定信息指示的速度移动(或者以接近该速度的速度移动)的装置B(成像/显示装置1或成像装置30)。
注意,为了易于该搜索,已假定作为潜在图像源的所有成像/显示装置1和成像装置30都恒定地或定期地向服务器装置70发送它们自身的当前位置信息(即,它们的当前位置的纬度和经度)和当前速度信息。
在服务器装置70中,照相机位置/速度管理部件74针对成像/显示装置1和成像装置30中的每一个管理当前位置信息和当前速度信息以便与照相机ID相关联。
例如,照相机位置/速度管理部件74包括如图10所示的照相机位置/速度管理表。照相机位置/速度管理表是其中存储有当前位置信息(CP1、CP2...)和当前速度信息(CV1、CV2...)以便与照相机ID(CM001、CM002...)相关联的表。
每次在从成像/显示装置1和成像装置30接收到当前位置信息和当前速度信息时,与发送所接收的当前位置信息和当前速度信息的成像/显示装置1或成像装置30的照相机ID相关联的当前位置信息和当前速度信息就在照相机位置/速度管理表中被更新。这使得可以辨别成像/显示装置1和成像装置30中的每一个(即,所有潜在图像源)的当前位置和速度。
例如,假定其照相机ID是“CM001”的装置B定期地向服务器装置70发送当前位置信息和当前速度信息,则与“CM001”相关联的当前位置信息CP1和当前速度信息CV1就在照相机位置/速度管理表中被定期更新。
在步骤F301,服务器控制部件72使得照相机位置/速度管理部件74搜索当前位于其纬度和经度被包括在位置指定信息中的位置附近并且以由速度指定信息指示的速度移动的成像/显示装置1或成像装置30,并且识别作为当前期望的装置B的一个成像/显示装置1或成像装置30。
如果基于速度指定信息和位置指定信息某一个成像/显示装置1或成像装置30被识别为当前期望的装置B,则服务器控制部件72在步骤F302请求该装置B建立与装置B的通信连接。然后,服务器控制部件72告知装置B来自装置A的图像请求。
尽管未在图9中示出,但是可能出现这样的情况:没有一个成像/显示装置1或成像装置30当前正位于由位置指定信息指示的位置附近。还可能出现这样的情况:尽管一个或多个成像/显示装置1或成像装置30当前位于由位置指定信息指示的位置附近,但是这些装置中没有一个以由速度指定信息指示的速度移动。
在这样的情形中,服务器控制部件72向装置A告知没有找到与位置指定信息和速度指定信息相匹配的装置B,并且提供图像是不可能的。作为响应,装置A向用户告知提供图像是不可能的,并且完成其处理过程。
另外,可能出现这样的情况:找到多个当前位于由位置指定信息指示的位置附近并且以由速度指定信息指示的速度移动的成像/显示装置1或成像装置30。在这种情况下,在所找到的装置中,可以选择其照相机位置/速度管理表中的信息是最近被更新的装置,或者可以选择响应于步骤F302处的通信请求最先建立与服务器装置70的通信连接的装置。
在步骤F200,作为由服务器装置70执行的步骤F302的过程的结果,已接收到连接请求的装置B的系统控制器10根据连接请求执行建立与服务器装置70的通信连接的过程,并且开始与服务器装置70通信并接受图像请求。
在步骤F201,响应于图像请求,装置B执行发送图像的过程。具体而言,装置B的系统控制器10使得通过成像部件3的成像获得的图像数据和通过音频输入部件6的声音收集获得的音频数据被经由通信部件26发送到服务器装置70。
在步骤F303,服务器装置70将从装置B发送来的图像数据(和音频数据)转发到装置A。
在步骤F102,装置A接收通过服务器装置70从装置B发送来的图像数据(和音频数据),并且显示所接收的图像数据。具体而言,装置A的系统控制器10使得由通信部件26接收并解调的图像数据(和音频数据)被提供给图像处理部件15和音频处理部件16,并且使得图像被显示在显示部件2上且音频经由音频输出部件5输出。
装置A的系统控制器10继续经由显示部件2输出所接收的图像数据(并且经由音频输出部件5输出所接收的音频数据),直到在步骤F103确定图像/音频数据的输出应当终止。同时,装置B继续拍摄图像并发送拍摄的图像的图像数据(和音频数据),直到接收到通信终止请求。
因此,在这一时段期间,装置A的用户能够观看由放置在位于由用户指定的位置附近并且以由用户指定的速度移动的可移动体上的装置B拍摄的场景。
在步骤F103,装置A的系统控制器10确定图像的显示是否应当终止。例如,当用户已经利用操作输入部件11执行了用于终止图像显示的操作时,装置A的系统控制器10确定图像的显示应当终止。另外,当图像数据的接收和显示已经持续了预定时间段时,图像的显示可以自动终止。如果基于用户操作或用于终止的另一条件确定图像的显示应当终止,则控制进行到步骤F104。在步骤F104,装置A的系统控制器10使得通信终止请求被经由通信部件26发送到服务器装置70。
服务器装置70在步骤F303继续转发过程,直到接收到通信终止请求。在接收到通信终止请求后,服务器装置70的服务器控制部件72从步骤F304进行到步骤F305,并将终止通信的指令发送到装置B。
如果装置B的系统控制器10在步骤F202辨别出已接收到终止通信的指令,则其进行到步骤F203。
在步骤F105,装置A的系统控制器10执行终止与服务器装置70的通信连接的过程。在步骤F203,装置B的系统控制器10执行终止与服务器装置70的通信连接的过程。在步骤F306,服务器装置70的服务器控制部件72终止装置A和B与服务器过程之间的通信。结果,该系统操作完成。
根据上述处理过程,通过利用地图图像指定任意位置并指定任意速度,装置A的用户能够利用用户正佩戴或携带的装置A,观看由安装在位于指定位置附近并且以指定速度移动的可移动体上的装置B获得的场景的图像。
装置A的用户可以看见的示例性图像如图15A至15D所示。
参考图15A和15B,如果装置A的用户例如指定地图上某一条路上的一点并且指定某一速度,则用户可以看见从当前正在指定点附近以指定速度移动的汽车等可以观察到的场景的图像。这些图像例如是正由附接到例如汽车的成像装置30拍摄的图像,或者是正由被在指定点附近以指定速度移动(或者在指定速度为零的情况下未移动)的汽车的驾驶者所佩戴的成像装置30或成像/显示装置1拍摄的图像。
参考图15C,如果装置A的用户例如指定地图上某一铁轨上的一点并且指定某一速度,则用户可以看见由装置B拍摄的图像,装置B例如是被放置在当前正在指定点附近行进的轨道车辆上的成像装置30,或者是被轨道车辆的驾驶者佩戴的成像装置30或成像/显示装置1。
参考图15D,如果装置A的用户例如指定地图上某一旅游胜地中的一点并且指定人行走速度,则用户可以看见由装置B拍摄的图像,装置B例如是被当前正在指定点处行走的人佩戴的成像装置30或成像/显示装置1。
如在以上例子中一样,通过指定地图上的一点和移动速度,装置A的用户可以看见由在指定点处以指定速度移动的装置B实际拍摄的图像。
尽管在上述示例性操作中假定地图被显示在装置A的一部分上并且用户指定地图上的某一位置,但是地图的显示对于本发明来说并不是必要的。例如,装置A的用户可以输入特定地名、地址等,以使得所输入的地名、地址等作为位置指定信息被发送到服务器装置70。在这种情况下,服务器装置70可以使用地图数据库75来识别与地名、地址等相对应的位置(例如,其纬度和经度),并且搜索位于所识别的位置附近的装置B。
另外,与特定位置不同的是,可以指定非特定位置。例如,诸如“山地”、“海滩”、“森林”、“海面”、“水下”或“天空”之类的非特定信息可以被用作位置指定信息。在这种情况下,服务器装置70可以搜索位于与该非特定信息相对应的位置处的装置B。
[5.示例性的系统操作II]
下面将描述示例性的系统操作II。在示例性系统操作II中,通过装置B的成像获得的图像数据被累积在服务器装置70中,并且所累积的图像数据被读出并提供给装置A。
在该示例性操作中,通过安装在可移动体上的装置B(即,成像装置30或成像/显示装置1)的成像获得的图像数据与附加数据一同被发送到服务器装置70,附加数据包括指示成像时的移动速度的速度信息和指示成像时的位置的位置信息,并且所发送的图像数据和附加数据被存储在服务器装置70中。因此,在服务器装置70中,通过位于多个场所处的大量装置B中的每一个的成像获得的图像数据与相应的速度信息和位置信息一同被累积。因而,如果在装置A(即,显示装置40或成像/显示装置1)处指定速度和位置并且速度指定信息和位置指定信息被发送到服务器装置70,则服务器装置70能够基于该速度指定信息和位置指定信息搜索适当的图像数据。服务器装置70搜索并读取与速度指定信息和位置指定信息相匹配的图像数据,并将所读取的图像数据发送到装置A。装置A接收并显示图像数据。结果,装置A的用户可以看见由在指定位置处以指定速度移动的装置B拍摄的过去场景的显示图像。
下面将参考图11、12和13描述示例性系统操作II。
图11图示了充当装置A的成像/显示装置1和显示装置40、服务器装置70、以及充当装置B的成像/显示装置1和成像装置30。
充当装置B的成像装置30和成像/显示装置1执行向服务器装置70发送通过成像获得的图像数据(和音频数据)的过程。
例如,充当装置B的成像装置30和成像/显示装置1可以恒定地成像并将所拍摄的图像数据(和音频数据)发送到服务器装置70。在只在指定时刻处才执行成像的情况下,充当装置B的成像装置30和成像/显示装置1可以在每次执行成像时向服务器装置70发送拾取的图像数据(和音频数据)。例如,图像数据的成像和发送可以定期执行。在装置B被用户佩戴的情况下,图像数据的成像和发送可以基于用户操作执行。另外,服务器装置70可以向装置B发送用于成像的请求以及指示指定位置的位置信息。在这种情况下,装置B的系统控制器10可以在系统控制器10已确定装置B的当前位置对应于由位置信息指示的指定位置时自动拍摄图像数据,并向服务器装置70发送通过成像获得的图像数据。
如前所述,充当装置B的成像装置30和成像/显示装置1在向服务器装置70发送图像/音频数据时还发送附加数据。
附加数据包括关于发送的图像/音频数据的图像管理信息、指示在通过成像获得图像数据时的速度的速度信息、指示通过成像获得图像数据的位置的位置信息、以及指示在通过成像获得图像数据时的日期和时间的日期/时间信息。
服务器装置70将从成像/显示装置1和成像装置30中的每一个发送来的图像数据(和音频数据)以及附加数据存储在网络存储部件71内的速度图像数据库中。
即,在经由通信部件73从装置B接收到图像数据(和音频数据)以及附加数据后,服务器控制部件72执行将所接收的数据登记在网络存储部件71内的速度图像数据库中的过程。
图12示意性地图示了记录在速度图像数据库中的内容。
在速度图像数据库中,从充当装置B的成像/显示装置1和成像装置30中的每一个发送来的图像数据被分段并登记为条目#1、#2等等。图像数据的分段可以基于图像数据的大小、重放时间等进行。例如,可以确定最大数据大小、最大重放时间等。在图像数据作为连续视频被从装置B发送的情况下,该连续视频可以在指示通过摄像获得图像数据的位置的位置信息改变的点处被划分为不同条目。图像数据被分段为不同条目的方式可以例如取决于来自装置B的图像数据的发送的形式或发送的持续时间而适当确定,或者可以根据用于速度图像数据库的管理信息的方便性或用于由服务器装置70提供的图像提供服务的方便性而适当确定。
参考图12,在图像数据(和音频数据)VD1、VD2、VD3等被作为条目记录的同时,位置信息P1、P2、P3等,日期/时间信息Date1、Date2、Date3等,图像管理信息C1、C2、C3等,以及速度信息V1、V2、V3等也被记录,以便分别与图像数据VD1、VD2、VD3等相关联。
位置信息、日期/时间信息、图像管理信息和速度信息是与图像数据一同从装置B发送来的附加数据。
例如,关于条目#1,位置信息P1是指示在拍摄图像数据VD1的图像时的位置的位置信息,并且例如是该位置的纬度和经度的信息。
日期/时间信息Date1是指示在拍摄图像数据VD1的图像时的日期和时间(年、月、日、时、分、秒)的信息。
速度信息V1是指示在拍摄图像数据VD1的图像时的移动速度的信息。
图像管理信息C1是图像数据VD1的管理信息,并且例如包括图像类型、数据大小、压缩算法、装置B的标识信息、以及与成像位置有关的信息,例如拍摄图像数据VD1的图像的位置名的信息。注意,与成像位置有关的信息可以基于成像时的当前位置信息从充当装置B的成像/显示装置1或成像装置30中的地图数据库29取得,然后装置B的系统控制器10可以将所取得的与成像位置有关的信息添加到附加数据以发送到服务器装置70。或者,服务器装置70可以基于位置信息P1从地图数据库75取得与成像位置有关的信息。
如上所述,充当装置B的成像/显示装置1和成像装置30中的每一个向服务器装置70发送图像数据和附加数据,如图11所示。结果,在多个场所以多个速度拍摄的图像的图像数据被累积在速度图像数据库中,如图12所示。
作为在服务器装置70中累积在多个场所以多个速度拍摄的图像的结果,服务器装置70变得能够向装置A的用户提供图像提供服务。
下面将描述充当装置A的成像/显示装置1或显示装置40与服务器装置70通信并从服务器装置70获取图像数据以显示所获取的图像数据的示例性操作。换句话说,该示例性操作是装置A的用户享用由服务器装置70提供的图像提供服务的操作。
图13中所示的装置A的过程可以被认为是由成像/显示装置1或显示装置40的系统控制器10执行的控制过程,而服务器装置70的过程可以被认为是由服务器控制部件72执行的控制过程。
首先,在步骤F110,在装置A的一部分上,利用地图图像执行位置指定过程和速度指定过程。
该位置指定过程和速度指定过程类似于在上述的图9中示例性系统操作I中的步骤F100处执行的过程。例如,系统控制器10基于如图14A和14B所示的利用地图图像的用户输入生成位置指定信息,并基于如图14C或14D所示的显示的屏幕的用户输入生成速度指定信息。
在步骤F110处生成了位置指定信息和速度指定信息之后,装置A的系统控制器10在步骤F111访问服务器装置70。换句话说,装置A的系统控制器10建立与服务器装置70的通信连接。此时,装置A的系统控制器10向服务器装置70发送图像请求的信息、位置指定信息和速度指定信息。
在步骤F310,服务器装置70的服务器控制部件72建立与装置A的通信连接,并且接受图像请求、位置指定信息和速度指定信息。
然后,在步骤F311,服务器控制部件72识别要读取的图像数据。具体而言,基于所接收的位置指定信息和速度指定信息,服务器控制部件72搜索网络存储部件71中的速度图像数据库,以提取出其位置信息与位置指定信息相匹配并且其速度信息与速度指定信息相匹配的条目。
然后,服务器控制部件72将所提取的条目的图像数据识别为要读取的图像数据。
注意,位置信息与位置指定信息相匹配的含义并不限于位置信息的纬度和经度与位置指定信息的纬度和经度彼此完全一致,而是可以理解为位置信息的纬度和经度落在可被认为是接近由位置指定信息指示的位置的纬度和经度的预定范围内。该预定范围可以取决于速度指定信息的值而变化。例如,优选地,该预定范围随着指定的速度变大而变宽。
还要注意,速度信息与速度指定信息相匹配的含义不限于速度信息的值与由速度指定信息指示的速度值相互一致或者落在由速度指定信息指示的速度值的范围内,而是可以理解为速度信息的值落入可被认为靠近所述速度值的预定范围内或者落入由速度指定信息指示的速度值的范围内。
还要注意,可能找到多个与位置指定信息和速度指定信息相匹配的条目。在这种情况下,可以参考日期/时间信息,以使得其日期/时间信息指示最近的日期和时间的条目的图像数据被选为要读取的图像数据。或者,所有与位置指定信息和速度指定信息相匹配的条目都可以被确定为顺序读取。
还要注意,可能找不到任何一个与位置指定信息和速度指定信息相匹配的条目。这例如发生在装置B没有上载到在由位置指定信息指示的位置处或者在该位置附近拍摄的图像的图像数据时,或者发生在尽管某些上载的图像数据与位置指定信息相匹配但是这些图像数据都不与速度指定信息相匹配时。
尽管未在图13中示出,但是在这样的情形中,服务器控制部件72向装置A告知没有找到与位置指定信息和速度指定信息相匹配的图像数据,因此,提供图像是不可能的。作为响应,装置A向用户告知提供图像是不可能的,并且完成其过程。
在搜索了速度图像数据库并识别了要读取的条目(即,图像数据)之后,服务器控制部件72在步骤F312使得被识别为要读取的图像的图像数据被从网络存储部件71读取,并且使得所读取的图像数据和音频数据经由通信部件73被发送到装置A。
在步骤F112,装置A接收并显示从服务器装置70发送来的图像数据。即,装置A的系统控制器10使得由通信部件26接收并解调的图像数据(和音频数据)被提供给图像处理部件15和音频处理部件16,并且使得图像数据被显示在显示部件2上,音频数据经由音频输出部件5输出。
在步骤F113,装置A的系统控制器10监视通信终止请求是否已从服务器装置70发送。
在步骤F114,装置A的系统控制器10确定图像的显示是否应当终止。例如,当用户已经利用操作输入部件11执行了用于终止图像显示的操作时,装置A的系统控制器10确定图像的显示应当终止。另外,当图像数据的接收和显示已持续了预定时间段时,图像的显示可以自动终止。
装置A的系统控制器10继续显示在步骤F112接收的图像数据(并且输出音频数据),直到在步骤F113确定已接收到通信终止请求或者在步骤F114确定图像的显示应当终止为止。
在步骤F313,服务器装置70监视要读取的条目的图像数据的读取是否已完成。在步骤F314,服务器装置70监视是否已从装置A接收到通信终止请求。服务器装置70继续读取并发送图像数据(和音频数据),直到在步骤F313确定图像数据的读取已完成或者在步骤F314确定已接收到通信终止请求为止。
因此,在这一时段期间,装置A的用户能够观看由装置B在过去拍摄的实际场景的图像,装置B位于由用户利用地图图像指定的位置处或者在该位置附近,并且正以指定速度移动。
如果在步骤F114基于用户操作或用于终止的另一条件确定图像的显示应当终止,则装置A的系统控制器10进行到步骤F115,并且使得通信终止请求经由通信部件26被发送到服务器装置70,然后进行到步骤F116。在接收到通信终止请求后,服务器装置70从步骤F314进行到F316。
如果确定要读取的条目的读取和发送已完成,则服务器控制部件72从步骤F313进行到F315,并且使得通信终止请求经由通信部件73被发送到装置A。在接收到通信终止请求后,装置A的系统控制器10从步骤F113进行到F116。
然后,在步骤F116,装置A的系统控制器10执行终止与服务器装置70的通信连接的过程。在步骤F316,服务器装置70的服务器控制部件72终止与装置A的通信连接以及用于装置A的服务器过程。因而,系统操作完成。
根据上述过程,通过利用地图图像任意指定某一位置并且指定任意速度,装置A的用户能够利用用户佩戴或携带的装置A观看由位于指定位置附近并且以指定速度移动的装置B拍摄的场景的图像。
参考图15A和15B,如果装置A的用户例如指定地图上某一条路上的一点并且指定某一速度,则用户可以看见从正在指定点处以指定速度在过去移动的汽车等观察到的场景的图像。这些图像例如是由附接到例如汽车的成像装置30拍摄的图像,或者是由被在指定点附近以指定速度移动(或者在指定速度为零的情况下未移动)的汽车的驾驶者所佩戴的成像装置30或成像/显示装置1拍摄的图像。
参考图15C,如果装置A的用户例如指定地图上某一铁轨上的一点并且指定某一速度,则用户可以看见由装置B拍摄的图像,装置B例如是附接到在指定点处在过去行进的轨道车辆的成像装置30,或者是被轨道车辆的驾驶者佩戴的成像装置30或成像/显示装置1。
参考图15D,如果装置A的用户例如指定地图上某一旅游胜地中的一点并且指定人行走速度,则用户可以看见由装置B拍摄的图像,装置B例如是被在过去在指定点处行走的人佩戴的成像装置30或成像/显示装置1。
如在以上例子中一样,通过指定地图上的一点并指定移动速度,装置A的用户可以看见实际由在过去在指定点处以指定速度移动的装置B拍摄的图像。
尽管在前面的描述中假定装置A的用户指定位置和速度,但是用户可以被允许在图13中的步骤F110另外指定日期和时间。
如上所述,在步骤F110,系统控制器10根据用户在地图图像被显示的同时指定位置的操作来生成位置指定信息,并要求用户利用菜单或者通过输入数值来输入速度,并且根据输入的速度生成速度指定信息。此时,系统控制器10可以额外要求用户例如利用菜单或者通过输入数值来指定并输入日期和时间。
例如,用户可以被允许指定并输入特定的年、月和日、特定时间等,或者指定并输入某一日期范围(例如,从某月某日到某月某日)或某一时间范围(例如,从某一时到另一时)。另外,用户可以被允许选择基于所输入的日期和时间的搜索条件。这种搜索条件的示例包括“包括指定的日期/时间”、“在指定的日期/时间里”、“在指定的日期/时间之前”以及“在指定的日期/时间之后”。然后,系统控制器10设置指定的日期/时间或者指定日期/时间和搜索条件的组合,作为日期/时间指定信息。
在这种情况下,当在步骤F111访问服务器装置70时,装置A的系统控制器10发送日期/时间指定信息以及位置指定信息和速度指定信息。在步骤F310,服务器控制部件72接受日期/时间指定信息以及位置指定信息和速度指定信息。
然后,在步骤F311,服务器控制部件72利用位置指定信息、速度指定信息和日期/时间指定信息搜索速度图像数据库。
具体而言,服务器控制部件72提取出其速度图像数据库中的位置信息和速度信息分别与位置指定信息和速度指定信息相匹配的条目,并进一步从其提取出其速度图像数据库中的日期/时间信息与日期/时间指定信息相匹配的条目。
通过以上述方式进行搜索,服务器控制部件72提取出与由用户指定的速度、位置和成像日期/时间相匹配的条目,并将该条目的图像数据识别为要读取的图像。
如上所述,通过指定日期/时间,装置A的用户能够选择性地观看在指定日期/时间拍摄的图像。
例如,装置A的用户能够从在某一场所以某一移动速度拍摄的场景中,任意选择并观看在某一时段内拍摄的场景、在近来拍摄的场景、在某一时刻之前拍摄的场景、在特定日拍摄的场景、在特定时刻拍摄的场景、在夜间拍摄的场景,等等。
因而,用户能够观看在任意场所以任意移动速度拍摄的更广范围的场景。
[6.实施例的效果、示例性的变型和示例性的扩展]
上面已经描述了本发明的实施例。与装置A相对应的成像/显示装置1或显示装置40的用户能够通过指定速度和位置而看见实际由处于与指定位置和速度相匹配的情形的成像装置30拍摄的图像。因而,实现了满足用户的多种需要的系统和装置。这些需要的示例包括希望观看并享受当在某一场所以某一速度行进时可以看见的场景、以及希望知道在这种情形下观察到的场景。
人们实际可能体验的场景将取决于移动速度而给出极为不同的印象。因此,指定速度并且体验当以指定速度行进时可以观察到的场景的能力可以给予用户一个享受非常愉快的场景图像的机会,或者用户可以发现作为有用信息的图像。
另外,通过指定例如180km/h或更高的移动速度,用户能够观看诸如汽车赛或自行车赛之类的赛车运动。
另外,当本发明被应用于车载导航系统时,用户能够预先看见在任意位置处的场景,就好像用户是在该位置附近实际驾驶汽车的同时看见该场景一样。这对于用户的向导来说非常有用。
移动速度一般会产生波动,并且可能例如在交通灯前变为零。因此,不仅可以使用瞬时速度,还可以使用各种类型的速度,例如某一时间段内的平均速度、所谓的标准速度以及最大速度。例如,由服务器装置70管理的装置B的速度信息可以是瞬时速度、平均速度、标准速度、最大速度等中的一种。或者,装置B的瞬时速度、平均速度、标准速度、最大速度等中的两种或更多种可以由服务器装置70管理。另外,由装置A的用户指定的速度可以是瞬时速度、平均速度、标准速度、最大速度中的任何一种。
另外,指定位置并且看见在指定位置处拍摄的图像的能力允许用户知道例如作为指定位置的境况的其地理特征、附近建筑物或天然物的风景、道路的宽度或小路的数目、取决于日期和时间而变化的状态等等。因而,当本发明被应用于所谓的导航系统时,可以提供广泛的信息提供服务。
另外,指定位置的能力在用户希望检查特定区域中的当前或过去场景时是有用的。例如,在示例性系统操作I中,用户可以指定路上的某一点以看见指定点附近发生的拥塞的当前情景,并因而详细辨别出拥塞的实际状态,或者看见事件发生的某一场所附近的拥塞情景并因而检查拥塞。当用户希望检查拥塞时,用户可以例如选择1km/h或更小的移动速度或10km/h或更小的移动速度以获得期望场景。
另外,通过看见示出某一旅游胜地的当前情形的实际场景,用户能够检查天气状况、秋天的叶子颜色变了多少,等等。另外,根据示例性系统操作II,用户能够检查指定场所的过去场景。
如参考示例性系统操作II所描述的,用户可以使用日期/时间指定信息来选择要提供的图像数据。因而,用户能够通过指定不同的日期/时间信息来观看不同的图像。
例如,用户能够指定并观看在过去移动的同时可以观察到的场景的图像、在某一时间之前在某一场所处已经拍摄的图像。
由于充当装置B的成像/显示装置1或成像装置30可以被放置在包括人在内的可移动体上,因此不需要提供诸如所谓的固定照相机之类的固定设备。
被放置在可移动体上的成像/显示装置1或成像装置30在多个场所处行进的同时自然地拍摄图像。因此,在示例性系统操作II中,很容易收集在多个场所处实际拍摄的图像并且丰富在速度图像数据库中登记的图像。
尽管上面描述了根据本发明的图像显示系统、显示装置和显示方法的实施例,但是应当意识到,本发明并不限于上述实施例,而是有多种变型和扩展。
充当装置A的成像/显示装置1和显示装置40有多种可能的结构和处理过程,装置A对应于根据本发明的显示装置。另外,充当装置B的成像/显示装置1和成像装置30有多种可能的结构和处理过程,装置B对应于权利要求中所记载的成像装置。另外,服务器装置70有多种可能的结构和处理过程。
在示例性系统操作I和II中假定装置A的用户指定速度和位置,并且与速度指定信息和位置指定信息相对应的图像数据被提供给装置A。然而,其中装置A的用户只指定速度的过程也是适用的。
具体而言,在这种情况下,只有速度指定信息被发送到服务器装置70作为用于选择要提供的图像的条件。在示例性系统操作I的情况下,服务器装置70的照相机位置/速度管理部件74至少管理大量装置B的当前速度,并且在服务器装置70中,选择其当前速度与速度指定信息相匹配的装置B。然后,图像数据被从所选的装置B传送到装置A。
同时,在示例性系统操作II的情况下,服务器装置70当搜索速度图像数据库以找到期望的图像数据时只使用速度指定信息,并且向装置A发送与速度指定信息相匹配的图像数据。
也就是说,在这种情况下,装置A的用户可以观看由被放置在正以(或者过去以)指定速度移动的可移动体上的装置B拍摄的图像。
类似地,其中装置A的用户指定速度和日期/时间并且与速度指定信息和日期/时间指定信息相匹配的图像数据被提供给装置A的过程也是可能的。
另外,例如,不仅可以进行正常的成像,还可以进行多种成像操作以在装置B中获得图像,以使得所得到的图像数据被发送到服务器装置70。另外,对于多种成像操作的请求可以被从装置A或服务器装置70发送到装置B。这多种成像操作的示例包括:远距离成像;广角成像;涉及在远距离极限和广角极限之间的范围内的放大或缩小变焦的成像;用于放大图像的成像;用于缩小图像的成像;具有变化的帧频的成像(例如,具有高帧频的成像、具有低帧频的成像,等等);具有增大的亮度的成像;具有减小的亮度的成像;具有变化的对比度的成像;具有变化的尖锐度的成像;具有增大的成像灵敏度的成像;具有增大的红外成像灵敏度的成像;具有增大的紫外成像灵敏度的成像;具有特定波长范围截止的成像;涉及图像效果的应用的成像,例如对拾取的图像数据进行镶嵌、亮度反转过程、软聚焦过程、高亮显示图像的一部分或者改变图像的整个颜色氛围;以及频闪成像。
另外,在示例性系统操作II中,服务器装置70可以生成看起来是由以指定速度移动的装置B拍摄的伪图像,并向装置A发送伪图像。
例如,假定指示100km/h的移动速度的速度指定信息被从装置A发送,并且在速度图像数据库中存在以50km/h的速度拍摄的图像的图像数据。在这种情况下,服务器装置70可以将该图像数据发送到装置A,以使得图像数据将以两倍速度被重放。以这种方式,看起来以100km/h拍摄的伪图像可以被提供给装置A的用户。
另外,在装置A中,从服务器装置70发送来的图像数据可以被存储在存储部件25中。系统控制器10将所接收的图像数据存储在存储部件25中以便与速度信息(例如,在图9的步骤F100或图13的步骤F110设置的速度指定信息)相关联。当然,存储在存储部件25中的所接收的图像数据也可以与位置信息相关联。
结果,用户可以通过在任何后续时刻指定速度来重放存储在存储部件25中的图像数据。
另外,装置A的用户可以被允许从某一点起指定移动方向。
在这种情况下,在装置B中,位置检测部件12也检测移动方向,并且移动方向与速度信息一同被发送到服务器装置70。
因而,通过指定移动方向作为附加的搜索条件,装置A的用户能够请求服务器装置70选择由以指定速度在指定移动方向上移动的装置B拍摄的图像的图像数据。
例如,在沿南北方向的某一条路上看见的场景将取决于对场景成像的装置B是向北移动还是向南移动而有所不同。当装置A的用户指定移动方向作为附加的搜索条件时,与用户指定的移动方向相匹配的图像数据将被取得并提供给装置A。
在上述实施例中,用户利用地图图像指定位置。地图图像的示例不仅包括示出地面上的道路、地理特征、建筑物、天然物等的“地图”的图像,还包括可以用于指定特定位置的多种图的图像,例如海图、水下地形图、航空图和空间图。
也就是说,尽管在上述实施例中假定用户利用地面地图指定位置,但是海图、水下地形图、航空图和空间图等也可以用于指定某一位置。
例如,在示例性系统操作II的情况下,服务器装置70可以将在船只、潜水艇、航空器、卫星等上拍摄的图像的图像数据与它们的速度信息、位置信息等一同登记在速度图像数据库中。在这种情况下,服务器装置70能够基于由用户利用海图、水下地形图、航空图和空间图等指定的位置搜索适当的图像,并将找到的图像提供给装置A。应当意识到,关于水下、空中、太空中等的位置的位置信息不仅可包括纬度和经度的信息,还可包括高度或深度的信息。
在示例性系统操作I的情况下,作为用户例如利用海图指定位置并且指定速度的结果,可以选择安装在正在与指定位置相对应的海域内以与指定速度相对应的速度行进的船只上的装置B,以使得由所选的装置B拍摄的图像的图像数据被发送到装置A。类似地,用户可以例如利用空间图指定卫星的轨道上的某一位置并且指定速度,以观看在指定位置处或在指定位置附近以指定速度移动的卫星拍摄的图像。
在上述实施例中已假定图像数据和音频数据被从装置B经由服务器装置70提供到装置A。然而,注意,在本发明的另一个实施例中可以只提供图像数据。
还要注意,本发明可以被应用于只处理音频数据的系统。
本发明包含与2006年12月7日向日本专利局提交的日本专利申请JP 2006-330833有关的主题,该申请的全部内容通过引用结合于此。

Claims (18)

1.一种图像显示系统,包括:
显示装置;
被放置在可移动体上用于成像的成像装置;以及
服务器装置,其中
所述显示装置和所述成像装置的每一个都能够与所述服务器装置通信,
所述成像装置包括:
成像部件,被配置为拍摄图像以获得图像数据,
速度检测部件,被配置为检测所述可移动体的移动速度并且生成指示所检测的移动速度的速度信息,以及
控制部件,被配置为执行发送控制过程,使得由所述成像部件获得的图像数据和由所述速度检测部件生成的速度信息被发送到所述服务器装置,
所述服务器装置包括:
可移动体速度管理部件,被配置为利用从所述成像装置发送来的速度信息管理上面放置有所述成像装置的可移动体的移动速度,以及
控制部件,被配置为执行照相机识别过程和传送控制过程,所述照相机识别过程基于从所述显示装置发送来的速度指定信息检查由所述可移动体速度管理部件管理的可移动体的移动速度并识别与所述速度指定信息相匹配的成像装置,所述传送控制过程使得图像数据被从所识别的成像装置发送到所述显示装置,并且
所述显示装置包括:
显示部件,被配置为执行图像显示,以及
控制部件,被配置为执行速度指定过程、图像请求发送过程和显示过程,所述速度指定过程基于用户输入设置所述速度指定信息,所述图像请求发送过程向所述服务器装置发送所述速度指定信息以发出对图像数据的请求,所述显示过程接收响应于所述图像请求发送过程而从所述服务器装置发送来的图像数据并使得所述显示部件基于所接收的图像数据执行显示操作。
2.如权利要求1所述的图像显示系统,其中
所述成像装置还包括:
位置检测部件,被配置为检测位置信息,并且作为所述发送控制过程,所述成像装置的控制部件另外还执行使得由所述位置检测部件检测到的位置信息被发送到所述服务器装置的过程,
所述服务器装置的可移动体速度管理部件利用从所述成像装置发送来的速度信息和位置信息管理上面放置有所述成像装置的可移动体的移动速度和位置,
所述显示装置的控制部件执行设置用于指定位置的位置指定信息的位置指定过程,并且在所述图像请求发送过程中,向所述服务器装置发送所述速度指定信息和所述位置指定信息,并且
在所述照相机识别过程中,所述服务器装置的控制部件基于从所述显示装置发送来的速度指定信息和位置指定信息识别所述成像装置。
3.如权利要求1所述的图像显示系统,其中所述可移动体是人、非人类动物、在地面上行进的设备、在海面上行进的设备、在海面下行进的设备、在空气中行进的设备以及在地球大气层外行进的设备中的一种。
4.一种图像显示系统,包括:
显示装置;
被放置在可移动体上用于成像的成像装置;以及
服务器装置,其中
所述显示装置和所述成像装置的每一个都能够与所述服务器装置通信,
所述成像装置包括
成像部件,被配置为拍摄图像以获得图像数据,
速度检测部件,被配置为检测所述可移动体的移动速度并且生成指示所检测的移动速度的速度信息,以及
控制部件,被配置为执行发送控制过程,使得由所述成像部件获得的图像数据和至少包括在通过成像获得图像数据时由所述速度检测部件生成的速度信息的附加数据被发送到所述服务器装置,
所述服务器装置包括:
存储部件,被配置为存储从所述成像装置发送来的图像数据和附加数据,以及
控制部件,被配置为执行搜索/发送控制过程,该过程基于从所述显示装置发送来的速度指定信息搜索存储在所述存储部件中的图像数据,并且使得找到的图像数据被从所述存储部件读出并被发送到所述显示装置,
并且
所述显示装置包括:
显示部件,被配置为执行图像显示,以及
控制部件,被配置为执行速度指定过程、图像请求发送过程和显示过程,所述速度指定过程基于用户输入设置所述速度指定信息,所述图像请求发送过程向所述服务器装置发送所述速度指定信息以发出对图像数据的请求,所述显示过程接收响应于所述图像请求发送过程而从所述服务器装置发送来的图像数据并使得所述显示部件基于所接收的图像数据执行显示操作。
5.如权利要求4所述的图像显示系统,其中
所述成像装置还包括:
位置检测部件,被配置为检测位置信息,并且所述成像装置的控制部件允许所述附加数据包括当通过成像获得所述图像数据时由所述位置检测部件检测到的位置信息,
所述显示装置的控制部件执行设置用于指定位置的位置指定信息的位置指定过程,并且在所述图像请求发送过程中,向所述服务器装置发送所述速度指定信息和所述位置指定信息,并且
在所述搜索/发送控制过程中,所述服务器装置的控制部件利用从所述显示装置发送来的速度指定信息和位置指定信息搜索存储在所述存储部件中的图像数据。
6.如权利要求4所述的图像显示系统,其中
所述成像装置还包括:
日期/时间检测部件,被配置为检测当前日期和时间并且生成指示所检测的当前日期和时间的日期/时间信息,并且所述成像装置的控制部件允许所述附加数据包括当拍摄所述图像数据时由所述日期/时间检测部件生成的日期/时间信息,
所述显示装置的控制部件执行设置用于指定日期和时间的日期/时间指定信息的日期/时间指定过程,并且在所述图像请求发送过程中,向所述服务器装置发送所述速度指定信息和所述日期/时间指定信息,并且
在所述搜索/发送控制过程中,所述服务器装置的控制部件利用从所述显示装置发送来的速度指定信息和日期/时间指定信息搜索存储在所述存储部件中的图像数据。
7.如权利要求4所述的图像显示系统,其中所述可移动体是人、非人类动物、在地面上行进的设备、在海面上行进的设备、在海面下行进的设备、在空气中行进的设备以及在地球大气层外行进的设备中的一种。
8.一种显示装置,包括:
显示部件,被配置为执行图像显示;
通信部件,被配置为与外部服务器装置之间进行数据通信;以及
控制部件,被配置为执行速度指定过程、图像请求发送过程和显示过程,所述速度指定过程基于用户输入设置速度指定信息,所述图像请求发送过程经由所述通信部件向所述服务器装置发送所述速度指定信息以发出对图像数据的请求,所述显示过程使得所述通信部件接收响应于所述图像请求发送过程而从所述服务器装置发送来的图像数据并且使得所述显示部件基于所接收的图像数据执行显示操作。
9.如权利要求8所述的显示装置,其中所述控制部件还执行设置位置指定信息的位置指定过程,并且在所述图像请求发送过程中,执行向所述服务器装置发送所述速度指定信息和所述位置指定信息的过程。
10.如权利要求8所述的显示装置,其中所述控制部件还执行使得所述显示部件显示地图图像的地图显示过程和基于对所述地图图像的用户输入设置位置指定信息的位置指定过程,并且在所述图像请求发送过程中,执行向所述服务器装置发送所述速度指定信息和所述位置指定信息的过程。
11.如权利要求10所述的显示装置,其中由所述控制部件在所述位置指定过程中设置的位置指定信息是对所述地图图像指定的点的纬度和经度的信息。
12.如权利要求8所述的显示装置,其中所述控制部件还执行设置用于指定日期和时间的日期/时间指定信息的日期/时间指定过程,并且在所述图像请求发送过程中,执行向所述服务器装置发送所述速度指定信息和所述日期/时间指定信息的过程。
13.如权利要求8所述的显示装置,其中所述显示部件被配置为设在用户眼睛前方进行图像显示。
14.如权利要求8所述的显示装置,还包括:
成像部件,被配置为拍摄图像以获得图像数据;以及
速度检测部件,被配置为检测移动速度并且生成指示所检测的移动速度的速度信息,其中
所述控制部件能够执行发送控制过程,使得由所述成像部件获得的图像数据和由所述速度检测部件生成的速度信息经由所述通信部件被发送到所述服务器装置。
15.一种显示方法,包括以下步骤:
基于用户输入设置速度指定信息;
向外部服务器装置发送所述速度指定信息以发出对图像数据的请求;以及
接收响应于所述请求而从所述服务器装置发送来的图像数据,并且基于所接收的图像数据执行显示。
16.如权利要求15所述的显示方法,还包括以下步骤:
在成像装置上设置位置指定信息,其中
在所述发送步骤中,执行向所述服务器装置发送所述速度指定信息和所述位置指定信息的过程。
17.如权利要求16所述的显示方法,还包括以下步骤:
显示地图图像,其中
在所述设置位置指定信息的步骤中,所述位置指定信息是基于对所述地图图像的用户输入而设置的。
18.如权利要求15所述的显示方法,还包括以下步骤:
设置用于指定日期和时间的日期/时间指定信息,其中
在所述发送步骤中,执行向所述服务器装置发送所述速度指定信息和所述日期/时间指定信息的过程。
CN2007101989251A 2006-12-07 2007-12-07 图像显示系统、显示装置和显示方法 Expired - Fee Related CN101207804B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006-330833 2006-12-07
JP2006330833A JP4961984B2 (ja) 2006-12-07 2006-12-07 画像表示システム、表示装置、表示方法
JP2006330833 2006-12-07

Publications (2)

Publication Number Publication Date
CN101207804A true CN101207804A (zh) 2008-06-25
CN101207804B CN101207804B (zh) 2011-01-26

Family

ID=39535257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101989251A Expired - Fee Related CN101207804B (zh) 2006-12-07 2007-12-07 图像显示系统、显示装置和显示方法

Country Status (5)

Country Link
US (2) US7876374B2 (zh)
EP (2) EP1956600B1 (zh)
JP (1) JP4961984B2 (zh)
KR (1) KR101422839B1 (zh)
CN (1) CN101207804B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826212B (zh) * 2009-03-02 2012-09-19 深圳富泰宏精密工业有限公司 Gps照片合成系统及方法
CN103217791A (zh) * 2012-01-18 2013-07-24 索尼公司 头戴式显示器
CN103647944A (zh) * 2013-11-30 2014-03-19 山东信通电器有限公司 基于lte网络的多模工业智能穿戴装置
CN107402577A (zh) * 2016-05-20 2017-11-28 Lg电子株式会社 无人机及其控制方法
CN110910814A (zh) * 2018-08-28 2020-03-24 杭州海康威视数字技术股份有限公司 Led模组校正方法、装置、led显示屏及存储介质

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5023663B2 (ja) * 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
JP5176311B2 (ja) * 2006-12-07 2013-04-03 ソニー株式会社 画像表示システム、表示装置、表示方法
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
JP4840395B2 (ja) 2008-04-18 2011-12-21 ソニー株式会社 情報処理装置、プログラム、情報処理方法、および情報処理システム
JP5002060B2 (ja) * 2008-11-17 2012-08-15 パナソニック株式会社 無線通信装置及び無線通信方法
JP2010139578A (ja) * 2008-12-10 2010-06-24 Brother Ind Ltd ヘッドマウントディスプレイ
US8362973B2 (en) * 2009-05-19 2013-01-29 Honeywell International Inc. Systems, apparatus and fast methods for aligning images to external markers in near-to-eye display systems
JP2011075848A (ja) * 2009-09-30 2011-04-14 Tokyo Metropolitan Government 情報表示システム
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9759917B2 (en) * 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
JP2012048659A (ja) * 2010-08-30 2012-03-08 Canon Inc 画像処理装置、画像処理方法
PT105469A (pt) 2011-01-04 2012-11-19 Marta Isabel Santos Paiva Ferraz Da Conceicao Fato interativo para videojogos em que se usam sensores eletrónicos e objetos físicos
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US9176652B1 (en) * 2011-07-20 2015-11-03 Google Inc. Method and system for dynamically defining scroll-wheel functionality on a touchpad
JP5860634B2 (ja) * 2011-08-23 2016-02-16 任天堂株式会社 情報処理システム、情報処理方法、サーバプログラム、サーバ装置、および、サーバシステム
EP2753074A4 (en) * 2011-08-29 2015-08-05 PICTURE DISPLAY DEVICE AND METHOD, PICTURE GENERATING DEVICE AND METHOD AND PROGRAM
US9690100B1 (en) * 2011-09-22 2017-06-27 Sprint Communications Company L.P. Wireless communication system with a liquid crystal display embedded in an optical lens
JP2013168065A (ja) 2012-02-16 2013-08-29 Sony Corp 情報処理装置、端末装置、情報処理方法、及び状況表示方法
JP5774195B2 (ja) * 2012-03-07 2015-09-09 三菱電機株式会社 ナビゲーション装置
US9152226B2 (en) * 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
JP2014045438A (ja) * 2012-08-28 2014-03-13 Nec Corp 遠隔作業支援システム、遠隔作業支援方法および遠隔作業支援プログラム
RU2646360C2 (ru) 2012-11-13 2018-03-02 Сони Корпорейшн Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа
JP2014165706A (ja) * 2013-02-26 2014-09-08 Sony Corp 信号処理装置および記憶媒体
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US9317114B2 (en) 2013-05-07 2016-04-19 Korea Advanced Institute Of Science And Technology Display property determination
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US9714832B2 (en) * 2014-03-13 2017-07-25 Google Inc. Varying map information density based on the speed of the vehicle
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
US11402635B1 (en) * 2018-05-24 2022-08-02 Facebook Technologies, Llc Systems and methods for measuring visual refractive error
KR20210145485A (ko) * 2020-05-25 2021-12-02 (주)이머시브캐스트 인카 클라우드 vr 장치 및 방법
US20220309754A1 (en) * 2020-07-21 2022-09-29 Sony Group Corporation Information processing device, information processing method, and program

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07199048A (ja) * 1993-12-28 1995-08-04 Fuji Photo Optical Co Ltd 被写体の速度記録機能付カメラ
JP3793773B2 (ja) 1994-06-20 2006-07-05 株式会社東芝 無線通信方法、無線通信基地局および無線端末
US6181371B1 (en) * 1995-05-30 2001-01-30 Francis J Maguire, Jr. Apparatus for inducing attitudinal head movements for passive virtual reality
JPH0965188A (ja) 1995-08-24 1997-03-07 Matsushita Electric Ind Co Ltd ビデオカメラ
JP3570163B2 (ja) 1996-07-03 2004-09-29 株式会社日立製作所 動作及び行動の認識方法及び装置及びシステム
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JPH10304351A (ja) * 1997-02-25 1998-11-13 Masanobu Kujirada 動物移動映像等提供システム
EP1027627B1 (en) * 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
JPH11164186A (ja) * 1997-11-27 1999-06-18 Fuji Photo Film Co Ltd 画像記録装置
EP1064783B1 (en) 1998-03-25 2003-06-04 W. Stephen G. Mann Wearable camera system with viewfinder means
US7084903B2 (en) * 1998-05-18 2006-08-01 International Business Machines Corporation Image capturing system and method for automatically watermarking recorded parameters for providing digital image verification
US7076737B2 (en) * 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US20060074546A1 (en) * 1999-04-19 2006-04-06 Dekock Bruce W System for providing traffic information
US6466862B1 (en) * 1999-04-19 2002-10-15 Bruce DeKock System for providing traffic information
WO2001043104A1 (en) 1999-12-10 2001-06-14 David Sitrick Methodology, apparatus, and system for electronic visualization of traffic conditions
JP2001183735A (ja) * 1999-12-27 2001-07-06 Fuji Photo Film Co Ltd 撮像装置および方法
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
JP2002169809A (ja) 2000-12-01 2002-06-14 Minolta Co Ltd 画像管理装置、画像管理方法及び記録媒体
KR20020069382A (ko) * 2001-02-26 2002-09-04 학교법인 한양학원 바이오피드백 센서가 부착된 가상 현실 영상 제시 장치
EP1744286A3 (en) 2001-03-28 2008-11-05 FUJIFILM Corporation Work data collection method
TWI256250B (en) 2001-05-10 2006-06-01 Ibm System and method for enhancing recorded radio or television programs with information on the world wide web
TWI220036B (en) 2001-05-10 2004-08-01 Ibm System and method for enhancing broadcast or recorded radio or television programs with information on the world wide web
TW540235B (en) 2001-05-10 2003-07-01 Ibm System and method for enhancing broadcast programs with information on the world wide web
JP3887798B2 (ja) 2001-09-14 2007-02-28 日本光電工業株式会社 生体情報表示方法及び生体情報表示装置
US20030117505A1 (en) * 2001-12-20 2003-06-26 Sasaki Gary David Intermediate memory for a digital camera
EP1324274A3 (en) 2001-12-28 2005-11-02 Matsushita Electric Industrial Co., Ltd. Vehicle information recording system
JP4174244B2 (ja) * 2002-06-20 2008-10-29 キヤノン株式会社 画像撮影装置及びその制御方法
JP2004049309A (ja) 2002-07-16 2004-02-19 National Trust:Kk 被看護・被介護者の監視システム
US20040033058A1 (en) 2002-08-14 2004-02-19 Sid Reich Recording device that stores buffered digital signals to memory flashcards
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
US7233684B2 (en) 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
JP2004194996A (ja) 2002-12-19 2004-07-15 Fukuda Denshi Co Ltd 生体情報表示装置
US20040174443A1 (en) * 2003-03-07 2004-09-09 Simske Steven J. System and method for storing of records in a database
GB2403366B (en) 2003-06-27 2007-12-27 Hewlett Packard Development Co Camera mounting and image capture
JP2005051654A (ja) 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
JP4200370B2 (ja) 2003-08-12 2008-12-24 ソニー株式会社 記録装置、記録再生装置、再生装置、記録方法、記録再生方法および再生方法
CN100482149C (zh) 2003-08-19 2009-04-29 索尼株式会社 图像显示系统、图像显示装置及图像显示方法
JP3931889B2 (ja) * 2003-08-19 2007-06-20 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法
JP3968522B2 (ja) * 2003-10-06 2007-08-29 ソニー株式会社 記録装置、及び記録方法
JP2005124909A (ja) 2003-10-24 2005-05-19 Sony Corp 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
JP2005141281A (ja) 2003-11-04 2005-06-02 Victor Co Of Japan Ltd コンテンツ検索システム
JP2005172851A (ja) 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP4407284B2 (ja) 2004-01-06 2010-02-03 カシオ計算機株式会社 耳装着型電子機器、移動履歴表示装置
US8886298B2 (en) 2004-03-01 2014-11-11 Microsoft Corporation Recall device
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP2005250977A (ja) 2004-03-05 2005-09-15 Nikon Corp 撮影装置、画像再生装置、画像鑑賞室、データ蓄積/解析装置、銀塩カメラ、スキャナ
JP2005260892A (ja) 2004-03-15 2005-09-22 Nec Corp 心象風景記録機
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
JP2005318973A (ja) 2004-05-07 2005-11-17 Sony Corp 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
JP4459717B2 (ja) 2004-05-26 2010-04-28 富士フイルム株式会社 地図更新システム
JP2006020237A (ja) * 2004-07-05 2006-01-19 Sony Ericsson Mobilecommunications Japan Inc 画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置
JP3873994B2 (ja) * 2004-07-14 2007-01-31 コニカミノルタフォトイメージング株式会社 撮像装置、及び画像取得方法
JP3931895B2 (ja) 2004-07-29 2007-06-20 株式会社デンソー 生体情報表示装置
JP2006065368A (ja) * 2004-08-24 2006-03-09 Sony Corp 画像表示装置,画像表示方法,およびコンピュータプログラム
JP2006080644A (ja) 2004-09-07 2006-03-23 Toshiba Tec Corp カメラ
JP4352332B2 (ja) 2004-09-16 2009-10-28 富士フイルム株式会社 画像採点方法及び画像採点システム
JP2006087829A (ja) 2004-09-27 2006-04-06 Matsushita Electric Works Ltd 生体情報表示装置
JP2006126891A (ja) 2004-10-26 2006-05-18 Sony Corp 生体情報登録方法、生体情報を利用する情報提供システム、端末及びサーバ
JP2006146630A (ja) 2004-11-22 2006-06-08 Sony Corp コンテンツ選択再生装置、コンテンツ選択再生方法、コンテンツ配信システムおよびコンテンツ検索システム
US20060115130A1 (en) * 2004-11-29 2006-06-01 Douglas Kozlay Eyewear with biometrics to protect displayed data
JP2006172146A (ja) 2004-12-16 2006-06-29 Sharp Corp データ管理機能を有する機器、及び、データ管理プログラム
JP4926400B2 (ja) * 2004-12-27 2012-05-09 京セラ株式会社 移動カメラシステム
JP2006279859A (ja) 2005-03-30 2006-10-12 Hitachi Ltd 移動体移動実態情報提供システム、位置情報収集装置、カーナビ装置および移動体移動実態情報提供方法
JP4975272B2 (ja) * 2005-05-30 2012-07-11 京セラ株式会社 ユーザ端末
JP2007041964A (ja) 2005-08-04 2007-02-15 Matsushita Electric Ind Co Ltd 画像処理装置
JP4659569B2 (ja) 2005-09-13 2011-03-30 キヤノン株式会社 撮像装置
JP2007011391A (ja) 2006-07-18 2007-01-18 National Institute Of Information & Communication Technology 主観的地図作成システム
JP5023663B2 (ja) * 2006-11-07 2012-09-12 ソニー株式会社 撮像装置、撮像方法
JP5092357B2 (ja) * 2006-11-07 2012-12-05 ソニー株式会社 撮像表示装置、撮像表示方法
JP5074752B2 (ja) * 2006-12-07 2012-11-14 キヤノン株式会社 画像要求方法
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
FR2918104B1 (fr) * 2007-06-27 2009-10-09 Snecma Sa Dispositif de refroidissement des alveoles d'un disque de rotor de turbomachine a double alimentation en air.
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826212B (zh) * 2009-03-02 2012-09-19 深圳富泰宏精密工业有限公司 Gps照片合成系统及方法
CN103217791A (zh) * 2012-01-18 2013-07-24 索尼公司 头戴式显示器
CN103647944A (zh) * 2013-11-30 2014-03-19 山东信通电器有限公司 基于lte网络的多模工业智能穿戴装置
CN107402577A (zh) * 2016-05-20 2017-11-28 Lg电子株式会社 无人机及其控制方法
CN110910814A (zh) * 2018-08-28 2020-03-24 杭州海康威视数字技术股份有限公司 Led模组校正方法、装置、led显示屏及存储介质

Also Published As

Publication number Publication date
KR101422839B1 (ko) 2014-07-24
US8009219B2 (en) 2011-08-30
JP4961984B2 (ja) 2012-06-27
KR20080052475A (ko) 2008-06-11
US7876374B2 (en) 2011-01-25
US20080259199A1 (en) 2008-10-23
EP1956600B1 (en) 2017-05-03
US20100220037A1 (en) 2010-09-02
JP2008147865A (ja) 2008-06-26
EP3203474A1 (en) 2017-08-09
CN101207804B (zh) 2011-01-26
EP1956600A1 (en) 2008-08-13

Similar Documents

Publication Publication Date Title
CN101207804B (zh) 图像显示系统、显示装置和显示方法
US10187612B2 (en) Display apparatus for displaying image data received from an image pickup apparatus attached to a moving body specified by specification information
US8949324B2 (en) Image display system, display apparatus, and display method
CN101512632B (zh) 显示设备和显示方法
CN101542584A (zh) 显示设备、显示方法
CN101641718A (zh) 图像处理装置、图像处理方法和图像处理系统
JP6390992B1 (ja) ストリートビューワーシステム
JP5630513B2 (ja) 表示装置、表示方法、画像表示システム
JP2018206396A (ja) ストリートビューワーシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110126

Termination date: 20191207