CN103248790B - 服务器、客户终端以及系统 - Google Patents

服务器、客户终端以及系统 Download PDF

Info

Publication number
CN103248790B
CN103248790B CN201310040719.3A CN201310040719A CN103248790B CN 103248790 B CN103248790 B CN 103248790B CN 201310040719 A CN201310040719 A CN 201310040719A CN 103248790 B CN103248790 B CN 103248790B
Authority
CN
China
Prior art keywords
client terminal
information
jump
zoom operation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310040719.3A
Other languages
English (en)
Other versions
CN103248790A (zh
Inventor
中村隆俊
佐古耀郎
佐古耀一郎
竹原充
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103248790A publication Critical patent/CN103248790A/zh
Application granted granted Critical
Publication of CN103248790B publication Critical patent/CN103248790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了服务器、客户终端、系统和程序。该服务器包括接收单元和检索单元,该接收单元配置为从客户终端接收指示客户终端的位置的位置信息和指示客户终端所指的方向的方向信息,该检索单元配置为检索具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在所述方向信息指示的方向上存在的目标物体的相对位置。

Description

服务器、客户终端以及系统
技术领域
本公开涉及服务器、客户终端、系统和程序。
背景技术
近来,将对象图像作为数字图像信号存储和保存在储存介质中的数字摄像机已广泛使用。这些数字摄像机在图像显示在取景器上时记录和保存图像。
另一方面,在JP206-260338A中,提出了能够获得特定目标图像的过去或未来图像的数字摄像机。具体而言,当用户指定了过去日期时,JP2006-260338A中描述的数字摄像机上载所指定的日期、数字摄像机的位置信息等到服务器且从服务器获取对应的过去图像。当按下快门按钮时,数字摄像机显示所获取的过去图像。
发明内容
因此,上述JP2006-260338A中描述的数字摄像机显示当前看到的景观的过去/未来图像,由此使用户能体验虚拟时间旅行。
另一方面,一般当在数字摄像机中进行变焦操作时,可以根据望远镜功能就像接近远处的景观那样进行显示,但是难以显示光学不可见的景观,诸如在对象的相对侧的景观。然而,迷路或者正在寻找附近商店的用户想要跳过眼前的诸如建筑物之类的障碍(对象)看到另一侧的街道。
期望提供一种新颖且改善的服务器、客户终端、系统和程序,其能够呈现在客户终端所指的方向上在目标物体的相对侧的景观。
根据本公开一实施例,提供一种服务器,包括:接收单元,配置为从客户终端接收指示客户终端的位置的位置信息和指示客户终端所指的方向的方向信息;以及检索单元,配置为检索具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在方向信息所指示的方向上存在的目标物体的相对位置。
根据本公开一实施例,提供一种客户终端,包括:发送单元,配置为向服务器发送指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及接收单元,配置为从服务器接收具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在所述方向信息指示的方向上存在的目标物体的相对位置。
根据本公开一实施例,提供一种系统,包括:获取单元,配置为获取指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及检索单元,配置为检索具有如下位置信息的图像数据,所述如下位置信息指示相对于由所述位置信息指示的客户终端位置,隔着在所述方向信息指示的所述客户终端所指的方向上存在的目标物体的相对位置。
根据本公开一实施例,提供一种其上记录有程序的记录介质,该程序配置为使计算机执行以下过程:从客户终端接收指示客户终端的位置的位置信息和指示客户终端所指的方向的方向信息;以及检索具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在所述方向信息指示的方向上存在的目标物体的相对位置。
根据本公开一实施例,提供一种其上记录有程序的记录介质,该程序配置为使计算机执行以下过程:向服务器发送指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及从服务器接收具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在所述方向信息指示的方向上存在的目标物体的相对位置。
根据本公开一实施例,提供一种其上记录有程序的记录介质,该程序配置为使计算机执行以下过程:获取指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及检索具有如下位置信息的图像数据,所述如下位置信息指示相对于由所述位置信息指示的客户终端位置,隔着在所述方向信息指示的所述客户终端所指的方向上存在的目标物体的相对位置。
根据上述本公开的实施例,可以呈现在客户终端所指的方向上在目标物体的相对侧的景观。
附图说明
图1是示出根据本公开一实施例的跳跃变焦系统(skip zoom system)的概要的图;
图2是框图,示出根据本公开一实施例的服务器的配置;
图3是示出储存在图像数据库(DB)中的数据的示例的图;
图4是示出与数字摄像机的位置和方向对应的图像数据的检索的图;
图5是框图,示出根据本公开一实施例的数字摄像机的配置;
图6是次序图,示出根据本实施例的显示控制过程;
图7是示出根据本实施例的跳跃变焦的显示例子1的图;
图8是示出根据本实施例的跳跃变焦的显示例子2的图;
图9是示出根据本实施例与数字摄像机的方向对应的图像数据的显示控制的例子的图;
图10是流程图,示出根据本实施例与数字摄像机2的方向变化对应的显示控制过程;
图11是示出根据本公开另一实施例的跳跃变焦系统的图;以及
图12是框图,示出根据本公开另一实施例的服务器的配置。
具体实施方式
下面,将参照附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有基本相同的功能和结构的结构元件用相同的附图标记指示,这些结构元件的重复说明被省略。
此外,将按如下顺序进行描述。
1.根据本公开一实施例的跳跃变焦系统的概要
2.基本配置
2-1.服务器
2-2.数字摄像机
3.显示控制
4.根据另一实施例的跳跃变焦系统
5.总结
<1.根据本公开一实施例的跳跃变焦系统的概要>
首先,将参照图1描述根据本公开一实施例的跳跃变焦系统的概要。如图1所示,根据本公开一实施例的跳跃变焦系统具有服务器1 和数字摄像机2(客户终端)。此外,服务器1和数字摄像机2经由网络3连接。
这里,当普通数字摄像机执行变焦操作时,根据光学改变焦长的望远镜功能,显示逼近对象的图像。然而,在普通望远镜功能中难以显示光学上不可见的景色,诸如在对象相对侧的景色。此外,即使在放大所捕捉的图像的一部分的数字变焦中,也难以重现未原始成像于所捕捉的图像中的在对象相对侧的景色(光学上不可见的景色)。
根据本公开一实施例,根据变焦操作显示带有位置信息的图像数据,该位置信息指示隔着在客户终端所指方向上的目标物体的相对位置。由此,用户可以观看在建筑物相对侧的街道,就像跳过就位于前头的建筑物而移焦到相对侧的街道上一样。
例如,如果当用户在“○○街道”上时数字摄像机2对就位于前头的建筑物进行成像,在显示单元31上显示从用户当前位于的位置观看到的“○○街道”的捕获图像31-1,如图1所示。此外,在数字摄像机 2在显示单元31上显示所捕获的图像31-1的同时,数字摄像机2还检测其自身终端的位置信息和方向信息(例如,成像方向),并且将所检测的位置和方向信息发送到服务器1。
服务器1基于从数字摄像机2接收的位置和方向信息,检索带有指示隔着在成像方向上的建筑物的相对位置的位置信息的图像数据,例如,在建筑物相对侧的“□□街道”的图像数据11。然后,服务器1 将所检索到的图像数据发送到数字摄像机2。
当用户执行跳跃变焦操作时,数字摄像机2在显示单元31上显示从服务器1接收到的沿成像方向在相对侧的□□街道的图像数据I1。由此,当用户迷路或寻找周围商店时,用户可以检查沿数字摄像机2所指方向在建筑物相对侧的景象,而没有实际移动。
上面已经描述了根据本公开一实施例的跳跃变焦系统的概要。下面,将详细描述跳跃变焦系统所包括的服务器1和数字摄像机2(客户终端)的配置。
尽管在图1中数字摄像机2示为客户终端,但是根据本实施例的客户终端不限于此,可以是例如视频摄像机、带摄像机的智能电话、个人数字助理(PDA)、个人计算机(PC)、便携式电话、便携式音乐播放装置、便携式视频处理装置、便携式游戏设备、望远镜或双筒望远镜等。此外,根据本实施例的客户终端不限于带摄像机的装置。例如,能够获得其自身装置的位置信息和/或方向信息的任何装置,诸如带全球定位系统(GPS)或方向传感器的装置,都可以被应用。此外,任何装置,其中可以手工输入其自身装置的位置信息和/或方向信息,即使没有GPS或方向传感器,也可被应用。
<2.基本配置>
[2-1.服务器]
图2是框图,示出根据本公开一实施例的服务器1的配置。如图 2所示,服务器1具有中央处理单元(CPU)10、只读存储器(ROM) 11、随机存取存储器(RAM)12、图像数据库(DB)13、检索单元 14和网络接口(I/F)15。下面将对这些元件进行描述。
(图像DB 13)
图像DB 13储存与诸如位置信息(例如,指示成像点的经度/纬度等)和方向信息(例如,成像方向)等的信息相关联的图像数据。这里,图像DB 13所存储的数据的示例示于图3中。
如图3所示,根据本实施例的图像DB 13以如下状态储存图像数据,在该状态中,图像数据与位置信息P、方向信息D和图像数据I 相关联(在一状态中,位置信息P和方向信息D被添加到图像数据I)。在图3所示的例子中,从位置P1沿方向D1-1捕获的图像数据I1-1、从相位位置P1沿不同方向D1-2捕获的图像数据I1-2等被存储。尽管上面描述了其中位置信息P和方向信息D与图像数据I相关联的例子,但是本实施例不限于此。关于成像点的海拔的信息、成像数据、成像时间带、成像期间的天气等可以与图像数据I相关联。此外,图像DB 13可以储存用于图像数据I的缩略图像。
(检索单元14)
检索单元14基于从数字摄像机2接收到的数字摄像机2的位置信息和方向信息从图像DB 13中储存的图像数据中检索图像数据。这里,将参照图4描述检索单元14的特定检索方向。
图4是示出根据数字摄像机2的位置A和B检索图像数据的图。如图4所示,检索单元14用位置信息在图像DB 13中检索图像数据 I1,该位置信息指示在轴M附近隔着在方向B上的建筑物C的相对位置P1,轴M从所接收的位置信息指示的位置A沿方向信息指示的方向B延伸。
这里,检索单元14可以基于所接收的位置信息和方向信息以及预先存储于ROM 11中的地图信息确定隔着建筑物C的相对位置P1。此外,具有指示隔着建筑物C的相对位置P1的位置信息的图像数据 11例如是通过对与用户当前位于的街道隔着的一条街道的景色进行成像而获得的图像数据。
此外,检索单元14可以在具有指示位置P1的位置信息的图像数据中用方向信息检索图像数据,该方向信息指示与数字摄像机2所指的方向B基本相同的方向。由此,用户可以以更现实的位置关系查看隔着在数字摄像机2所指的方向上的建筑物的相对一侧的景观。
此外,当可以获取成像期间数字摄像机2的关于海拔、仰角、成像日期、成像时间带、成像期间的天气等的信息时,检索单元14可以基于该信息检索与用户捕获图像的当前状况更接近的状况的图像数据。
(网络I/F 15)
网络I/F 15是用于经由网络3发送数据到数字摄像机2和/或从数字摄像机2接收数据的通信模块。例如,根据本实施例的网络I/F 15 接收位置信息和方向信息或发送由检索单元14检索的一个或更多图像数据。
(CPU 10、ROM 11和RAM 12)
ROM 11储存用于使用上述检索单元14检索图像数据或通过网络 I/F 15发送所检索的图像数据给数字摄像机2的软件程序等。CPU 10 利用RAM 12作为工作区域根据储存于ROM 11中的上述软件程序执行一过程。
[2-2.数字摄像机]
接下来,将参照图5描述数字摄像机2的配置。图5是框图,示出根据本实施例的数字摄像机2的配置。
如图5所示,数字摄像机2具有CPU 20、ROM 21、RAM 22、方向传感器23、GPS定位单元24、摄像机模块25、操作检测单元26、捕获图像存储器33、显示控制单元30、显示单元31和网络I/F 32。下面将对这些元件进行描述。
ROM 21储存用于发送位置信息和方向信息给服务器1、获取基于该位置信息和该方向信息从服务器1检索的图像数据、以及显示/记录所获取的图像数据的程序,以及用于执行成像功能的程序。此外,CPU 20利用RAM 22作为工作区域执行储存在ROM 21中的程序。
方向传感器23感测摄像机模块25的透镜光学系统的光轴的方向,即成像方向,并且输出关于所感测的成像方向的信息。尽管这里包括具有摄像机模块25的数字摄像机2作为客户终端的例子,但是根据本实施例的客户终端不限于上述具有摄像机的装置。在客户终端不具有摄像机的情况下,方向传感器23可以输出客户终端的特定部分所指向的方向作为方向信息。
GPS定位单元24接收来自GPS卫星的无线电波,感测数字摄像机2所处的位置,并且输出关于所感测的位置的信息。GPS定位单元 24是位置信息获取单元的例子,位置信息获取单元基于从外界获得的信号感测数字摄像机2的位置。此外,位置信息获取单元可以利用例如无线保真(Wi-Fi)通信、来往于便携式电话的发送/接收、低功率移动电话系统(PHS)或智能电话、或近距离通信等来感测位置。
摄像机模块25包括成像元件、包括成像透镜的成像光学系统和捕获图像信号处理单元,并且输出数字信号的捕获图像数据。成像元件例如通过电荷耦合器件(CCD)成像器或者互补金属氧化物半导体 (CMOS)成像器来实现。
操作检测单元26是触摸面板29等,其检测对按钮、开关、转盘等的物理按键组或者显示在显示单元31上的按键组的操作以用于检测用户的各种操作。CPU 20根据ROM 21的程序执行与操作检测单元26所检测到的用户操作对应的过程。
这里,变焦转盘27、快门按钮28等被包括作为用于操作摄像机的按键组。变焦转盘27是用于检测变焦操作的转盘。根据本实施例的变焦操作的检测不限于图5所示的变焦转盘27。例如,其他物理结构诸如变焦开关、按钮等的操作检测单元可执行该检测。变焦操作屏显示在显示单元31上且对变焦操作屏的操作可以由触摸面板29检测。
显示控制单元30根据CPU 20基于ROM 21的程序的控制来控制显示单元31上显示的显示屏的显示内容的显示。尽管在图1所示的例子中显示控制单元30控制数字摄像机2中设置的显示单元31,但是根据本实施例的显示控制单元30不限于此,还可以控制所连接的外部显示装置中的显示。
此外,根据本实施例的显示控制单元30根据变焦操作控制具有如下位置信息的图像数据被显示,该位置信息指示隔着目标物体的相对位置。此外,根据本实施例的显示控制单元30具有用作组合单元的功能,其组合指示隔着目标物体的相对位置的位置信息被添加到的图像数据和摄像机模块25所捕获的图像,并且根据本实施例的显示控制单元30可以控制所生成的合成图像的显示。如上所述根据本实施例的显示控制单元30的显示控制将在<3.显示控制>中详细描述。
根据显示控制单元30的控制,显示单元31除了显示菜单屏、各种操作屏等之外,还实时显示从摄像机模块25输出的对象的图像,或者显示存储在捕获图像存储器33中的捕获图像。
此外,显示单元31例如由液晶显示器(LCD)、有机发光二极管 (OLED)等实现。此外,根据本实施例的显示单元31显示从服务器 1接收到的远程图像数据。
网络I/F 32是通信模块,用于执行经由网络3来往于服务器1的数据收发。例如,根据本实施例的网络I/F 32发送从GPS定位单元 24输出的位置信息和从方向传感器23输出的方向信息或者接收检索到的图像数据。
作为捕获图像存储器33,例如,闪存诸如卡存储器被使用。此外,捕获图像存储器33可以是诸如数字万用盘(DVD)等的记录介质。此外,代替这种可移除存储介质,捕获图像存储器33可以是硬盘装置。
此外,捕获图像存储器33可以储存根据快门按钮28检测到的快门操作的时序,作为捕获图像从摄像机模块25连续输出的对象图像。在该情况下,捕获图像存储器33可以把从GPS定位单元24输出的位置信息、从方向传感器23输出的方向信息等记录在一起作为元信息。
上面已经详细描述了根据本公开一实施例的数字摄像机2的配置。接下来,将参照图6描述根据本实施例与变焦操作对应的图像数据的显示控制。
<3.显示控制>
图6是次序图,示出根据本实施例的显示控制过程。如图6所示,首先,在步骤S103中,数字摄像机2利用方向传感器23检测方向信息并且利用GPS定位单元24检测位置信息。
然后,在步骤S106,数字摄像机2将位置信息和方向信息发送到服务器1。
接下来,在步骤S109,服务器1的检索单元14基于所接收的位置和方向信息检索具有如下位置信息的图像数据,该位置信息指示隔着在数字摄像机2所指的方向上的目标物体诸如建筑物的相对位置。这里,具有指示隔着目标物体诸如建筑物的相对位置的位置信息的图像数据例如是一街之隔的街道的图像数据。
然后,在步骤S112,服务器1将一个或更多检索到的图像数据发送到数字摄像机2。接下来,在步骤S115,数字摄像机2临时储存(高速缓存)从服务器1接收的一个或更多图像数据。
然后,在步骤S118,数字摄像机2确定是否已经通过操作检测单元26检测到变焦操作(跳跃变焦操作)。这里,跳跃变焦操作可以是即使在变焦比例因子增大到正常变焦成像中的极限之后仍继续进行的变焦操作、跳跃变焦模式中执行的变焦操作、对跳跃变焦屏的操作等。
接下来,当已经检测到变焦操作时(跳跃变焦操作),数字摄像机2的显示控制单元30基于在步骤S121中从服务器1接收到的下一条街道的图像数据执行显示。根据本实施例的跳跃变焦的显示示例将在后面进行描述。
当在没有图像数据的位置处执行变焦操作时,数字摄像机2可以通过执行警告显示来提供指示没有图像数据的通知,且可以预先为用户提供指示没有图像数据的通知。
上面已经详细描述了根据本实施例的跳跃变焦的显示控制过程。接下来,将参照附图具体地描述根据本实施例的跳跃变焦的显示示例。
(跳跃变焦的显示示例)
图7是示出根据本实施例的跳跃变焦的显示示例1的图。图7上侧所示的捕获图像31-1是从摄像机模块25实时输出且显示在显示单元31上的图像。在该情况下,当通过操作检测单元26检测到变焦操作时,显示控制单元30产生合成图像40,其通过组合一街之隔的街道的图像数据I1和捕获图像31-1而获得,如图7下侧所示,并且显示控制单元30控制合成图像40被显示在显示单元31上。
如图7所示,在合成图像40中,在捕获图像31-1中成像的建筑物是透明的,下一条街道的图像数据I1被叠加。此外,显示控制单元 30以建筑物透明时可看到下一条街道的位置、大小等组合下一条街道的图像数据I1。由此,用户可以直观地感受就在前头的目标物体与下一条街道之间的空间距离感。此外,如图7的合成图像40所示,通过显示叠置在捕获图像31-1上的下一小巷41,用户可以更直观地感受空间距离感。
(跳跃变焦的显示示例2)
在上述显示示例1中,尽管通过组合多个图像而获得的合成图像被显示,但是根据本实施例的通过显示控制单元30进行的跳跃变焦的显示示例不限于上述合成图像。例如,显示控制单元30可以仅显示从服务器1接收到的下一条街道的图像数据I1,如显示示例2那样。
这里,仅显示图像数据I1的跳跃变焦显示示例2示于图8中。如图8所示,仅从服务器1接收到的下一条街道的图像数据I1显示在数字摄像机2的显示单元31上。
由此,用户可以观看显示在显示单元31上的图像数据I1,同时用裸眼将图像数据I1与真实世界进行比较。
上面已经描述了根据本实施例的跳跃变焦的多个显示示例。在下一条街道的图像数据I1根据跳跃变焦而显示在显示单元31上的状态中,当用户改变数字摄像机2的方向时,显示控制单元30可以根据数字摄像机2的方向控制图像数据的显示。
(链接到数字摄像机2的方向的显示控制)
这里,将参照图9描述与数字摄像机2的方向对应的图像数据的显示控制的示例。如图9所示,数字摄像机2的显示控制单元30根据方向(方向E、F、G等)显示基本相同方向的建筑物C的相对侧即一街之隔的“□□街道”的图像43、45和47。
更具体而言,数字摄像机2可以通过连续执行图10所示的过程来进行与数字摄像机2的方向对应的显示控制,例如作为基于图6的步骤S121所示的图像数据的显示。这里,图10是流程图,示出根据本实施例与数字摄像机2的方向变化对应的显示控制过程。
在图10的步骤S124中,数字摄像机2显示根据数字摄像机2的位置和方向从服务器1接收到的下一条街道的图像数据。然后,当数字摄像机2的位置和方向信息在步骤S127中被检测时,在步骤S130 中CPU 20确定所检测的位置或方向是否发生变化。
当在上述步骤S130中CPU 20确定数字摄像机2的位置或方向发生变化时,过程返回到步骤S124,显示控制单元30根据改变了的位置或方向显示下一条街道的图像数据。
如上所述,即使当用户已经改变了数字摄像机2的位置或方向时,通过连续执行步骤S124至S130的过程,数字摄像机2也能够执行与改变对应的显示控制。由此,可以为用户提供实时透过地观看下一条街道的景象(建筑物C的相对侧)的感觉。
图9所示的根据数字摄像机2的方向显示的图像43至47可以包括在预先在图6所示的步骤S112中从服务器1接收的下一条街道的多个图像数据中。
此外,当在上述图10所示的步骤S130中确定位置或方向被改变时,图像43至47可以是数字摄像机2根据与上述图6中的步骤S106 至S112基本相同的过程从服务器1接收到的图像数据。
替选地,显示控制单元30可以基于从服务器1接收到的图像数据产生和显示与数字摄像机2的位置和方向对应的图像43至47。
(显示切换控制)
接下来,将描述当根据本实施例的显示控制单元30根据变焦操作将显示目标切换到下一条街道的图像数据I1时的显示控制。当根据变焦操作执行从当前显示在显示单元31上的屏幕到仅图7所示的合成图像40或图8所示的图像数据I1的屏幕的切换时,显示控制单元30可以添加过渡效果,诸如图像数据I1的逐渐放大。此外,显示控制单元 30可以根据跳过的距离(数字摄像机2的位置与由添加到将要切换的图像数据的位置信息所指示的位置之间的距离)改变过渡效果的速度或类型。
<4.根据其他实施例的跳跃变焦系统>
如上所述,在根据本公开一实施例的跳跃变焦系统中,数字摄像机2的显示控制单元30(组合单元)能组合从服务器1接收到的检索图像数据和所捕获的图像(见图7)。然而,根据本实施例的图像数据的组合不限于显示控制单元30执行的过程。例如,如图11所示,组合过程可以在服务器侧进行。
图11是示出根据本公开另一实施例的跳跃变焦系统的图。如图 11所示,数字摄像机2经由网络3向服务器4发送位置信息、方向信息和所捕获的图像。服务器4基于所接收到的位置和方向信息检索下一条街道的图像数据,如上述实施例中那样。
随后,根据本实施例的服务器4将所检索的图像数据与从数字摄像机2接收到的捕获图像相组合并且将所生成的合成图像发送到数字摄像机2。数字摄像机2将所接收的合成图像显示在显示单元31上。
根据以上,在根据本实施例的跳跃变焦系统中,在服务器4一侧,执行组合检索图像数据和捕获图像的过程。这里,根据本实施例的服务器4的配置将参照图12进行描述。
图12是框图,示出根据本实施例的服务器4的配置。如图12所示,根据本实施例的服务器4除了包括根据上述实施例图2所示的服务器1的配置之外,还包括组合单元16。
组合单元16将由检索单元14检索的图像数据与由网络I/F 15从数字摄像机2接收的捕获图像相组合,由检索单元14检索的图像数据具有指示隔着在数字摄像机2所指方向上的目标物体的相对位置的位置信息,并且组合单元16生成合成图像。
因为由组合单元16执行的具体组合过程与上述<3.显示控制>的“跳跃变焦的显示示例1”中描述的数字摄像机2的显示控制单元30 进行的组合过程基本相同,所以这里省略对其的描述。
<5.总结>
如上所述,根据本实施例的跳跃变焦系统根据变焦操作显示具有指示隔着在客户终端所指方向上的目标物体的相对位置的位置信息的图像数据。由此,用户可以具有好像用户跳过就在前头的建筑物等接近(变焦到其上)在相对侧的景观的感觉。此外,因为用户可以观看在建筑物等相对侧的景观例如道路的图像数据,所以当用户迷路或寻找周围商店时,用户可以查看道路的景象而不实际移动。
此外,因为通过显示与数字摄像机2所指方向对应的图像数据,用户可以就像就在前头的建筑物是透明的那样及时查看从当前点不可见的景观,所以用户可以直观地识别空间位置。
本领域技术人员应理解,根据设计要求和其他因素,可以进行各种修改、组合、子组合和变更,只要它们在所附权利要求及其等价物的范围内。
例如,在图6所示的过程中,在步骤S118所示的过程之前,根据步骤S103至S115,数字摄像机2获取基于位置信息和方向信息检索到的图像数据。然而,根据本实施例的过程的顺序不限于此,例如,当在步骤S118中确定了已执行变焦操作时,数字摄像机2根据步骤S103至S115获取基于位置和方向信息检索到的图像数据。
此外,根据本实施例的检索单元14可以检索具有指示隔着在数字摄像机2所指方向上的多个目标物体的相对位置的位置信息的图像数据,诸如两街或更多条街道之隔的街道的图像数据,以及一街之隔的街道的图像数据。在该情况下,数字摄像机2可以根据跳跃变焦操作的操作量来控制一街或更多街道之隔的街道的图像数据被显示。
此外,上述服务器1的检索单元14检索的图像数据不限于静态图像,可以是例如动态图像。此外,根据本实施例的数字摄像机2除了捕获和记录静态图像之外,还可以捕获和记录动态图像。
此外,尽管在上述实施例中数字摄像机2从服务器1获取图像数据,但是根据本实施例的图像数据获取目的地不限于特定服务器。图像数据的获取目的地可以是例如因特网上具有图像DB 13和检索单元 14的功能的未指定的许多服务器或PC。
此外,根据本实施例的客户终端的配置不限于图5所示的例子。例如,除了图5所示的配置之外,根据本实施例的客户终端还可以具有图像DB和检索单元。在该情况下,客户终端可以从本地图像DB 检索图像数据。
此外,本技术还可以如下进行配置。
(1)一种服务器,包括:
接收单元,配置为从客户终端接收指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及
检索单元,配置为检索具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在方向信息所指示的方向上存在的目标物体的相对位置。
(2)根据(1)的服务器,其中该检索单元检索具有如下位置信息和如下方向信息的图像数据,所述如下位置信息指示在沿由所述方向信息指示的方向延伸的轴附近且相对于所述客户终端隔着在所述方向信息指示的方向上存在的目标对象相对的位置,所述如下方向信息与所述方向信息基本相同。
(3)根据(1)或(2)的服务器,还包括:
组合单元,配置为将由所述检索单元检索到的图像数据与由所述客户终端沿所述方向信息指示的方向捕获的图像相组合;以及
发送单元,配置为将通过所述组合单元的组合所获得的合成图像发送到所述客户终端。
(4)根据(3)的服务器,其中该组合单元以如下方式进行所述组合,即,捕获图像中所示的目标物体变得透明到足以看到所检索到的图像数据,所检索到的图像数据是所述目标物体后面的景观。
(5)根据(1)或(2)的服务器,还包括:
发送单元,配置为将由所述检索单元检索到的图像数据发送到所述客户终端。
(6)一种客户终端,包括:
发送单元,配置为向服务器发送指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及
接收单元,配置为从服务器接收具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在所述方向信息指示的方向上存在的目标物体的相对位置。
(7)根据(6)的客户终端,其中该接收单元从服务器接收包括如下位置信息和如下方向信息的图像数据,所述如下位置信息指示在沿由所述方向信息指示的方向延伸的轴附近且相对于所述客户终端隔着在所述方向信息指示的方向上存在的目标对象相对的位置,所述如下方向信息与所述方向信息基本相同。
(8)根据(7)的客户终端,还包括:
组合单元,配置为将通过所述接收单元接收的图像数据与从客户终端的位置沿所述方向信息指示的方向捕获的图像相组合;以及
显示控制单元,配置为控制通过所述组合单元的组合获得的合成图像的显示。
(9)根据(8)的客户终端,其中该组合单元以如下方式执行组合,即,捕获图像中所示的目标物体变得透明到足以使所接收的图像数据被看到,所接收的图像数据是所述目标物体后面的景观。
(10)根据(6)或(7)的客户终端,还包括:
显示控制单元,配置为控制所述接收单元接收到的图像数据的显示。
(11)一种系统,包括:
获取单元,配置为获取指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及
检索单元,配置为检索具有如下位置信息的图像数据,所述如下位置信息指示相对于由所述位置信息指示的客户终端位置,隔着在所述方向信息指示的所述客户终端所指的方向上存在的目标物体的相对位置。
(12)一种记录介质,其记录用于使计算机执行以下过程的程序:
从客户终端接收指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及
检索具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在所述方向信息指示的方向上存在的目标物体的相对位置。
(13)一种记录介质,其记录用于使计算机执行以下过程的程序:
向服务器发送指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及
从服务器接收具有如下位置信息的图像数据,所述如下位置信息指示相对于基于所述位置信息的客户终端位置,隔着在所述方向信息指示的方向上存在的目标物体的相对位置。
(14)一种记录介质,其记录用于使计算机执行以下过程的程序:
获取指示客户终端的位置的位置信息和指示客户终端所指方向的方向信息;以及
检索具有如下位置信息的图像数据,所述如下位置信息指示相对于由所述位置信息指示的客户终端位置,隔着在所述方向信息指示的所述客户终端所指的方向上存在的目标物体的相对位置。
本公开包含与2012年2月8日向日本专利局提交的日本优先权专利申请JP2012-025087中公开的主题相关的主题,该申请的全部内容通过引用合并于此。

Claims (12)

1.一种服务器,包括:
接收单元,配置为从客户终端接收指示该客户终端的位置的第一位置信息、指示该客户终端所指的方向的第一方向信息以及指示是否对所述客户终端执行了跳跃变焦操作的跳跃变焦操作信息,所述跳跃变焦操作是即使在变焦比例因子增大到正常变焦成像中的极限之后仍继续进行的变焦操作;以及
检索单元,配置为在所述跳跃变焦操作信息指示对所述客户终端执行了跳跃变焦操作时,检索既具有第二位置信息又具有第二方向信息的图像数据,所述第二位置信息指示在从由所述第一位置信息指示的位置沿由所述第一方向信息指示的方向延伸的轴附近且相对于所述客户终端隔着在由所述第一方向信息指示的方向上存在的目标物体相对的位置,所述第二方向信息与所述第一方向信息基本相同。
2.根据权利要求1所述的服务器,还包括:
组合单元,配置为将由所述检索单元检索到的图像数据与由所述客户终端沿由所述第一方向信息指示的方向捕获的图像相组合;以及
发送单元,配置为将通过所述组合单元的组合所获得的合成图像发送到所述客户终端。
3.根据权利要求2所述的服务器,其中,该组合单元以如下方式执行所述组合,即,所捕获的图像中所示的目标物体变得透明到足以使所检索到的图像数据被看到,所检索到的图像数据是在所述目标物体后面的景观。
4.根据权利要求1所述的服务器,还包括:
发送单元,配置为将由所述检索单元检索到的图像数据发送到所述客户终端。
5.一种客户终端,包括:
发送单元,配置为向服务器发送指示该客户终端的位置的第一位置信息、指示该客户终端所指的方向的第一方向信息以及指示是否对所述客户终端执行了跳跃变焦操作的跳跃变焦操作信息,所述跳跃变焦操作是即使在变焦比例因子增大到正常变焦成像中的极限之后仍继续进行的变焦操作;以及
接收单元,配置为在所述跳跃变焦操作信息指示对所述客户终端执行了跳跃变焦操作时,从该服务器接收既具有第二位置信息又具有第二方向信息的图像数据,所述第二位置信息指示在从由所述第一位置信息指示的位置沿由所述第一方向信息指示的方向延伸的轴附近且相对于所述客户终端隔着在由所述第一方向信息指示的方向上存在的目标物体相对的位置,所述第二方向信息与所述第一方向信息基本相同。
6.根据权利要求5所述的客户终端,还包括:
组合单元,配置为将通过所述接收单元接收的图像数据与从所述客户终端的位置沿由所述第一方向信息指示的方向捕获的图像相组合;以及
显示控制单元,配置为控制通过所述组合单元的组合获得的合成图像的显示。
7.根据权利要求6所述的客户终端,其中,该组合单元以如下方式执行组合,即,所捕获的图像中显示的目标物体变得透明到足以使所接收的图像数据被看到,所接收的图像数据是在所述目标物体后面的景观。
8.根据权利要求5所述的客户终端,还包括:
显示控制单元,配置为控制所述接收单元接收到的图像数据的显示。
9.一种跳跃变焦系统,包括:
获取单元,配置为获取指示客户终端的位置的第一位置信息、指示该客户终端所指的方向的第一方向信息以及指示是否对所述客户终端执行了跳跃变焦操作的跳跃变焦操作信息,所述跳跃变焦操作是即使在变焦比例因子增大到正常变焦成像中的极限之后仍继续进行的变焦操作;以及
检索单元,配置为在所述跳跃变焦操作信息指示对所述客户终端执行了跳跃变焦操作时,检索既具有第二位置信息又具有第二方向信息的图像数据,所述第二位置信息指示在从由所述第一位置信息指示的位置沿由所述第一方向信息指示的方向延伸的轴附近且相对于所述客户终端隔着在由所述第一方向信息指示的方向上存在的目标物体相对的位置,所述第二方向信息与所述第一方向信息基本相同。
10.一种记录介质,其上记录有程序,该程序配置为使计算机执行以下过程:
从客户终端接收指示该客户终端的位置的第一位置信息、指示该客户终端所指的方向的第一方向信息以及指示是否对所述客户终端执行了跳跃变焦操作的跳跃变焦操作信息,所述跳跃变焦操作是即使在变焦比例因子增大到正常变焦成像中的极限之后仍继续进行的变焦操作;以及
在所述跳跃变焦操作信息指示对所述客户终端执行了跳跃变焦操作时,检索既具有第二位置信息又具有第二方向信息的图像数据,所述第二位置信息指示在从由所述第一位置信息指示的位置沿由所述第一方向信息指示的方向延伸的轴附近且相对于所述客户终端隔着在由所述第一方向信息指示的方向上存在的目标物体相对的位置,所述第二方向信息与所述第一方向信息基本相同。
11.一种记录介质,其上记录有程序,该程序配置为使计算机执行以下过程:
向服务器发送指示客户终端的位置的第一位置信息、指示该客户终端所指的方向的第一方向信息以及指示是否对所述客户终端执行了跳跃变焦操作的跳跃变焦操作信息,所述跳跃变焦操作是即使在变焦比例因子增大到正常变焦成像中的极限之后仍继续进行的变焦操作;以及
在所述跳跃变焦操作信息指示对所述客户终端执行了跳跃变焦操作时,从该服务器接收既具有第二位置信息又具有第二方向信息的图像数据,所述第二位置信息指示在从由所述第一位置信息指示的位置沿由所述第一方向信息指示的方向延伸的轴附近且相对于所述客户终端隔着在由所述第一方向信息指示的方向上存在的目标物体相对的位置,所述第二方向信息与所述第一方向信息基本相同。
12.一种记录介质,其上记录有程序,该程序配置为使计算机执行以下过程:
获取指示客户终端的位置的第一位置信息、指示该客户终端所指的方向的第一方向信息以及指示是否对所述客户终端执行了跳跃变焦操作的跳跃变焦操作信息,所述跳跃变焦操作是即使在变焦比例因子增大到正常变焦成像中的极限之后仍继续进行的变焦操作;以及
在所述跳跃变焦操作信息指示对所述客户终端执行了跳跃变焦操作时,检索既具有第二位置信息又具有第二方向信息的图像数据,所述第二位置信息指示在从由所述第一位置信息指示的位置沿由所述第一方向信息指示的方向延伸的轴附近且相对于所述客户终端隔着在由所述第一方向信息指示的方向上存在的目标物体相对的位置,所述第二方向信息与所述第一方向信息基本相同。
CN201310040719.3A 2012-02-08 2013-02-01 服务器、客户终端以及系统 Active CN103248790B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012025087A JP2013161416A (ja) 2012-02-08 2012-02-08 サーバ、クライアント端末、システム、およびプログラム
JP2012-025087 2012-02-08

Publications (2)

Publication Number Publication Date
CN103248790A CN103248790A (zh) 2013-08-14
CN103248790B true CN103248790B (zh) 2018-09-21

Family

ID=48902504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310040719.3A Active CN103248790B (zh) 2012-02-08 2013-02-01 服务器、客户终端以及系统

Country Status (3)

Country Link
US (2) US9269191B2 (zh)
JP (1) JP2013161416A (zh)
CN (1) CN103248790B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013161416A (ja) 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
JP6227463B2 (ja) * 2014-04-02 2017-11-08 株式会社オプトアランジェ 物体透明化システム及び方法
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US9002647B1 (en) * 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews
CN105258691A (zh) * 2014-07-15 2016-01-20 中兴通讯股份有限公司 自动获取拍摄参数的方法及装置
JPWO2016038964A1 (ja) * 2014-09-08 2017-06-22 ソニー株式会社 情報処理装置及び情報処理方法
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
KR20160056133A (ko) * 2014-11-11 2016-05-19 삼성전자주식회사 이미지 표시 제어 방법 및 이를 지원하는 장치
CN104536990B (zh) * 2014-12-10 2018-03-27 广东欧珀移动通信有限公司 一种图片显示方法及终端
CN105045836B (zh) * 2015-06-30 2019-03-15 百度在线网络技术(北京)有限公司 一种目标物信息的检索方法及装置
EP3131064B1 (en) * 2015-08-13 2017-11-08 Nokia Technologies Oy Searching image content
WO2018051310A1 (en) * 2016-09-19 2018-03-22 Project Ray Ltd. System and method for remotely assisted user-orientation
CN108073724A (zh) * 2018-01-04 2018-05-25 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1902670A (zh) * 2004-07-26 2007-01-24 松下电器产业株式会社 用于显示车辆外部图像的设备
CN1928494A (zh) * 2005-09-07 2007-03-14 株式会社日立制作所 驾驶支援装置
CN101873341A (zh) * 2010-05-17 2010-10-27 孙煜 信息发布方法、虚拟展现方法、系统、终端及服务器
CN102067164A (zh) * 2008-06-20 2011-05-18 雅虎公司 作为导航仪的移动成像设备
CN102142005A (zh) * 2010-01-29 2011-08-03 株式会社泛泰 提供增强现实的系统、终端、服务器及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4366601B2 (ja) 2005-03-18 2009-11-18 ソニー株式会社 タイムシフト画像配信システム、タイムシフト画像配信方法、タイムシフト画像要求装置および画像サーバ
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
KR101295712B1 (ko) * 2010-11-22 2013-08-16 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
JP2013161416A (ja) 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1902670A (zh) * 2004-07-26 2007-01-24 松下电器产业株式会社 用于显示车辆外部图像的设备
CN1928494A (zh) * 2005-09-07 2007-03-14 株式会社日立制作所 驾驶支援装置
CN102067164A (zh) * 2008-06-20 2011-05-18 雅虎公司 作为导航仪的移动成像设备
CN102142005A (zh) * 2010-01-29 2011-08-03 株式会社泛泰 提供增强现实的系统、终端、服务器及方法
EP2355440A1 (en) * 2010-01-29 2011-08-10 Pantech Co., Ltd. System, terminal, server, and method for providing augmented reality
CN101873341A (zh) * 2010-05-17 2010-10-27 孙煜 信息发布方法、虚拟展现方法、系统、终端及服务器

Also Published As

Publication number Publication date
US9269191B2 (en) 2016-02-23
US9721392B2 (en) 2017-08-01
US20130201216A1 (en) 2013-08-08
JP2013161416A (ja) 2013-08-19
US20160171781A1 (en) 2016-06-16
CN103248790A (zh) 2013-08-14

Similar Documents

Publication Publication Date Title
CN103248790B (zh) 服务器、客户终端以及系统
US9836886B2 (en) Client terminal and server to determine an overhead view image
KR101977703B1 (ko) 단말의 촬영 제어 방법 및 그 단말
CN103369234B (zh) 服务器、客户终端和系统
US8756009B2 (en) Portable apparatus
US20090278949A1 (en) Camera system and method for providing information on subjects displayed in a camera viewfinder
KR20110046393A (ko) 촬상 장치, 화상 표시 장치와 전자 카메라
CN104255022B (zh) 为相机添加虚拟变焦能力的服务器、客户终端、系统和可读介质
JP5532026B2 (ja) 表示装置、表示方法及びプログラム
CN106165386A (zh) 用于照片上传和选择的自动化技术
KR102089614B1 (ko) 구면 파노라마 이미지 촬영 방법 및 그 전자 장치
CN109981944A (zh) 电子装置及其控制方法
WO2015159775A1 (ja) 画像処理装置、通信システム及び通信方法並びに撮像装置
JP5007631B2 (ja) 電子カメラ
JP2013021473A (ja) 情報処理装置、情報取得方法およびコンピュータプログラム
EP3786841A1 (en) Output control apparatus, display control system, output control method, and carrier means
JP2015032861A (ja) 画像抽出サーバ、画像抽出装置、及び画像抽出プログラム
JP2002176603A (ja) 対比表示機能を有する光学機器
US10834162B2 (en) Communication management server, communication system, transmitting apparatus, communication method, and program
JP2006350879A (ja) 情報提供システム
KR101605768B1 (ko) 전자지도 정보 처리를 위한 데이터 처리 장치 및 방법
WO2019059114A1 (ja) 撮像装置、撮像装置の画像検索方法及び撮像装置の画像検索プログラム
JP2010112810A (ja) ナビゲーション装置、その方法及びそのプログラム
JP2012095238A (ja) 画像データ取得装置および画像データ取得装置の制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant