具体实施方式
下面,根据附图,使用应用了本发明的由照相机、服务器和便携电话构成的系统来说明优选实施方式。本实施方式的照相机在拍摄图像时,能够指示与展示空间的数据量对应的摄影。并且,在摄影后,能够根据展示空间的数据量对图像的数据量进行调整。这里,能够经由网络等向服务器发送所拍摄的图像,从而能够在虚拟空间中进行展示。
图1是示出本发明的一个实施方式的由照相机、服务器和便携电话构成的系统的结构的框图。照相机10是拍摄被摄体并取得图像的数字照相机。服务器20是提供虚拟空间服务的服务器,在虚拟空间中展示由照相机10拍摄的摄影图像12。可以构成为直接从照相机10向服务器20发送摄影图像,也可以构成为经由便携电话30向服务器20发送由照相机10取得的摄影图像,但是,在本实施方式中,直接向服务器20进行发送。并且,也可以经由个人计算机(PC)等来连接照相机10和服务器20。
便携电话30能够简单地利用与便携电话的网络或因特网协作的服务,并且,能够在显示部31上显示虚拟空间,所以,在本发明中采用便携电话30。当然,由于照相机10和服务器20直接连接,因此也可以利用照相机10的显示部来显示虚拟空间。
照相机10具有:摄影部1、图像记录部2、合成和显示部3、通信部4、图像选择部5、展示信息部6、图像判定部7、数据削减部8以及警告部9。摄影部1包含用于形成被摄体像的光学系统、对被摄体像进行光电转换的摄像元件、对从摄像元件输出的信号进行处理的图像处理部等,摄影部1输出图像数据。图像记录部2记录从摄影部1输出的静态图像的图像数据。
合成和显示部3进行记录在图像记录部2中的图像的再现显示等的显示。并且,合成和显示部3具有对服务器20的虚拟空间内的3D空间的背景和摄影图像进行合成的合成功能,并显示所合成的摄影图像。图像选择部5选择记录在图像记录部2中的图像,将由该图像选择部5选择的图像显示在合成和显示部3上。展示信息部6经由通信部4从服务器20的虚拟空间数据部25取得与展示场所的3D空间有关的数据,并从图像大小信息部24取得与3D空间中的数据量有关的信息,存储这些数据和信息。
图像判定部7输入记录在图像记录部2中的图像数据,并且,从展示信息部6输入与3D空间中的数据量有关的信息,通过对两者进行比较,判定在3D空间中展示图像时图像大小是否合适。在图像判定部7的判定结果为图像大小不合适的情况下,警告部9进行警告。作为警告,在合成和显示部3上与图像一起进行视觉的警告显示,也可以进行基于声音的警告显示等。
数据削减部8具有如下的剪裁功能:在图像的数据量大、不适合于作为3D图像进行嵌入合成的情况下,削减摄影图像的图像数据的数据量。通过增大图像的压缩率、或对像素进行间疏、或进行剪裁等来削减数据量。
通信部4经由网络19(图2)与服务器20的通信和控制部28进行数据通信。作为通信,在无线通信和红外通信等中,通过与网络连接等来进行。另外,在红外通信中,无法直接与网络连接,所以经由便携电话30或PC等外部设备与服务器20进行通信。
便携电话30提供与便携电话的网络或因特网协作的服务。便携电话30具有:显示部31、红外通信部32、显示控制部34、操作部35、以及通信和控制部37。
显示部31除了进行作为便携电话30的通常显示以外,还进行从服务器20发送来的虚拟空间内的虚拟图像的显示,当与摄影图像41a、41b一起在虚拟空间内展示化身45时,能够欣赏该摄影图像41a、41b。红外通信部32与照相机10等的红外通信部进行通信。在照相机10经由便携电话30与服务器20进行通信的情况下,利用该红外通信部32以及通信和控制部37。
通信和控制部37利用便携电话30的通信网与服务器20进行通信,接收从服务器20发送来的虚拟空间的图像数据和各种数据。图像记录部33记录从服务器20发送来的虚拟空间内的图像等。显示控制部34对从服务器20发送来的虚拟空间的3D图像等、记录在图像记录部33中的图像等在显示部31上的显示进行控制。
操作部35兼用作为通常的便携电话30的操作部,能够进行虚拟空间内的化身45的移动操作、用于取得通信的基于文字的会话等各种操作。并且,利用操作部的键盘和文字处理器生成针对在虚拟空间内等展示的图像的标题和注释并发送。
服务器20由图像保存部22、虚拟空间合成显示部23、化身行动限制部23a、图像大小信息部24、虚拟空间数据部25、操作判定部26、通信和控制部28以及图像记录部29构成。通信和控制部28经由网络19与照相机10进行图像和各种数据等的通信。通过该通信和控制部28接收摄影图像。另外,在经由网络等与便携电话30或PC等进行通信时,也通过该通信和控制部28进行通信。图像记录部29记录从照相机10接收到的图像。
图像保存部22将从照相机10发送来的摄影图像与所展示的虚拟空间相关联地保存。保存时,与由用户指定的虚拟空间的区域或服务器20选择的区域相关联地进行保存。虚拟空间数据部25存储用于生成虚拟空间中的3D空间的风景的图像数据。
图像大小信息部24记录有表示能够在虚拟空间内展示的图像大小的图像粗略度信息,经由通信和控制部28向照相机10发送该图像粗略度信息。虚拟空间合成显示部23输入来自虚拟空间数据部25的虚拟空间内的风景的图像数据、来自图像保存部22的摄影图像的图像数据、以及化身45的图像的图像数据,生成并显示对这些图像数据进行合成后的虚拟空间的图像。
化身行动限制部23a防止在虚拟空间内展示的摄影图像的图像数据的图像粗略度变粗、由于化身45接近而使摄影图像放大。操作判定部26判定欣赏虚拟空间的便携电话30等外部设备的操作状态。
这样构成本实施方式的由照相机10等构成的系统。利用图像选择部5选择由照相机10拍摄的图像,在合成和显示部3上进行再现显示,并经由通信部4发送到服务器20,在虚拟空间中进行展示。根据存储在展示信息部6中的信息,能够事先在合成和显示部3上显示虚拟空间中的展示状况。此时,在图像的数据量大、不适合于作为3D图像进行嵌入合成的情况下,通过数据削减部8增大图像的压缩率、或对像素进行间疏、或进行剪裁,来削减摄影图像数据的数据量。
服务器20利用通信和控制部28从照相机10接收摄影图像和注释,将其记录在记录部29中,并与构成虚拟空间的3D图像相关联地存储在图像保存部22中。然后,通过虚拟空间合成显示部23,利用存储在虚拟空间数据部25中的构成虚拟空间的3D的CG(计算机图形)用数据,在该空间中对存储在图像保存部22中的摄影图像进行嵌入合成。合成后的虚拟空间中的图像经由通信部28发送到便携电话30等外部设备,外部设备显示该合成图像。
在操作判定部26中判定来自正在欣赏虚拟空间的用户的操作,根据该操作,虚拟空间数据部25变更虚拟空间内的图像数据,实现在虚拟空间内进行移动的效果。但是,对于虚拟空间,最好将总数据量控制为规定量。即,在展示图像的空间(背景图像)本身的数据量大的情况下,最好在此展示的摄影图像的数据量小,如果背景图像简单,则能够展示数据量大的摄影图像。
在本实施方式中,表示能够展示的图像大小的图像粗略度信息存储在图像大小信息部24中,该图像粗略度信息被发送到照相机10。照相机10接收图像粗略度信息并将其存储在展示信息部6中,在图像判定部7中比较摄影图像的数据量,在数据量大的情况下,向摄影者显示警告。并且,通过压缩或剪裁等削减摄影图像的数据量后,向服务器20发送。
接着,使用图2说明本实施方式的向虚拟空间展示图像的例子。在图2所示的例子中,服务器20的图像记录部29具有用于在虚拟空间内展示图像的数据,能够在展示空间48内展示经由网络19从照相机10发送来的被摄体11的图像12a、12b。
能够在便携电话30的显示部31中欣赏虚拟空间的展示空间48的展示状态。当虚拟空间中整体的数据容量大时,无法真实且响应良好地显示展示空间。因此,尽可能地减少展示空间内的数据容量。
在本实施方式中,如在便携电话30a的显示部31a上显示的展示空间48a那样,在展示了多个摄影图像12b、12c的情况下,最好这些图像12b、12c为简单的数据容量小的图像。并且,如在便携电话30b的显示部31b上显示的展示空间29b那样,在摄影图像12a以外没有图像的情况下,该摄影图像12a能够展示比较复杂的数据容量大的图像。这样,在虚拟空间的展示空间中,存在无法展示许多数据量大的复杂图像的制约。
因此,用户在发送摄影图像12a、12b的情况下,如果不知道存在什么样的制约,则无法得到预想效果的展示。例如,需要认识到无法实现同时观看摄影图像12a、12b的展示方法后进行发送。并且,虚拟空间的展示部不限于如图2所示的展示空间48那样简单的室内。
例如,假设希望在具有图7所示的风景这样的相对静止的背景的展示空间48c内的画布49中展示摄影图像12a、12b的情况。该情况下,由于背景的数据量大,因此难以展示摄影图像12a这种数据量大的图像。另一方面,摄影图像12b这种数据量小的图像即使与背景相结合,也能够将数据量控制得较小,所以能够进行展示。
在本实施方式中,将这种虚拟空间中展示空间的背景的数据量和展示照片的数据量之和控制为规定量,容易地进行3D显示。通过使数据量的总和为规定量以下,能够真实且响应良好地显示展示空间,能够消除欣赏时的紧张状态。这里,虽然表达为规定量,但是,在便携电话等的虚拟空间服务中,数据量之和被控制为8K字节~10K字节。在假设为个人计算机的情况下,进一步假设为高速线路,则也可以是其5倍左右的图像大小。
接着,使用图3所示的流程图说明照相机10的动作。进入照相机控制的流程后,首先,判定照相机10是否被设定为再现模式(S1)。该照相机10能够由摄影者来设定摄影模式和再现模式。在步骤S 1的判定结果为没有选择再现模式的情况下,判定是否设定了摄影模式(S2)。
在步骤S2的判定结果为设定了摄影模式的情况下,进行摄像和显示(S3)。即,在该步骤中,逐次更新由摄影部1取得的被摄体像的图像数据,使用该图像数据在合成和显示部3上进行实时取景显示。接着,判定是否进行展示显示(S4)。在该步骤中,判定摄影者是否通过菜单模式等设定了进行展示用摄影的模式。
在步骤S4的判定结果为不是进行展示显示的摄影的情况下,跳转到步骤S7。另一方面,在进行展示显示的摄影的情况下,判定图像大小是否合适(S5)。通过在图像判定部7中对存储在展示信息部6中的服务器20的图像大小信息和当前所设定的图像大小进行比较,来进行该判定。
在步骤S5的判定结果为图像大小合适的情况下,跳转到步骤S7。另一方面,在该判定结果为图像大小不合适的情况下,进行警告和调整(S6)。通过数据削减部8提高压缩率、或粗化像素数、或进行剪裁以对应于展示场所的背景,由此进行调整。该情况下,比预想的画质差,所以进行警告显示以使用户知道。如图6(b)所示,在照相机10的合成和显示部3上与展示空间110和实时取景显示111邻接地示出警告显示112,由此来进行该警告显示。
接着,判定是否由摄影者操作释放开关而进行了摄影指示(S7)。在判定结果为没有进行摄影指示的情况下,返回步骤S1。另一方面,在进行了摄影指示的情况下,进行摄影(S8)。在摄影动作中,在摄影部1中取得被摄体像的静态图像的图像数据,将该图像数据记录在图像记录部2中。摄影动作结束后返回,返回步骤S1。
在步骤S2的判定结果为没有选择摄影模式的情况下,判定是否要取得3D空间数据(S31)。在该步骤中,在照相机没有从展示摄影图像的服务器20取得服务器20中的展示空间中的图像数据和图像大小信息的情况下,或者,在更新这些信息的情况下,执行“是”的分支。在该步骤S31的判定结果为不取得3D空间数据的情况下返回,再次从步骤S1开始执行。
在步骤S31的判定结果为要从服务器20取得3D空间信息的情况下,访问服务器20,接收这些信息,显示用于展示的虚拟空间(S32)。即,当接收到3D空间数据时,如图6(c)所示,显示展示空间110a、110b。此时,将图像大小信息存储在展示信息部6中。
在步骤S1的判定结果为选择了再现模式的情况下,进行再现显示(S12)。在再现显示中,能够确认并欣赏所拍摄的图像。接着,判定是否进行3D展示确认(S13)。在该步骤中,用户不仅在合成和显示部3的液晶面板上确认所拍摄的图像本身,还确认3D空间中的摄影图像的展示情况。根据设置在照相机10上的操作部件的操作状态,来进行该步骤的判定。
在步骤S13的判定结果为没有进行3D展示确认的情况下,跳转到步骤S16。另一方面,在判定结果为3D展示确认的情况下,确认图像大小(S14),显示符合该图像大小的展示空间的候选(S15)。即,如图6(a)所示,在合成和显示部3上显示能够展示当前所选择的摄影图像12b的展示空间48a、48c。
接着,判定背景是否合适(S16)。在该步骤中,判定摄影者是否喜欢图6(a)的展示空间48a、48c中的背景,根据十字按钮等选择用按钮和OK按钮等操作部件的操作状态来进行判定。在步骤S 16的判定结果为背景不合适的情况下,切换背景(S17)。即,切换为能够展示当前所选择的图像的展示空间的下一候选,返回步骤S14。
在步骤S16的判定结果为背景合适的情况下,接着判定是否切换图像(S18)。在该步骤中,根据操作部件的操作状态,来判定是否虽然用户喜欢背景但是希望变更与背景一起展示的摄影图像。
在步骤S18的判定结果为进行图像切换的情况下,判定切换后的图像的大小是否符合展示空间的图像大小(S19)。在该判定结果为图像大小不合适的情况下,在数据削减部8中进行图像的调整(S20)。即,提高压缩率、或粗化像素数、或进行剪裁来减少图像的数据量,以使成为符合展示空间的图像大小的图像大小,进行大小变更以使摄影图像收纳在展示空间的背景中。即,在便携电话画面上的虚拟空间服务中,包含化身的背景和拍摄并展示的图像的总和为8K~10K字节。在步骤S19的判定为合适的情况下,或者在步骤S20中进行图像的调整后,返回步骤S14。
在步骤S18的判定结果为不进行图像切换的情况下,接着判定是否向3D展示空间发送(S21)。即,判定用户是否为了在服务器20的虚拟空间内展示摄影图像而进行了该摄影图像的发送操作。在该判定结果为不向3D展示空间发送的情况下,返回步骤S1。
在步骤S21的判定结果为向3D展示空间进行了发送指示的情况下,按照候选显示例指示展示(S22)。即,按照在步骤S15中显示的展示空间来指示展示场所。另外,在不进行展示场所的指示的情况下,跳过该步骤。接着,通过网络发送该摄影图像(S23)。在该步骤中,添加指示所选择的展示场所的数据等,由照相机10的发送部4发送到服务器20的通信和控制部28。发送结束后,返回步骤S1。
这样,在本实施方式,在摄影模式中,在观察实时取景显示的同时发现了希望进行展示显示的被摄体的情况下(S4“是”→S5),进行图像数据量不合适的警告显示,并且,根据虚拟空间的展示空间的图像大小来调整图像大小。
并且,在再现模式中,进行3D展示确认后(S13),显示符合图像大小的虚拟空间的候选例子(S15)。只要发送用户从中选择的虚拟空间,就能够在虚拟空间中合理地进行展示(S16→S18→S21→S22)。
接着,使用图4所示的流程图说明服务器20的动作。进入服务器控制的流程后,首先,判定是否从照相机10取得图像(S51)。即,判定是否从照相机10发送了展示图像。在判定结果为取得了图像的情况下,判定是否在发送来的展示图像中添加了指定场所(S52)。在该步骤中,如上所述,在摄影图像中存在展示空间的指示的情况下,在步骤S22(图3)中添加数据,因此根据该数据进行判定。
在步骤S52的判定结果为存在指定场所的情况下,在该所指定的展示场所进行配置(S54),在没有指定的情况下,在空白的展示场所进行配置(S53)。决定摄影图像的配置后,接着,在所决定的展示场所中对应地配置摄影图像(S55)。即,在该步骤中,将发送来的摄影图像与展示场所关联起来保存在图像保存部22中。该处理结束后返回,从步骤S1开始执行。
在步骤S51的判定结果为没有取得图像的情况下,接着判定是否浏览虚拟空间(S61)。在该步骤中,判定用户是否从便携电话30等外部设备访问服务器20而在虚拟空间内进行浏览,通过对来自便携电话30等的信号进行解析,从而进行判定。
在步骤S61的判定结果为浏览虚拟空间的情况下,在基准场所中显示用户的化身45(S62)。接着,判定用户是否操作便携电话30的操作部35而进行了化身45的移动操作(S63)。当该判定结果为检测到进行了移动操作时,判定是否接近粗略图像(S64)。
在该步骤S64中,如上所述,对于展示空间来说仅能够配置粗略图像。因此,为了不看到粗略图像,判定化身45是否接近粗略图像。在步骤S64的判定结果为附近没有粗略图像的情况下,对应于在步骤S63中检测到的用户的移动操作,根据该操作切换在用户面前放大的风景(S65)。
在步骤S64的判定结果为附近存在粗略图像的情况下,为了不看到该粗略图像,限制化身45的移动,用户不能进一步接近图像而发现图像的粗略(S66)。关于该化身45的移动限制,例如如图5所示,显示栅栏130等,使得化身45不能接近。即,进行限制以使不能在附近凝视欣赏并发现所展示的摄影图像12b的画质降低。这样,在本实施方式中,化身45不接近摄影图像12b,所以不用以规定倍率以上的倍率放大显示摄影图像12b。
在步骤S63的判定结果为用户没有进行移动操作的情况下,进行基于化身45的通信等(S67)。即,化身45不仅能够移动,还能够与位于相同空间中的其他化身进行会话。
在步骤S61的判定结果为没有浏览虚拟空间的情况下,判定是否请求展示场所数据(S71)。在该步骤中,判定是否存在来自照相机10的展示场所数据的请求(图3、步骤S31)。在该判定结果为没有数据请求的情况下,返回步骤S51。
在步骤S71的判定结果为存在展示场所的请求的情况下,向照相机10发送与在虚拟空间中展示的场所的背景数据相当的数据(S72)。照相机10在步骤S32(图3)中接收该数据,并将其保存在展示信息部6中。数据发送结束后,返回步骤S51。
如以上说明的那样,在本实施方式中,取得展示空间中的展示信息,根据该展示信息,判定是否是与展示大小对应的图像数据量,生成与展示空间对应的图像数据量的图像数据。
因此,在本实施方式中,展示空间的背景的数据和在该展示空间中展示的图像的数据收敛于与虚拟空间显示相称的数据量,所以,可以提供能够根据用户的操作而顺畅地进行图像欣赏的系统、照相机。
并且,在本实施方式中,展示空间是由三维空间构成的虚拟空间,在根据化身45的位置来改变风景或摄影图像的观看方式时,考虑展示空间的数据量来决定摄影图像,所以,即使由用户移动化身,也能够顺畅地进行图像欣赏。
进而,在本实施方式中,在摄影时,能够以考虑了展示空间的数据量进行摄像。并且,在摄影后向虚拟空间发送摄影图像时,在数据量相对于展示空间过大的情况下,能够通过剪裁功能使其成为适当的数据量,非常方便。进而,在通过剪裁功能对图像进行剪裁的情况下,图像变粗略,所以进行警告显示,因此,能够防止摄影者没有注意而直接展示粗略的图像的情况。
另外,在本实施方式中,在向经营虚拟空间的服务器20发送由照相机10拍摄的图像时,与展示空间的数据量进行比较,在图像的数据量过大的情况下,进行剪裁处理。但是不限于此,例如,也可以临时在个人计算机中对由照相机10拍摄的图像进行处理后向服务器20发送,此时,也可以根据需要进行剪裁处理。该情况下,个人计算机只要从服务器20取得图像大小等与虚拟空间有关的信息并进行处理即可。
进而,在本实施方式中,使用数字照相机作为用于摄影的设备而进行了说明,但是作为照相机,既可以是数字单反照相机,也可以是小型数字照相机,并且,当然也可以是内置于便携电话或便携信息终端(PDA:Personal Digital Assistant)等中的照相机。
本发明不仅仅限于上述实施方式,在实施阶段,在不脱离其主旨的范围内能够对结构要素进行变形并具体化。并且,通过上述实施方式所公开的多个结构要素的适当组合,能够形成各种发明。例如,也可以删除实施方式所示的全部结构要素的几个结构要素。进而,也可以适当组合不同实施方式的结构要素。