CN100474893C

CN100474893C - 成像系统、照相机控制装置及全景图像生成方法

Info

Publication number: CN100474893C
Application number: CNB2006101090975A
Authority: CN
Inventors: 森本真一
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-08-03
Filing date: 2006-08-03
Publication date: 2009-04-01
Anticipated expiration: 2026-08-03
Also published as: EP1750431B1; US20070030341A1; JP4244973B2; US20130050406A1; EP1750431A3; US9609205B2; US8314831B2; EP1750431A2; CN1909602A; JP2007043505A

Abstract

所公开的是包括能够执行摇摄操作和/或俯仰操作的照相机终端装置和用于控制该照相机终端装置的照相机控制装置的成像系统。在该成像系统中，照相机终端装置包括配置成生成全景图像的信号处理器、配置成存储所生成的全景图像的全景图像存储单元及配置成生成指示成像方向的照相机位置信息的成像方向控制器，而照相机控制装置包括配置成基于照相机位置信息确定全景图像中成像方向的位置的位置确定处理器及配置成以所确定位置变成图像中心位置的方式处理全景图像的全景图像处理器。

Description

成像系统、照相机控制装置及全景图像生成方法

对相关申请的交叉引用

本发明包含关于2005年8月3日在日本专利局提交的日本专利申请JP 2005-225831的主题内容，该申请的全部内容在此引入作为参考。

技术领域

本发明涉及成像系统、照相机控制装置、全景图像生成方法及其程序。更具体而言，全景图像中照相机成像方向的位置是基于指示照相机成像方向的照相机位置信息确定的，而全景图像是以所确定位置变成图像中心位置，从而以该成像方向为中心显示全景图像的方式处理的。

背景技术

如专利文献1中所描述的，在过去，通过利用能够摇摄/俯仰的成像装置执行摇摄/俯仰操作拍摄的整个区域的图像显示为全景图像。

如果全景图像以图像的中心位置与例如摇摄操作范围的中心方向一致且指示并与成像方向同步的光标显示在全景图像上的方式形成，则有可能容易地确定成像方向。此外，例如，在显示期望位置的图像时，基于全景图像和所显示光标的位置，有可能容易地确定如何移动成像方向。

例如，假定如图7A所示成像装置80具有90度的视角，则如图7B所示向右摇摄操作范围从中心位置Pc延伸到位于“-120°”的位置Prm，而如图7C所示向左摇摄操作范围从中心位置Pc延伸到位于“+120°”的位置Plm，全景图像是如图7D所示显示+165°到-165°范围的图像GPr。

例如在获得期望位置的图像时，如果指示成像装置的成像方向的光标QT显示在这种全景图像上，则有可能基于全景图像中期望位置与所显示光标位置之间的关系容易地确定成像装置的摇摄操作方向。

〔专利文献1〕日本专利申请特开号2001-136431

发明内容

例如，可以以环状方式执行摇摄操作的成像装置在实际中被使用。但是，在显示并使用指示利用这种成像装置显示的全景图像上成像方向的光标时，就不能快速地将成像方向移动到期望的方向。

例如，假定在图8所示的全景图像GPe中成像方向从位置PSa移动到PSb。如果有可能以环状方式执行摇摄操作，则向右而不是向左移动成像方向会减少移动量，从而使得有可能快速地将成像方向从位置PSa移动到位置PSb。但是，在使用显示在全景图像上的光标QT的情况下，位置PSb位于光标QT的位置PSa的左侧。因此，摇摄操作的执行使光标QT的成像方向移动到由虚线指示的光标QT’的位置，从而使得不可能快速地将成像方向移动到期望的位置。

根据本发明的实施方式，提供了能够快速地将成像方向移动到期望方向的成像系统、照相机控制装置、全景图像生成方法及其程序。

根据本发明实施方式的成像系统包括能够执行摇摄操作和/或俯仰操作的照相机终端装置及用于控制该照相机终端装置的照相机控制装置。在该成像系统中，照相机终端装置包括配置成生成全景图像的信号处理器、配置成存储所生成全景图像的全景图像存储单元及配置成生成指示成像方向的照相机位置信息的成像方向控制器，而照相机控制装置包括配置成基于照相机位置信息确定全景图像中成像方向位置的位置确定处理器及配置成以所确定位置变成图像中心位置的方式处理全景图像的全景图像处理器。

根据本发明实施方式的照相机控制装置包括配置成基于指示照相机成像方向的照相机位置信息确定全景图像中成像方向位置的位置确定处理器及配置成以所确定位置变成图像中心位置的方式处理全景图像的全景图像处理器。全景图像处理器确定所确定位置与全景图像中心位置之间的差值，而且在所确定位置变成全景图像中心位置的情况下，全景图像处理器将用于全景图像显示框之外差值的图像粘贴到全景图像显示框中没有图像的区域，从而以所确定位置变成图像中心位置的方式处理全景图像。照相机控制装置还包括配置成显示由全景图像处理器处理的全景图像的显示器、配置成显示指示全景图像上照相机成像方向的光标的显示处理器、用户接口及配置成当移动光标的操作通过用户接口执行时提供用于根据光标的移动执行摇摄操作和/或俯仰操作的指令的控制器。

根据本发明实施方式的全景图像显示方法和程序包括步骤：获得指示照相机成像方向的照相机位置信息；基于该照相机位置信息确定全景图像中成像方向的位置；确定所确定位置与全景图像中心位置之间的差值；及基于该差值以所确定位置变成图像中心位置的方式处理全景图像。

根据本发明的实施方式，基于指示照相机成像方向的照相机位置信息，确定全景图像中成像方向的位置，而且以所确定位置变成图像中心位置的方式处理全景图像。由于处理后的全景图像将成像方向显示为图像的中心位置，因此如果有可能以环状方式执行摇摄操作等，则处理后的全景图像的使用使得有可能快速地将成像方向移动到期望方向并容易地确定当前的成像方向。

附图说明

本发明的实施方式将基于以下附图具体描述，其中：

图1是成像系统的方框图；

图2是解释在环状摇摄的情况下全景图像的辅助说明；

图3是显示显示屏幕的说明；

图4A至4C是解释全景图像处理的辅助说明；

图5是显示摇摄操作后显示屏幕的说明；

图6是显示全景图像显示处理的流程图；

图7A至7D是解释摇摄操作与全景图像之间关系的辅助说明；及

图8是解释在环状摇摄的情况下成像方向移动操作的辅助说明。

具体实施方式

以下将参考附图具体描述本发明的实施方式。图1是成像系统的方框图。成像系统10包括照相机终端装置20和照相机控制装置30。照相机终端装置20和照相机控制装置30彼此通过网络40连接。

根据从后述终端控制器210提供的成像控制信号CTa，照相机终端装置20的照相机单元201执行成像操作并生成视频信号Dcam.此外，照相机单元201通过总线220向信号处理器202提供所生成的视频信号Dcam。总线220还连接到存储器203、成像方向控制器204、网络接口206、全景图像存储单元207及终端控制器210。

信号处理器202对视频信号Dcam执行压缩处理并将所获得的视频编码信号DV存储到存储器203中。此外，信号处理器202利用通过顺序偏移照相机单元201的成像方向所获得的视频信号Dcam生成全景图像的视频信号(下文中称为“全景图像信号”)DP并将全景图像信号DP存储到全景图像存储单元207中。视频信号Dcam的压缩处理及全景图像信号DP的生成是根据从后述终端控制器210提供的信号处理控制信号CTb执行的。

成像方向控制器204计算用于将照相机单元201的成像方向移动到由从后述终端控制器210提供的方向控制信号CTc所指示方向的速度与加速度。基于计算结果，成像方向控制器204还生成用于摇摄操作的驱动信号MDp和用于俯仰操作的驱动信号MDt，并将它们提供给成像方向调节器205。此外，成像方向控制器204生成指示照相机单元201成像方向的照相机位置信息信号PM并将其提供给终端控制器210。

成像方向调节器205包括用于左右移动照相机单元201的摇摄操作电动机和用于上下移动照相机单元201的俯仰操作电动机。成像方向调节器205根据驱动信号MDp驱动摇摄操作电动机并根据驱动信号MDt驱动俯仰操作电动机，以便将照相机单元201的成像方向调节到由方向控制信号CTc指示的方向。此外，成像方向调节器205以无操作范围限制的环状方式执行摇摄操作。

网络接口206是用于在照相机终端装置20与照相机控制装置30之间通过网络40通信的接口。

终端控制器210根据成像控制信号CTa控制照相机单元201、根据信号处理控制信号CTb控制信号处理器202及根据方向控制信号CTc控制成像方向控制器204，以便允许照相机单元201在顺序偏移成像方向的同时执行成像操作并允许信号处理器202基于所获得的视频信号Dcam生成全景图像信号DP并将全景图像信号DP存储到全景图像存储单元207中。

如上所述，成像方向调节器205构建成以环状方式执行摇摄操作。因此，如图2所示，为了避免图像的重叠，存储在全景图像存储单元207中的全景图像在一端提供与参考方向+180°的角度差而在另一端提供与参考方向-180°的角度差。此外，由于摇摄操作范围是没有限制的，因此不可能象在操作范围有限的情况下一样确定操作范围的中心位置作为参考方向。为此，参考方向是预设的，而全景图像信号DP是以预设参考方向为全景图像中心位置的方式生成的。成像方向控制器204生成指示例如成像方向关于预设参考方向的角度差的信号，作为照相机位置信息信号PM。

如果参考方向是如此预设的，则不必确定哪个方向用作生成全景图像的参考。假定照相机位置信息信号PM指示成像方向关于参考方向的角度差，则有可能基于全景图像中的照相机位置信息信号PM容易地确定成像方向的位置。

终端控制器210分析通过网络接口206从照相机控制装置30提供的命令信号CM，以便生成成像控制信号CTa、信号处理控制信号CTb及方向控制信号CTc。此外，终端控制器210执行用于将存储在存储器203中的视频编码信号DV、存储在全景图像存储单元207中的全景图像信号DP及从成像方向控制器204提供的照相机位置信息信号PM发送到照相机控制装置30的处理。

照相机控制装置30的网络接口301是用于在照相机终端装置20与照相机控制装置30之间通过网络40通信的接口。网络接口301向扩展处理器302提供从照相机终端装置20提供的视频编码信号DV。此外，网络接口301向位置确定处理器303提供照相机位置信息信号PM并向全景图像处理器304提供全景图像信号DP。

扩展处理器302对视频编码信号DV执行扩展处理并将所获得的视频信号Dcam提供给显示处理器305。

位置确定处理器303确定全景图像中哪个位置对应于由照相机位置信息信号PM指示的成像方向并将位置确定结果KP提供给全景图像处理器304。如上所述，假定全景图像信号DP是以预设参考方向为全景图像中心位置的方式生成的且照相机位置信息信号PM指示参考方向与当前成像方向之间的角度差，则有可能基于照相机位置信息信号PM容易地确定全景图像中哪个位置对应于当前成像方向。

全景图像处理器304基于位置确定结果KP执行全景图像处理并生成其中所确定位置设置为中心位置的全景图像的全景图像信号DPC。全景图像处理器304确定所确定位置与全景图像中心位置之间的差值，并基于所确定的差值以所确定位置变成图像中心位置的方式处理全景图像。即，全景图像处理器304设置其中所确定位置变成中心位置的“±180°”的全景图像显示框，将用于全景图像显示框之外差值区域的全景图像粘贴到没有图像的区域，并从而生成其中所确定位置变成中心位置的全景图像的全景图像信号DPC。此外，全景图像处理器304将通过执行全景图像处理生成的全景图像信号DPC提供给显示处理器305。

显示处理器305利用基于从扩展处理器302提供的视频信号Dcam、从全景图像处理器304提供的全景图像信号DPC和从后述控制器310提供的GUI显示控制信号CTg生成的GUI视频信号生成显示驱动信号HD，并将显示驱动信号HD提供给显示器306。

通过根据显示驱动信号HD驱动如液晶设备、等离子显示面板或阴极射线管的显示设备，显示器306在屏幕上显示其中成像方向是中心位置的全景图像、照相机单元201拍摄的图像、GUI图像等。

基于GUI的用户接口315通过显示器306向用户提交信息。基于所提交的信息，当用户操作利用如定点设备、键盘等的输入设备执行时，用户接口315根据用户操作向执行期望操作的控制器310提供操作信号US。

基于操作信号US和显示器306的显示状态，控制器310确定用户选择了哪个处理及用户请求成像系统执行哪个处理。基于确定结果，控制器310生成命令信号CTm并将其提供给控制照相机控制装置30操作的每个单元。此外，基于确定结果，控制器310生成命令信号CM并通过网络接口301将其提供给照相机终端装置20来控制照相机终端装置20的操作。此外，控制器310生成GUI显示控制信号CTg并将其提供给显示处理器305。

接下来将描述全景图像显示操作。在操作一开始，控制器310向照相机终端装置20发送用于请求全景图像信号DP、照相机位置信息信号PM和视频编码信号DV的命令信号CM。如果有存储在全景图像存储单元207中的全景图像信号DP，则照相机终端装置20读取该全景图像信号DP并将其发送到照相机控制装置30。如果没有存储在全景图像存储单元207中的全景图像信号DP，则照相机终端装置20控制照相机单元201、信号处理器202和成像方向控制器204，从而在偏移成像方向的同时执行成像操作。因此，照相机终端装置20生成全景图像信号DP并将其发送到照相机控制装置30。此外，照相机终端装置20将所生成的全景图像信号DP存储到全景图像存储单元207中。

照相机终端装置20向照相机控制装置30提供由成像方向控制器204生成的照相机位置信息信号PM。此外，照相机终端装置20启动照相机单元201的成像操作，而信号处理器202压缩所获得的视频信号Dcam并将视频编码信号DV存储到存储器203中.此外，照相机终端装置20向照相机控制装置30提供存储在存储器203中的视频编码信号DV。

照相机控制装置30的位置确定处理器303确定全景图像中哪个位置对应于由照相机位置信息信号PM指示的成像方向并将位置确定结果KP提供给全景图像处理器304。在由照相机位置信息信号PM指示的角度差是例如“0°”的情况下，因为成像方向被设置成参考方向，所以成像方向是全景图像的中心位置。

全景图像处理器304基于位置确定结果KP执行全景图像处理。如果位置确定结果KP指示成像方向的位置是全景图像的中心位置，则由于成像方向的图像是全景图像的中心，因此全景图像处理器304不执行全景图像处理并将全景图像信号DP作为全景图像信号DPC提供给显示处理器305。

扩展处理器302扩展视频编码信号DV并将所获得的视频信号Dcam提供给显示处理器305。控制器310向显示处理器305提供用于GUI显示的GUI显示控制信号CTg。

因此，照相机单元201拍摄的图像、其中参考方向是中心位置的全景图像及GUI图像显示在由来自显示处理器305的显示驱动信号HD驱动的显示器306的屏幕上。

图3举例说明了显示器306屏幕上的显示。照相机单元201拍摄的图像显示在显示区域AR1，而全景图像显示在显示区域AR2。此外，用于调节图像方向的GUI图像显示在显示区域AR3，当多个照相机终端装置20通过网络40连接到照相机控制装置30时用于选择期望图像显示所用照相机终端装置的GUI图像显示在显示区域AR4，而用于放大或缩小显示在显示区域AR1的拍摄图像的GUI图像显示在显示区域AR5。此外，显示指示显示区域AR2中全景图像成像方向的GUI图像(下文中称为“成像方向光标”)QS。

一旦通过用户接口315执行了将成像方向光标QS移动到全景图像上期望位置的操作，例如，全景图像右边缘和中心位置之间的中间位置(从全景图像右边缘开始的四分之一位置)，控制器310就基于全景图像上被移动的成像方向光标QS的位置确定成像方向。此外，控制器310生成用于摇摄操作的命令信号CM，以便将照相机单元201的成像方向移动到所确定的成像方向，即，从参考方向向右移动“90°”，并将命令信号CM提供给照相机终端装置20。

照相机终端装置20的接收了命令信号CM的终端控制器210根据命令信号CM生成方向控制信号CTc并将其提供给成像方向控制器204。成像方向控制器204根据方向控制信号CTc生成驱动信号MDp和MDt并将其提供给成像方向调节器205。因此，成像方向调节器205是根据命令信号CM驱动的，从而使得有可能将照相机单元201的成像方向移动到由成像方向光标QS指示的方向。此外，成像方向控制器204生成照相机位置信息信号PM并将其提供给照相机控制装置30。

照相机控制装置30的位置确定处理器303确定全景图像中哪个位置对应于由照相机位置信息信号PM指示的成像方向并将位置确定结果KP提供给全景图像处理器304。全景图像处理器304基于位置确定结果KP执行全景图像处理并生成其中所确定位置是中心位置的全景图像信号DPC。

一旦执行了将照相机单元201的成像方向从参考方向向右移动“90°”的摇摄操作，位置确定处理器303就基于照相机位置信息信号PM确定成像方向是否是全景图像右边缘与中心位置之间的中间位置。因此，在全景图像处理器304，从参考方向向右移动“90°”的位置PSp被设置为全景图像显示框FR的中心位置，如图4A所示。

假定摇摄方向中成像方向位置PSp与全景图像中心位置PSc之间的差值是“n”个像素(这对应于全景图像中的90°)。如图4B所示，全景图像显示框FR之外区域的图像，即从全景图像左边缘“n”个像素区域的图像，被剪切掉了。此外，被剪切的图像粘贴到全景图像显示框FR中没有图像的区域，即如图4C所示全景图像右边缘的右侧，由此生成其中所确定位置PSp是中心位置的全景图像的全景图像信号DPC。

因此，在所确定位置变成全景图像中心位置的情况下，只将全景图像显示框之外的图像粘贴到全景图像显示框中没有图像的区域使得有可能生成其中所确定位置，即当前成像方向，是中心位置的全景图像的全景图像信号DPC，从而取消了执行复杂计算等的需求，并使得有可能简化全景图像处理器304的结构和处理操作。

如图5所示，当如此获得全景图像信号DPC时，其中成像方向代替参考方向变成中心位置的全景图像显示在显示器306屏幕上的显示区域AR2中。此外，移动成像方向的照相机单元201拍摄的图像显示在显示区域AR1中。

此外，如果在照相机单元201的摇摄操作过程中成像方向控制器204重复生成并向照相机控制装置30提供照相机位置信息信号PM，则有可能根据照相机单元201的成像方向的移动在相对于成像方向移动方向的方向移动全景图像。在输出用于将成像方向从参考方向向右移动“90°”的摇摄操作的命令信号CM之后，成像方向光标QS显示在全景图像显示框的中心。此外，利用照相机位置信息信号PM，成像方向光标QS可以显示在成像方向的位置。同样是在这种情况下，成像方向光标QS显示在全景图像显示框的中心。

通过软件处理，有可能根据成像方向执行移动全景图像的操作并显示它。在这种情况下，程序预先存储在存储器中。可选地，程序预先记录到记录介质上并且所记录的程序被读取到存储器中。可选地，程序通过网络下载到存储器中并且存储在存储器中的程序被CPU(中央处理单元)读取并执行。

图6示出了软件处理的流程图。在步骤ST1，CPU获得指示照相机单元成像方向的照相机位置信息。在步骤ST2，CPU基于照相机位置信息执行位置确定处理，即，确定全景图像中哪个位置对应于成像方向。在步骤ST3，CPU确定所确定位置与全景图像中心位置之间的差值。在步骤ST4，CPU基于该差值执行全景图像处理并生成其中成像方向是图像中心位置的全景图像。

如果其中成像方向变成图像中心位置的全景图像如此生成并且图像基于所生成全景图像的全景图像信号DPC显示，则有可能也通过软件处理根据该成像方向移动全景图像并显示它。

在以上实施方式中，对成像方向的摇摄操作进行了描述。但是，全景图像处理可以基于通过执行摇摄和俯仰操作所生成的全景图像中的成像方向执行。

此外，以上描述是就全景图像以中心位置是参考方向的方式生成的情况进行的。但是，本发明不限于全景图像以中心位置是参考方向的方式生成的情况。在全景图像中心位置不同于参考方向的情况下，全景图像成像范围的检测使得有可能确定全景图像中心位置与参考方向之间的角度差。因此，即使在全景图像中心位置不同于参考方向的情况下，也有可能基于所确定的角度差和照相机位置信息信号PM确定全景图像中哪个位置对应于成像方向。

如上所述，全景图像是以全景图像中心位置是成像方向的方式显示的，从而使得有可能利用所显示的全景图像快速地将成像方向移动到期望的方向。例如，在摇摄操作可以环状方式执行且成像方向移动到期望方向的情况下，有可能防止由于以反方向执行的摇摄操作导致不能快速地将成像方向移动到期望的方向。此外，由于全景图像的中心位置是成像方向，因此很容易确定当前成像方向。

本领域技术人员应当理解，依赖于设计需求及其它因素，各种修改、组合、子组合及变更都可以发生，只要它们在所附权利要求或其等价物的范围之内。

Claims

1、一种成像系统，包括能够执行摇摄操作和/或俯仰操作的照相机终端装置和用于控制该照相机终端装置的照相机控制装置，

其中所述照相机终端装置包括：

信号处理器，配置成生成全景图像，

全景图像存储单元，配置成存储所生成的全景图像，和

成像方向控制器，配置成生成指示成像方向的照相机位置信息，及

所述照相机控制装置包括：

位置确定处理器，配置成基于照相机位置信息确定全景图像中成像方向的位置，和

全景图像处理器，配置成确定所确定位置与全景图像中心位置之间的差值，将所确定位置变成全景图像显示框的中心位置，并且将全景图像显示框之外的差值区域的图像粘贴到全景图像显示框中没有图像的区域。

2、一种照相机控制装置，包括：

位置确定处理器，配置成基于指示照相机成像方向的照相机位置信息确定全景图像中成像方向的位置；及

3、如权利要求2所述的照相机控制装置，还包括：

显示器，配置成显示由全景图像处理器处理过的全景图像；

显示处理器，配置成显示指示全景图像上照相机成像方向的光标；

用户接口；及

控制器，配置成当移动光标的操作通过用户接口执行时根据光标的移动提供用于执行摇摄操作和/或俯仰操作的指令。

4、一种全景图像显示方法，包括步骤：

获得指示照相机成像方向的照相机位置信息；

基于该照相机位置信息，确定全景图像中成像方向的位置；

确定所确定位置与全景图像中心位置之间的差值；

将所确定位置变成全景图像显示框的中心位置；

将全景图像显示框之外的差值区域的图像粘贴到全景图像显示框中没有图像的区域；及

显示处理过的全景图像。