CN101262597B - 图像显示系统、装置和方法,图像发送装置和方法 - Google Patents

图像显示系统、装置和方法,图像发送装置和方法 Download PDF

Info

Publication number
CN101262597B
CN101262597B CN2008100855080A CN200810085508A CN101262597B CN 101262597 B CN101262597 B CN 101262597B CN 2008100855080 A CN2008100855080 A CN 2008100855080A CN 200810085508 A CN200810085508 A CN 200810085508A CN 101262597 B CN101262597 B CN 101262597B
Authority
CN
China
Prior art keywords
image
data
resolution
view data
panoramic picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100855080A
Other languages
English (en)
Other versions
CN101262597A (zh
Inventor
稻熊律夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101262597A publication Critical patent/CN101262597A/zh
Application granted granted Critical
Publication of CN101262597B publication Critical patent/CN101262597B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

本发明提供了图像显示系统、装置和方法，图像发送装置和方法，以及程序。相机部分对通过分割全景图像而获得的分割图像进行拾取，以生成高分辨率的图像数据。图像数据处理部分通过编码器来对该高分辨率的图像数据执行压缩编码，以获得第一压缩图像数据。图像数据处理部分执行尺寸改变来获得低分辨率的图像数据，并通过另一个编码器来对该图像数据执行压缩编码，从而获得第二压缩图像数据。数据传送部分通过网络将所述第一和第二压缩图像数据发送到图像显示装置。

Description

图像显示系统、装置和方法，图像发送装置和方法
技术领域
本发明涉及适合应用于例如监视系统的图像显示系统、图像发送装置、图像发送方法、图像显示装置、图像显示方法、以及程序。具体而言，本发明涉及这样的图像显示系统等，其中，在图像发送装置侧，通过对适配成拾取全景图像而生成的来自多个相机部分的各个图像数据执行处理，来生成和发送通过对高分辨率的图像数据进行压缩编码而获得的第一压缩图像数据和通过对低分辨率的图像数据进行压缩编码而获得的第二压缩图像数据，并且在图像显示装置侧，通过使用多条所接收的第二压缩图像数据的解码数据来显示全景图像，并且通过使用在多条所接收的第一压缩图像数据中的与在全景图像上确定的预定位置相对应的分割图像(divided image)的第一压缩图像数据的解码数据来显示高分辨率图像，从而减少数据发送和图像显示期间的数据处理量并减轻处理负荷。
背景技术
近年来，数码相机和摄像机中提供的像素数目已经增大。大于1000万像素的数码相机普遍可见，并且用于消费者的HD(高清晰)摄像机也已投入市场。当传送通过用这些相机拾取图像而获得的图像数据时，为了减小传送频带而执行编码处理。编码处理的示例主要包括JPEG、MPEG-2和MPEG-4。
经常进行这样的尝试，即，使用这些编码技术来将高像素图像发布到诸如因特网之类的网络上。例如，日本未审查专利申请公布No.2003-18583和2005-333552描述了使用多个相机来记录和发布广角图像(广域图像)。但是，日本未审查专利申请公布No.2003-18583或2005-333552中所描述的发布具有这样一种类型，其中，图像数据被累积在视频服务器中。由于预期像素数目今后将进一步增加，所以这种类型在可扩展性方面受到限制。
在向更高的像素数目的趋势下，例如，如日本未审查专利申请公布No.2003-162018和No.2002-314867所描述的，提出了在视点一致光学系统(viewpoint coincident optical system)中使用多个相机的装置，并因而提高了图像传送时的编码处理的重要性。作为限制传送频带的对策，可以设想根据传送路径的频带或者在接收侧的多分辨率编码或速率控制方法。这些方法利用基于小波变换的JPEG 2000技术来实施。
此外，构想了这样一种方法，其中，根据情形的变化的同时减少其中的数据传送，而仅仅传送确定为必要的一部分，并且对数据分辨率进行改变(例如，参考日本未审查专利申请公布No.2005-176301)。但是，根据日本未审查专利申请公布No.2005-176301所公开的方法，由于确定为不必要的区域被预先发送，并且必要区域的图像随后被叠加，所以可能生成外围区域和注意区域(attention area)之间的时间差。在外围区域周围的变化被认为并不大的情况下，这个方法是有效的，但是在包括外围区域的图像需要实时显示的体育广播或音乐会广播的情况下，这种方法并不适合。
另外，还提出了使用诸如鱼眼镜头之类的广角图像拾取系统的实施例。但是，在许多情况下，远处的物体变得较小，并且与正常缩放类型的监视相机相比，可以对进入视野的人执行监视的距离是不利的。
此外，作为用于实时地按多个分辨率来拾取图像的相机，例如，如日本未审查专利申请公布No.7-143439所公开的，构想了这样一种相机，其中，低分辨率运动图像与高分辨率运动图像相关联，或者如日本未审查专利申请公布No.2005-197948所公开的，构想了这样一种相机，其中，基于高分辨率图像来生成低分辨率图像，并且将所述图像形成为运动图像。但是，这两种装置都不是用于显示高分辨率运动图像的装置。
此外，日本未审查专利申请公布No.2004-62103公开了这样一种方法，其中，基于预先获得了多个相机的信号的坐标转换表格来分割和显示在单个HD(高清晰)图像上的图像。这个方法的优点在于，当通过使用坐标转换表格来根据多个经分割的图像生成全景图像时，可以实时地获得目标图像。
发明内容
如上所述，在日本未审查专利申请公布No.7-143439和No.2005-197948中记载的技术并不表示用于显示高分辨率运动图像的装置。此外，例如，根据在日本未审查专利申请公布No.2004-62103中公开的方法，多个相机信号被集合成一个，以获得最终的输出。但是，该方法很难应对在显示全景图像时的像素数目的增加和更高的帧速率。
希望减少数据发送和图像显示期间的处理数据量和显示高分辨率运动图像时的处理负荷。
根据本发明的一个实施例，提供了一种图像显示系统，该系统包括：
图像发送装置；和
图像显示装置，
通过网络连接到图像显示装置的图像发送装置，
该图像发送装置包括，
多个相机部分，用于输出与通过将全景图像分割成多个片断而获得的各个分割图像相对应的第一分辨率的图像数据，
多个图像数据处理部分，用于对从各个相机部分输出的所述第一分辨率的图像数据执行处理，从而通过对第一分辨率的图像数据进行压缩编码来生成第一压缩图像数据，并用于对第一分辨率的图像数据执行处理来获得第二分辨率的图像数据，从而通过对第二分辨率的图像数据进行压缩编码来生成第二压缩图像数据，其中，第二分辨率低于第一分辨率，以及
数据发送部分，用于将在各个图像数据处理部分中生成的第一压缩图像数据和第二压缩图像数据发送到图像显示装置，
该图像显示装置包括，
数据接收部分，用于接收从图像发送装置发送而来的第一压缩图像数据和第二压缩图像数据，
第一图像数据生成部分，用于使用在数据接收部分中接收的多条所述第二压缩图像数据的解码数据来生成用于显示全景图像的全景图像数据，
视角确定部分，用于确定在所述全景图像上的高分辨率视角，
第二图像数据生成部分，用于使用数据接收部分所接收的多条第一压缩图像数据中的与在视角确定部分中确定的所述高分辨率视角相对应的分割图像的第一压缩图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据，以及
显示部分，用于在显示器上显示基于在第一图像数据生成部分中生成的全景图像数据的所述全景图像和基于在第二图像数据生成部分中生成的高分辨率图像数据的所述高分辨率图像。
根据本发明的一个实施例，图像显示系统具有这样的配置，其中，图像发送装置经由网络连接到图像显示装置。该图像发送装置包括多个相机部分。利用该多个相机部分来拾取通过分割全景图像(广角图像，或广域图像)而得到的各个分割图像，并且可以获得与各个分割图像相对应的第一分辨率的图像数据。
图像发送装置的各个图像数据处理部分对从各个相机部分输出的第一分辨率的图像数据执行处理，从而通过对第一分辨率的图像数据进行压缩编码来生成第一压缩图像数据，并对第一分辨率的图像数据执行处理来获得第二分辨率的图像数据，从而通过对第二分辨率的图像数据进行压缩编码来生成第二压缩图像数据，其中，第二分辨率低于第一分辨率。例如，第一分辨率是UXGA(超级扩展图形阵列)，而第二分辨率是QVGA(四分之一视频图形阵列)。
数据发送部分经由网络将在各个图像数据处理部分中生成的第一压缩图像数据和第二压缩图像数据发送到图像显示装置。这样，根据本发明的一个实施例，与使用从各个相机部分输出的图像数据来呈递全景图像并将其从图像发送装置发送到图像显示装置的情况不同，在图像发送装置侧的处理数据量减少了，并且处理负荷减轻了。
应当注意，根据本发明的一个实施例，例如，各个图像数据处理部分可以生成包括下述检测信息之一的元数据，所述检测信息是通过对从相机部分输出的图像数据进行处理而检测到的关于移动物体或静止物体的检测信息以及来自外部传感器的检测信息，并且数据发送部分可以经由网络将这个元数据发送到图像显示装置。这样，由于包括元数据的检测信息被发送到图像显示装置，所以可以在图像显示装置上显示关于全景图像的检测信息，或者进一步地，可以很容易地显示与检测位置相对应的高分辨率图像等。
此外，根据本发明的一个实施例，各个图像数据处理部分可以使用比用于生成第二压缩图像数据的帧数目少的帧来生成第一压缩图像数据。在这种情况下，在各个图像数据处理部分中，可以减少高分辨率的第一图像数据的处理帧的数目，并且减轻处理负荷。
另外，根据本发明的一个实施例，各个图像数据处理部分可以从相机部分所输出的图像数据中切出预定图像区域处的图像数据，并对所切出的图像数据执行压缩编码，从而生成第一压缩图像数据。例如，基于通过对从相机部分输出的图像数据进行处理而检测到的关于移动物体或静止物体的检测信息和来自外部传感器的检测信息中的一个来确定所述预定图像区域。此外，例如，基于关于在信息接收部分所接收的全景图像上设定的、预定场角的注意区域的信息来确定所述预定图像区域。在这种情况下，各个图像数据处理部分执行处理，例如，从相机部分所输出的图像数据中仅切出在图像显示侧有必要的图像区域的图像数据，因此处理数据量很小，并且处理负荷减轻了。
图像显示装置的数据接收部分接收在图像发送装置的各个图像数据处理部分中生成的第一压缩图像数据和第二压缩图像数据。第一图像数据生成部分对多条第二压缩图像数据执行解码，并使用该解码数据来生成用于显示全景图像的全景图像数据。在这种情况下，第二压缩图像数据与上述的第二分辨率(低分辨率)的数据相关，因此，在第一图像数据生成部分中，处理数据量很小，并且处理负荷减轻了。显示部分基于该全景图像数据来在显示器上显示全景图像。例如，在这种情况下，并没有执行将多条图像数据集合成一条图像数据的这种处理，但是，却在将各条图像数据布置并保持在与视频RAM相对应的地址中时执行显示。在这种情况下，对策变得很容易应对在显示全景图像时的像素数目的增加和更高的帧速率。
应当注意，根据本发明的一个实施例，数据接收部分还接收包括下述检测信息之一的元数据，所述检测信息是通过对从各个相机部分输出的图像数据进行处理而检测到的关于移动物体或静止物体的检测信息以及来自为相应的相机部分设置的外部传感器的检测信息。第三图像数据生成部分可以使用在数据接收部分中接收的多条第二压缩图像数据中的与检测信息所指示的检测位置相对应的分割图像的第二压缩图像数据的解码数据来生成用于显示检测位置图像的检测位置图像数据，并且显示部分还可以基于该检测位置图像数据来显示检测位置图像。在这种情况下，可以在显示器上以索引显示的形式来显示与各个检测位置相对应的检测位置。然后，在这种情况下，使用了为了显示全景图像而已经获得的第二压缩图像数据的解码数据，这不会导致处理负荷的实质上的增加。
此外，根据本发明的一个实施例，例如，注意区域设定部分在显示在显示器上的全景图像上设置注意区域。第四图像数据设置部分可以使用数据接收部分所接收的多条第二压缩图像数据中的与所述注意区域相对应的分割图像的第二压缩图像数据的解码数据来生成用于显示注意区域图像的注意区域图像数据，显示部分还可以基于该注意区域图像数据来在显示器上显示注意区域图像。在这种情况下，可以按索引的形式来显示与各个注意区域相对应的注意区域图像。然后，在这种情况下，使用了为了显示全景图像而已经获得的第二压缩图像数据的解码数据，这不会导致处理负荷的实质上的增加。
视角确定部分确定全景图像上的高分辨率视角。例如，基于用户所执行的位置选择操作来确定所述高分辨率视角。此外，例如，当如上所述在显示器上显示检测位置图像时，可以基于用户所执行的检测位置图像选择操作来确定高分辨率视角。此外，例如，当如上所述在显示器上显示注意区域图像时，可以基于用户所执行的注意区域图像选择操作来确定高分辨率视角。
另外，根据本发明的一个实施例，例如，第二图像数据生成部分可以通过按预定组合比率使用与在视角确定部分中确定的高分辨率视角相对应的分割图像的第一压缩图像数据和第二压缩图像数据来生成用于显示高分辨率图像的高分辨率图像数据。在这种情况下，在第二图像数据生成部分中，可以减少应当解码的第一压缩图像数据的帧数目，并减轻处理负荷。
根据本发明的一个实施例，提供了一种用于生成在显示器上显示的图像的图像处理装置，
该图像处理装置包括：
数据接收部分，用于接收多条第一压缩图像数据和多条第二压缩图像数据，其中，第一压缩图像数据是通过对第一分辨率的图像数据进行压缩编码来获得的，所述第一分辨率的图像数据是通过对与通过将全景图像分割成多个片断而获得的分割图像相对应的各条图像数据执行处理而生成的，而第二压缩图像数据是通过对第二分辨率的图像数据进行压缩编码来获得的，所述第二分辨率的图像数据是通过对第一分辨率的图像数据执行处理来获得的，其中，第二分辨率低于第一分辨率；
第一图像数据生成部分，用于使用在数据接收部分中接收的多条第二压缩图像数据的解码数据来生成用于显示全景图像的全景图像数据；
视角确定部分，用于确定全景图像上的高分辨率视角；
第二图像数据生成部分，用于使用数据接收部分所接收的多条第一压缩图像数据中的与在视角确定部分中确定的高分辨率视角相对应的分割图像的第一压缩图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据；以及
输出部分，用于在显示器上输出在第一图像数据生成部分中生成的全景图像数据和在第二图像数据生成部分中生成的高分辨率图像数据。
根据本发明的一个实施例，例如，在图像发送装置侧，通过对来自用于拍摄全景图像的多个相机部分的各条图像数据执行处理，通过对高分辨率的图像数据进行压缩编码而获得的第一压缩图像数据和通过对低分辨率的图像数据进行压缩编码而获得的第二压缩图像数据被生成并被发送，并且在图像显示装置侧或图像处理装置侧，使用所接收的多条第二压缩图像数据的解码数据来显示全景图像，并且使用所接收的多条第一压缩图像数据中的与在全景图像上确定的预定位置相对应的分割图像的第一压缩图像数据的解码数据来显示高分辨率图像，藉此，可以减少图像显示期间的数据处理量，并可以减轻处理负荷。
附图说明
图1是根据本发明一个实施例的图像显示系统的配置示例的框图；
图2示出了多个相机部分的布局示例；
图3A示出了在生成全景图像数据时使用的镜头失真校正；
图3B示出了构成在生成全景图像数据时使用的图像转换信息的相机倾角信息；
图3C示出了关于相邻相机的混合(blending)信息，其构成了在生成全景图像数据时使用的图像转换信息；
图4是图像发送装置的具体示例的框图；
图5是图像显示装置的具体示例的框体；
图6示出了与图像发送装置的各个相机部分相对应的高分辨率(第一分辨率)图像数据和低分辨率(第二分辨率)图像数据的配置；
图7示出了图像显示装置中的图像数据处理部分的功能模块；
图8示出了显示器的屏幕显示示例；
图9A和9B示出了有关高分辨率(第一分辨率)的第一压缩图像数据和有关低分辨率(第二分辨率)的第二压缩图像数据的发送帧示例；
图10A和10B示出了在显示高分辨率图像时使用的每一帧中的第一压缩图像数据和第二压缩图像数据的组合比率的示例；以及
图11是图像发送装置的另一个配置示例的框图。
具体实施方式
以下，将参考附图来描述本发明的实施例。
图1示出了根据本发明一个实施例的图像显示系统100的配置示例。图像显示系统100具有这样一种配置，其中，图像发送装置110经由网络150连接到图像显示装置130。网络150由LAN(局域网)、因特网等组成。
图像发送装置110具有数目为n(n是大于等于2的整数)的相机部分111-1到111-n。这n个相机部分111-1到111-n用于通过拾取将作为广角图像(广域图像)的全景图像分割成n个片断而获得的各个分割图像来输出图像数据。例如，所述全景图像是在水平方向上延伸的广角图像，并且该全景图像水平地被分割成n个片断。各个相机部分111-1到111-n用于输出第一分辨率的图像数据，例如，UXGA(超级扩展图形阵列，UltraeXtended Graphics Array)。应当注意，UXGA表示1600×1200像素的分辨率。
图2示出了n个相机部分111-1到111-n的布局示例。各个相机部分被布置以便生成在想要拾取的特定连续区域中的全景图像。这时，虽然将省略详细描述，但是当使用来自各个相机部分的图像数据来生成全景图像时，图像转换信息是必要的，包括诸如失真或焦距之类的镜头信息(参考图3A)、关于相机倾角的信息(Roll、Pitch和Yaw)(参考图3B)、或者与相邻相机的外围混合信息(参考图3C)。图像发送装置110预先获得这种图像转换信息。图像转换信息是经由网络150从图像发送装置110发送到图像显示装置130的。这样，由于图像转换信息是从图像发送装置110发送到图像显示装置130的，所以没有必要在图像显示装置130上保存每个不同的图像发送装置110的图像转换信息。
图像发送装置110用于通过对从各个相机部分111-1到111-n输出的图像数据执行处理来压缩编码第一分辨率的图像数据，从而生成第一压缩图像数据。此外，图像发送装置110还用于通过对从各个相机部分111-1到111-n输出的图像数据执行处理来压缩编码第二分辨率(第二分辨率低于第一分辨率)的图像数据，从而生成第二压缩图像数据。例如，图像发送装置110通过压缩编码QVGA(四分之一视频图形阵列，Quarter VideoGraphics Array)的图像数据来生成第二压缩图像数据。应当注意，QVGA表示320×240像素的分辨率。如上所述，图像发送装置110用于经由网络150将所生成的n条第一压缩图像数据和n条第二压缩图像数据发送到图像显示装置130。
图像显示装置130用于接收从图像发送装置110发送的n条第一压缩图像数据和n条第二压缩图像数据。然后，图像显示装置130使用所述n条第二压缩图像数据的解码数据来生成用于显示全景图像的全景图像数据，并基于该全景图像数据来在显示器上显示该全景图像。应当注意，当图像显示装置130生成全景图像数据时，如上所述，使用了从图像发送装置110发送而来的诸如镜头信息、关于相机倾角的信息、或者与相邻相机的混合信息之类的图像转换信息。
另外，图像显示装置130确定全景图像上的高分辨率视角。然后，图像显示装置130使用所述n条第一压缩图像数据中的与所述高分辨率视角相对应的分割图像的第一压缩图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据，并且基于该高分辨率图像数据来在显示器上显示高分辨率图像。
图4示出了图像发送装置110的配置示例。图像发送装置110具有n个相机部分111-1到111-n、n个图像数据处理部分112-1到112-n、n个外部传感器113-1到113-n，以及数据传送部分114。
如上所述，n个相机部分111-1到111-n拾取通过将作为广角图像(广域)的全景图像分割成n个片断而获得的各个图像，并输出第一分辨率(例如，UXGA)的图像数据。
相机部分111-1具有图像拾取部分121和图像拾取信号处理部分122。图像拾取部分121具有图像拾取镜头和成像器(imager)元件(未示出)。图像拾取部分121拾取在通过将全景图像分割成n个片断而获得的各个分割图像中的将由其自身处理的一个分割图像，并输出与该分割图像相对应的图像拾取信号。成像器元件由CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等构成。
图像拾取信号处理部分122对从图像拾取部分121输出的图像拾取信号(模拟信号)执行采样保持、增益控制转换、和从模拟信号向数字信号的转换，以及白平衡调节、γ校正等，从而生成第一分辨率(例如，UXGA)的图像数据。除了在图像数据处理部分之前通用相机执行的信号处理之外，图像拾取信号处理部分122执行白平衡调节、增益控制和阴影校正，以便使得与接下来的相机之间没有差别。
图像数据处理部分112-1具有高分辨率编码器123、尺寸改变部分124、低分辨率编码器125、移动物体/静止物体检测部分126以及元数据生成部分127。
高分辨率编码器123用于对从相机部分111-1输出的第一分辨率的图像数据执行压缩编码处理，从而生成第一压缩图像数据V1H。高分辨率编码器123例如执行基于运动JPEG(联合图像专家组)的压缩编码处理。
尺寸改变部分124用于对从相机部分111-1输出的第一分辨率的图像数据执行诸如尺寸调整或重采样之类的处理，从而生成第二分辨率(例如，QVGA)的图像数据，其中，第二分辨率低于第一分辨率。低分辨率编码器125用于对从尺寸改变部分124输出的第二分辨率的图像数据执行压缩编码处理，从而生成第二压缩图像数据V1L。类似于上述高分辨率编码器123，低分辨率编码器125例如执行基于运动JPEG(联合图像专家组)的压缩编码处理。
移动物体/静止物体检测部分126用于对从相机部分111-1输出的第一分辨率的图像数据执行处理，以基于该图像数据、从图像中检测出移动物体区域(运动区域)和静止物体区域(物体显现区域、物体消失区域)。元数据生成部分127用于生成元数据MD1，该元数据MD1包括从移动物体/静止物体检测部分126输出的关于移动物体或静止物体的检测信息和来自外部传感器113-1的检测信息。这里，外部传感器113-1被配置用于检测例如在由相机部分111-1处理的分割图像上的特定位置处的异常，并且其由红外传感器、温度传感器、声音传感器等构成。
虽然省略详细描述，但是相机部分111-2到111-n的配置类似于上述的相机部分111-1。相机部分111-2到111-n各自用于拾取由其自身处理的分割图像，以生成并输出第一分辨率(例如，UXGA)的与该分割图像相对应的图像数据。此外，虽然省略了详细描述，但是图像数据处理部分112-2到112-n的配置类似于上述的图像数据处理部分112-1。图像数据处理部分112-2到112-n各自用于对来自相机部分111-2到111-n的图像数据执行处理，从而生成并输出第一压缩图像数据V2H到VnH、第二压缩图像数据V2L到VnL、以及包括诸如移动物体和静止物体之类的检测信息在内的元数据MD2到MDn。
数据传送部分114用于经由网络150来将在各个图像数据处理部分112-1到112-n中生成的第一压缩图像数据V1H到VnH、第二压缩图像数据V1L到VnL、以及元数据MD1到MDn发送到图像显示装置130。在这个意义上，数据传送部分114构成了数据发送部分。应当注意，如随后将描述的，数据传送部分114还设有接收从图像显示装置130发送而来的注意区域信息的功能。此外，数据传送部分114还经由网络150向图像显示装置130发送上述的诸如镜头信息、相机倾角信息、或与相邻相机的混合信息之类的图像转换信息。
将描述图4所示的图像发送装置110的操作。在用作拾取对象的全景图像中，由相机部分111-1的图像拾取部分121获得了与由相机部分111-1处理的分割图像相对应的图像拾取信号(模拟信号)。该图像拾取信号被提供给图像拾取信号处理部分122。图像拾取信号处理部分122对该图像拾取信号执行诸如采样保持和增益控制转换、从模拟信号向数字信号的转换之类的模拟信号处理，还执行诸如白平衡调节和γ校正之类的数字信号处理，从而生成第一分辨率(例如，UXGA)的图像数据。
在相机部分111-1中生成的图像数据被提供给图像数据处理部分112-1中的高分辨率编码器123、尺寸改变部分124、和移动物体/静止物体检测部分126。在高分辨率编码器123中，例如，对从相机部分111-1提供的图像数据执行基于运动JPEG的压缩编码处理，以生成第一压缩图像数据V1H。
然后，在尺寸改变部分124中，对从相机部分111-1提供的图像数据执行诸如抽薄或内插之类的处理，以生成第二分辨率(例如，QVGA)的图像数据，其中，第二分辨率低于第一分辨率。该第二分辨率的图像数据被提供给低分辨率编码器125。在低分辨率编码器125中，例如，对从尺寸改变部分124提供的图像数据执行基于运动JPEG的压缩编码处理，从而生成第二压缩图像数据V1L。
此外，在移动物体/静止物体检测部分126中，基于从相机部分111-1提供的图像数据来执行关于移动物体和静止物体的检测处理。在移动物体/静止物体检测部分126中检测得到的关于移动物体和静止物体的检测信息被提供给元数据生成部分127。此外，还向元数据生成部分127提供来自外部传感器113-1的检测信息，以检测在由相机部分111-1处理的分割图像上的特定位置处的异常。元数据生成部分127生成元数据MD1，该元数据MD1包括从移动物体/静止物体检测部分126输出的关于移动物体和静止物体的检测信息和外部传感器113-1的检测信息。
类似于上述相机部分111-1，在相机部分111-2到111-n中生成与由其自身处理的分割图像相对应的第一分辨率(例如，UXGA)的图像数据。这样，在各个相机部分111-2到111-n中生成的第一分辨率的图像数据被提供给相应的图像数据处理部分112-2到112-n。类似于上述图像数据处理部分112-1，在图像数据处理部分112-2到112-n中，对来自相机部分111-2到111-n的图像数据等执行处理，以生成例如第一压缩图像数据V2H到VnH、第二压缩图像数据V2L到VnL、包括关于移动物体、静止物体等的检测信息在内的元数据MD2到MDn。
在各个图像数据处理部分112-1到112-n中生成的第一压缩图像数据V1H到VnH、第二压缩图像数据V1L到VnL、和包括诸如移动物体和静止物体之类的检测信息在内的元数据MD1到MDn被提供给数据传送部分114。在数据传送部分114中，第一压缩图像数据V1H到VnH、第二压缩图像数据V1L到VnL、和元数据MD1到MDn被转换成文件，并经由网络150被发送到图像显示装置130。此外，还经由网络150从数据传送部分114向图像显示装置130发送图像转换信息，例如与相机部分111-1到111-n相关的镜头信息、相机倾角信息、或与相邻相机的混合信息。
图5示出了图像显示装置130的具体配置示例。图像显示装置130具有控制部分131、用户接口部分132、数据传送部分133、图像数据处理部分134、VRAM(视频随机存取存储器)135和显示器136。
控制部分131用于控制图像显示装置130中的各个部分。控制部分131由CPU和控制程序构成。控制部分处理图像显示装置的执行的开始和结束并且接受用户接口部分的某种中断，然后在各个部分中执行某种功能。用户接口部分132由操作按键、远程控制信号接收设备等构成。用户接口部分132与控制部分131相连接。用户接口部分132用于根据用户操作来生成操作信号，并将该操作信号提供给控制部分131。
数据传送部分133用于经由网络150从图像发送装置110接收第一压缩图像数据V1H到VnH、第二压缩图像数据V1L到VnL和元数据MD1到MDn。在这个意义上，数据传送部分133构成了数据接收部分。此外，数据传送部分133还接收从图像发送装置110发送而来的与上述相机部分111-1到111-n相关的图像转换信息，例如，镜头信息、相机倾角信息、或与相邻相机的混合信息。
图像数据处理部分134用于对数据传送部分133所接收的第二压缩图像数据V1L到VnL进行解码，使用各条解码数据，并基于上述图像转换信息来生成用于显示全景图像的全景图像数据。在这个意义上，图像数据处理部分134构成了第一图像数据生成部分。
另外，图像数据处理部分134还对数据传送部分133所接收的第一压缩图像数据V1H到VnH中的与全景图像上的高分辨率视角相对应的第一压缩图像数据进行解码，并使用该解码数据来生成用于显示高分辨率图像的高分辨率图像数据。在这个意义上，图像数据处理部分构成了第二图像数据生成部分。全景图像上的高分辨率视角是在控制部分131中基于用户操作来确定的。在这个意义上，控制部分131构成了视角确定部分。稍后将详细描述在控制部分131中的高分辨率视角的确定处理。
图6示出了与上述图像发送装置110的相机部分111-1到111-n相对应的高分辨率(第一分辨率)图像数据和低分辨率(第二分辨率)图像数据的配置。图6所示的相机部分1到n分别表示相机部分111-1到111-n。
在图像数据处理部分134中，相机部分1的各条低分辨率图像数据被合成，从而生成在水平方向上具有h像素并且在垂直方向上具有v像素的全景图像数据。在这种情况下，各个相机部分的低分辨率图像数据具有与相邻相机部分的低分辨率图像数据的重叠区域(阴影区域)。在图像数据处理部分134中，执行图像数据合成处理，以使得所述区域相互重叠。
此外，相机部分1到n的各条高分辨率图像数据分别对应于相机部分1到n的低分辨率图像数据。这里，相机部分1到n的各条高分辨率图像数据构成了在水平方向上具有H像素并且在垂直方向上具有V像素的全景图像。这里，h/H和v/V表示图像发送装置110中的各个图像数据处理部分112-1到112-n的尺寸改变部分124中的压缩比。
构成全景图像数据的各个相机部分的低分辨率图像数据对应于各个相机部分的高分辨率图像数据。由于该原因，图像数据处理部分134可以容易地生成与使用上述关系在全景图像上确定的高分辨率图像位置相对应的高分辨率图像数据。
例如，如图6所示，在确定了低分辨率全景图像上的用虚线Fa表示的高分辨率显示区域的情况下，使用相机部分1和相机部分2的高分辨率数据来生成高分辨率图像数据。此外，例如，如图6所示，在确定了低分辨率全景图像上的用虚线Fb表示的高分辨率显示区域的情况下，使用相机部分2和相机部分3的高分辨率数据来生成高分辨率图像数据。
应当注意，图6示出了在水平方向上布置各个相机部分的示例，但是，也可以想到采用在垂直方向上布置各个相机部分的示例或者在矩阵中布置各个相机部分的示例。
此外，图像数据处理部分134还使用数据传送部分133所接收的第二压缩图像数据V1L到VnL中的与数据传送部分133所接收的元数据MD1到MDn中包括的检测信息所指示的检测位置相对应的分割信息的第二压缩图像数据的解码数据来生成用于显示检测位置信息的检测位置图像数据。在这个意义上，图像数据处理部分134构成了第三图像数据生成部分。应当注意，如上所述，由于所有的第二压缩图像数据V1L到VnL都被解码用于生成全景图像数据，所以在生成检测位置图像数据时没有必要重新执行解码处理。
另外，图像数据处理部分134还使用数据传送部分133所接收的第二压缩图像数据V1L到VnL中的与在全景图像上设定的注意区域相对应的分割信息的第二压缩图像数据的解码数据来生成用于显示注意区域图像的注意区域图像数据。在这个意义上，图像数据处理部分134构成了第四图像数据生成部分。应当注意，如上所述，由于所有的第二压缩图像数据V1L到VnL都被解码用于生成全景图像数据，所以在生成注意区域图像数据时没有必要重新执行解码处理。全景图像上的注意区域的设定是在控制部分131中基于用户设定操作来执行的。在这个意义上，控制部分131构成了注意区域设定部分。
VRAM 135将构成全景图像数据的各个像素处的数据、高分辨率图像数据、检测位置图像数据和在图像数据处理部分134中生成的注意区域图像数据保存在与视角相对应的地址中，此外，还按扫描行的顺序顺序地将各个像素的数据输出到显示器136。显示器136例如由LCD(液晶显示器)、等离子显示器等构成。
上述的图像数据处理部分134例如用软件来构成。图7示出了图像数据处理部分134的功能模块。图像数据处理部分134设有数据接收模块141、元数据分析模块142、I/O模块143、显示图像和场角(field angle)指定模块144、解码器线程145-1到145-m以及渲染器线程146-1到146-m。
数据接收模块141用于从数据传送部分133接收第一压缩图像数据V1H到VnH、第二压缩图像数据V1L到VnL、以及元数据MD1到MDn。元数据分析模块142用于对数据接收模块141所接收的元数据MD1到MDn进行分析，以获得诸如检测位置或检测类型之类的信息。I/O模块143用于从控制部分131接收诸如设定的高分辨率显示区域或设定的注意区域之类的控制信息。
显示图像和场角指定模块144用于基于元数据分析模块142所获得的诸如检测位置或检测类型之类的信息和I/O模块143所接收的控制信息来向解码器线程145-1到145-m发送在数据接收模块141所接收的第一压缩图像数据V1H到VnH和第二压缩图像数据V1L到VnL中的必要的压缩图像数据。
例如，为了生成用于显示全景图像的全景图像数据，对第二压缩图像数据V1L到VnL执行解码。此外，在第一压缩图像数据V1H到VnH之中，执行与高分辨率显示区域相对应的解码。例如，在高分辨率显示器区域跨第一和第二分割图像时，对第一压缩图像数据V1H和第二压缩图像数据V2H执行解码。
渲染器线程146-1到146-m用于从解码器线程145-1到145-m所获得的解码数据中选择全景图像、高分辨率图像、检测位置图像和注意区域图像的像素数据，以将该像素数据布置在VRAM 135的与全景图像、高分辨率图像、检测位置图像和注意区域图像的视角相对应的地址中。
将描述图5所示的图像显示装置130的操作。数据传送部分133经由网络150来接收从图像发送装置110发送而来的第一压缩图像数据V1H到VnH、第二压缩图像数据V1L到VnL、和元数据MD1到MDn，以及诸如镜头信息、相机倾角信息、或与相邻相机的外围混合信息之类的图像转换信息。第一压缩图像数据V1H到VnH、第二压缩图像数据V1L到VnL、元数据MD1到MDn、以及图像转换信息被提供给图像数据处理部分134。
在图像数据处理部分134中，对第二压缩图像数据V1L到VnL执行解码，并基于图像转换信息，通过使用各条解码数据来生成用于显示全景图像的全景图像数据。然后，在VRAM 135中，构成全景图像的各个像素的数据被布置并保持在与全景图像的视角相对应的地址中。其结果是，在显示器136的屏幕上的全景图像显示部分中显示全景图像。在这种情况下，并没有执行用于收集多条图像数据的处理，而是通过将各条图像数据布置并保持在VRAM 135的相应地址中来执行显示。因此，为了应对像素数目的增加和更高的帧速率，在显示全景图像时的对策变得容易了。
此外，在图像数据处理部分134中，还对第一压缩图像数据V1H到VnH中的有关与全景图像上的高分辨率视角相对应的分割图像的第一压缩图像数据进行解码，并使用该解码数据来生成用于显示高分辨率图像的高分辨率图像数据。然后，在VRAM 135中，构成高分辨率图像的各个像素的数据被布置并保持在与高分辨率图像的视角相对应的地址中。其结果是，在显示器136的屏幕上的高分辨率图像显示部分中显示该高分辨率图像。
另外，在图像数据处理部分134中，通过使用第二压缩图像数据V1L到VnL中的有关与元数据MD1到MDn中包括的检测信息所指示的检测位置相对应的分割信息的第二压缩图像数据的解码数据来生成用于显示检测位置图像的检测位置图像数据。然后，在VRAM 135中，构成检测位置图像的各个像素的数据被保存在与检测位置图像的视角相对应的地址中。其结果是，在显示器136的屏幕上的检测位置图像显示部分203中显示诸如移动物体、静止物体等的检测位置图像。
应当注意，虽然以上没有描述，但是在与元数据MD1到MDn中包括的检测信息所指示的检测位置相对应的同时，还在全景图像上显示了指示出该检测位置的框等。此外，取决于检测类型(例如，移动物体检测、静止物体检测、或外部传感器的检测)来在该框等中产生色差的效果，以使得用户可以很容易地区分检测类型。
此外，在图像数据处理部分134中，还使用第二压缩图像数据V1L到VnL中的有关与在全景图像上设定的注意区域相对应的分割信息的第二压缩图像数据的解码数据来生成用于显示注意区域图像的注意区域图像数据。然后，在VRAM 135中，构成注意区域图像的各个像素的数据被保存在与注意区域图像的显示位置相对应的地址中。其结果是，在显示器136的屏幕上的注意区域图像显示部分中显示该注意区域图像。
应当注意，虽然以上并没有描述，但是在全景图像上还显示了指示出注意区域的框等。这里，在控制部分131中基于针对注意区域的用户设定操作来设置注意区域。所述注意区域可以按任意的场角来设定。如稍后将描述的，在基于针对注意区域图像的用户设定操作来确定高分辨率显示区域的情况下，在显示器136的屏幕上的高分辨率图像显示部分中显示与所选择的注意区域图像相对应的高分辨率图像。在这种情况下，由于可以按任意场角来设定注意区域，所以在一些情况下，高分辨率图像数据中的像素数目可能大于高分辨率图像显示部分中的像素数目。在这样的情况下，例如，通过缩小或修整(trimming)来对高分辨率图像数据执行像素数目的调整，从而使其适合高分辨率图像显示部分。
图8示出了显示器136的屏幕显示示例。全景图像显示部分201设在屏幕的上方。在全景图像显示部分201中显示了基于在图像数据处理部分134中生成的全景图像数据的低分辨率的全景图像。此外，在全景图像上还显示了与诸如移动物体、静止物体等的检测位置图像相对应的框211和与由用户操作设定的注意区域相对应的框212。
另外，检测位置图像显示部分203和注意区域图像显示部分204设在屏幕的左侧。在检测位置图像显示部分203中显示了诸如移动物体或静止物体之类的低分辨率的检测位置图像(由全景图像上的框211围住的图像)。应当注意，围绕诸如移动物体或静止物体之类的检测目标物体的框被显示在各个检测位置图像上。注意区域中的低分辨率图像(由全景图像上的框212围住的图像)被显示在注意区域图像显示部分204中。
此外，高分辨率图像显示部分202设在屏幕的从中间到右侧的位置处。作为在高分辨率图像显示部分202中显示的高分辨率图像，显示了在控制部分131中基于用户操作来确定的高分辨率显示区域中的高分辨率图像。
现在，将详细描述在控制部分131中的高分辨率显示区域的确定处理。如上所述，当用户在显示在全景图像显示部分201上的全景图像上执行位置选择操作时，控制部分131基于该位置选择操作来确定高分辨率显示区域。在这种情况下，用户使用用户接口部分132来例如将全景图像上的光标移动到所需位置并执行点击操作，藉此可以选择高分辨率显示区域。然后，在这种情况下，在高分辨率图像显示部分202中显示包括基于用户操作来选择的位置的预定区域中的高分辨率图像。
此外，如上所述，当用户从在检测位置图像显示部分203中显示的检测位置图像中、针对检测位置图像来执行选择操作时，控制部分131基于该选择操作来确定高分辨率显示区域。换而言之，控制部分131将与基于用户操作来选择的检测位置图像(框211所围住的区域)相对应的位置确定为高分辨率显示区域。在这种情况下，用户使用用户接口部分132来例如将光标移动到所需的检测位置图像，并执行点击操作，藉此可以选择所需的检测位置图像。然后，在这种情况下，在高分辨率图像显示部分202中显示所选择的检测位置图像(高分辨率图像)。
另外，如上所述，当用户从在检测位置图像显示部分203中显示的注意区域图像中、针对所需的注意区域图像来执行选择操作时，控制部分131基于该选择操作来确定高分辨率显示区域。换而言之，控制部分131将与基于用户操作来选择的注意区域图像相对应的区域确定为高分辨率显示区域。在这种情况下，用户使用用户接口部分132来例如将光标移动到所需的注意区域图像，并执行点击操作，藉此可以选择所需的注意区域图像。然后，在这种情况下，在高分辨率图像显示部分202中显示所选择的注意区域图像(高分辨率图像)。
如上所述，在图1所示的图像显示系统100中，基于从图像发送装置110的相机部分111-1到111-n输出的图像数据，各个图像数据处理部分112-1到112-n对第一分辨率(高分辨率)的图像数据执行压缩编码，从而生成第一压缩图像数据V1H到VnH，此外还对低于第一分辨率的第二分辨率(低分辨率)的图像数据执行压缩编码，从而生成第二压缩图像数据V1L到VnL，并且将该第一压缩图像数据V1H到VnH和第二压缩图像数据V1L到VnL经由网络150来从数据传送部分114发送到图像显示装置130。因此，在图像显示系统100中，与使用从各个相机部分111-1到111-n输出的图像数据来生成全景图像的图像数据的情况不同，在图像发送装置110侧的处理数据量减小了，并且处理负荷减轻了。
此外，在图1所示的图像显示系统100中，图像发送装置110的各个图像数据处理部分112-1到112-n生成了这样的元数据MD1到MDn，该元数据MD1到MDn包括通过对从相机部分111-1到111-n输出的图像数据进行处理而检测到的关于移动物体或静止物体的检测信息或者来自外部传感器113-1到113-n的检测信息，并且所述元数据MD1到MDn还经由网络150被从数据传送部分114发送到图像显示装置130。因此，在图像显示系统100中，在图像显示装置130侧，可以很容易地执行在全景图像上的检测位置的显示，或者更进一步地，与该检测位置相对应的高分辨率图像的显示，等等。
另外，在图1所示的图像显示系统100中，图像数据处理部分134对数据传送部分133所接收的第二分辨率(低分辨率)的第二压缩图像数据V1L到VnL进行解码，从而生成全景图像数据，并在显示器136上显示该低分辨率的全景图像。因此，在图像显示系统100中，减小了在图像显示装置130侧的处理数据量，并减轻了处理负荷。
此外，在图1所示的图像显示系统100中，图像数据处理部分134使用数据传送部分133所接收的第一分辨率(高分辨率)的第一压缩图像数据V1H到VnH中的、有关与基于用户操作来确定的高分辨率显示区域相对应的分割图像的第一压缩图像数据的解码数据来生成高分辨率图像数据，并在显示器136上显示该高分辨率图像。因此，在图像显示系统100中，图像显示装置130的图像数据处理部分134仅仅解码并使用第一压缩图像数据V1H到VnH中的必要的第一压缩图像数据，于是减小了在图像显示装置130侧的处理数据量，并可以减轻处理负荷。
此外，在图1所示的图像显示系统100中，图像显示装置130的图像数据处理部分134基于数据传送部分133所接收的诸如移动物体或静止物体之类的检测信息、根据第二压缩图像数据V1L到VnL的解码数据来生成检测位置图像数据，并在显示器136上显示低分辨率的检测位置图像。因此，在图像显示系统100中，可以在显示器136上以索引的形式显示与各个检测位置相对应的检测位置图像。应当注意，在这种情况下，由于使用了为了显示全景图像而已经获得的、第二压缩图像数据的解码数据，所以不可能显著地增加处理负荷。
另外，在图1所示的图像显示系统100中，在图像显示装置130侧，用户可以在用户接口部分132中、在显示在显示器136上的全景图像上以任意场角来设置注意区域。然后，在图1所示的图像显示系统100中，图像显示装置130的图像数据处理部分134基于所设定的注意区域、根据第二压缩图像数据V1L到VnL的解码数据来生成注意区域图像数据，并且在显示器136上显示该低分辨率的注意区域图像。因此，在图像显示系统100中，可以在显示器136上以索引的形式来显示与各个注意区域相对应的注意区域图像。应当注意，在这种情况下，由于使用了为了显示全景图像而已经获得的第二压缩图像数据的解码数据，所以不可能显著增加处理负荷。
此外，在图1所示的图像显示系统100中，基于用户针对在显示器136上显示的全景图像执行的位置选择操作、用户针对在显示器136上显示的检测位置图像执行的选择操作、或者用户针对在显示器136上显示的注意区域图像执行的选择操作来确定高分辨率显示区域。因此，在图像显示系统100中，在图像显示装置130侧，用户可以在显示器136上以高分辨率图像来显示和观察任意位置处的全景图像、任意的检测位置图像、或者任意的注意区域图像。
应当注意，根据上述实施例，如图9A所示，图像发送装置110中的各个图像数据处理部分112-1到112-n在每个帧中生成有关高分辨率(第一分辨率)的第一压缩图像数据V1H到VnH和低分辨率(第二分辨率)的第二压缩图像数据V1L到VnL，并且数据传送部分114将该数据发送到图像显示装置130。
但是，如图9B所示，低分辨率(第二分辨率)的各条第二压缩图像数据V1L到VnL在每个帧中生成，但是，可以想到可以在间歇帧中生成有关高分辨率(第一分辨率)的各条第一压缩图像数据V1H到VnH。在图9B的示例中，每隔一个帧地生成第一压缩图像数据V1H到VnH，在用实线指示的帧中生成数据。
这样，由于间歇地生成各条第一压缩图像数据V1H到VnH，所以可以减轻各个图像数据处理部分112-1到112-n中的处理负荷。此外，可以减小从数据传送部分114向图像显示装置130的发送数据量，并可以减轻传送负荷。应当注意，在图9A和9B中，数字值表示帧号。
另外，根据上述实施例，图像显示装置130的图像数据处理部分134使用每个帧中的第一压缩图像数据V1H到VnH来显示高分辨率图像，但是，也可以想到按预定的组合比率来使用第一压缩图像数据V1H到VnH和第二压缩图像数据V1L到VnL。图10A示出了这样一个示例，其中，按1∶1的组合比率来使用第一压缩图像数据V1H到VnH和第二压缩图像数据V1L到VnL，而图10B示出了这样一个示例，其中，按1∶3的组合比率来使用第一压缩图像数据V1H到VnH和第二压缩图像数据V1L到VnL。应当注意，在图10A和10B中，数字值表示帧号。
在这种情况下，在使用第二压缩图像数据V1L到VnL的帧中，通过内插等来增加像素数目。图像质量随着第二压缩图像数据V1L到VnL的比率的增加而降低。这样，当显示高分辨率图像时，通过按适当比率来使用第二压缩图像数据V1L到VnL，可以减轻图像数据处理部分134中的处理负荷。
应当注意，根据上述实施例，图像发送装置110的图像数据处理部分112-1到112-n在高分辨率编码器123中如其原样地对从相机部分111-1到111-n输出的第一分辨率(例如，UXGA)的图像数据执行压缩编码，从而生成第一压缩图像数据V1H到VnH。但是，例如，当相机部分111-1到111-n在水平方向上或垂直方向上的像素数目更大时，在图像数据处理部分112-1到112-n中，还可以想到从相机部分所输出的图像数据中切出预定的图像区域，以获得第一分辨率(例如，UXGA)的图像数据，并且对该第一分辨率的图像数据进行压缩编码，以生成第一压缩图像数据。
图11示出了在上述情况下的图像发送装置110的另一个配置示例。在图11中，不包括与相机部分111-2到111-n和图像数据处理部分112-2到112-n相对应的部分。在图11中，与图4中的那些相对应的部分被指配了相同的标号，并且省略对它们的详细描述。
除了高分辨率编码器123、尺寸改变部分124、低分辨率编码器125、移动物体/静止物体检测部分126、和元数据生成部分127之外，图像数据处理部分112-1还具有区域切出部分128。
区域切出部分128用于从相机部分111-1所输出的图像数据中切出预定图像区域的图像数据，以获得第一分辨率(例如，UXGA)的图像数据。向区域切出部分128提供在元数据生成部分127中生成的元数据MD1。此外，还向区域切出部分128提供数据传送部分114从图像显示装置130侧接收的注意区域信息。在这个意义上，数据传送部分114构成了信息接收部分。
在区域切出部分128中，例如，基于元数据MD1中包括的诸如移动物体或静止物体之类的检测信息，将与该移动物体、静止物体等的检测位置相对应的图像区域设置为应当切出的预定图像区域。此外，在区域切出部分128中，例如，基于注意区域信息，将在图像显示装置130侧设定的注意区域设置为应当切出的预定图像区域。应当注意，在区域切出部分128中切出的图像区域的数目依据诸如移动物体或静止物体之类的检测的数目和在图像显示装置130侧设定的注意区域的数目而变化。
高分辨率编码器123用于对在区域切出部分128中切出的各个图像区域中的图像数据执行压缩编码，以生成第一压缩图像数据V1H。在这种情况下，如上所述，在区域切出部分128中切出的图像区域的数目为2或更大的情况下，从高分辨率编码器123中获得多条第一压缩图像数据V1H。
图像数据处理部分112-1的其它配置和操作类似于图4所示出的那些。此外，图中略去的图像数据处理部分112-2到112-n的配置和操作类似于图像数据处理部分112-1的配置和操作。
在如图11所示地配置图像发送装置110的情况下，在图像数据处理部分112-1到112-n中，从相机部分所输出的图像数据中切出预定图像区域(例如，诸如移动物体或静止物体之类的检测位置区域或者在图像显示装置130侧设定的注意区域)的图像数据，藉此可以生成第一分辨率的第一压缩图像数据。
因此，即使当相机部分111-1到111-n的水平方向或垂直方向上的像素的数目很大时，由于选择性地仅对必要图像区域执行压缩编码以生成第一压缩图像数据，所以也可以减轻图像数据处理部分112-1到112-n中的处理负荷。应当注意，在这种情况下，在图像显示装置130中，可以执行在移动物体、静止物体等的检测位置中和在设定的注意区域处的高分辨率图像的显示，但是可能无法在全景图像上的任意位置中执行高分辨率图像的显示。
此外，根据上述实施例，已经描述了这样一个示例，其中，仅一种类型的第二分辨率的第二压缩图像数据被在图像发送装置110侧生成并被发送到图像显示装置130。但是，还可以想到，在图像发送装置110侧，作为第二分辨率的第二压缩图像数据，多种类型的分辨率逐步变化的数据可以被生成并被发送到图像显示装置130。在这种情况下，在图像显示装置130侧，可以选择性地使用多种类型的第二分辨率，并且可以很容易地执行图像大小等的改变。
在上述实施例中，将要捕获的图像并不限于动画图像(motion pictureimage)，而可以是静止图像。但是，动画图像具有大于静止图像的数据容量，因此上述实施例的效果也更加显著。
另外，已经作为示例来描述使用多个相机拍摄图像的装置，但是并不限于以上示例。所述装置可以采用这样一种配置，即，对一个相机执行旋转控制的同时，可以通过执行多次图像拍摄来获得一个全景图像。
此外，在图像显示装置130中，上述实施例当然可以应用于没有显示器136的图像处理装置。
本领域技术人员应当了解，在所附权利要求或其等同物的范围内，根据设计要求和其它因素可以进行各种修改、组合、子组合和变化。相关申请的交叉引用
本发明包含与2007年3月9日在日本专利局提交的日本专利申请JP2007-059596相关的主题，该申请的全部内容通过引用而结合于此。

Claims (25)

1.一种图像显示系统，包括：
图像发送装置；和
图像显示装置，
所述图像发送装置通过网络被连接到所述图像显示装置，
所述图像发送装置包括：
多个相机部分，用于输出与通过将全景图像分割成多个片断而获得的各个分割图像相对应的第一分辨率的图像数据，
多个图像数据处理部分，用于对从所述各个相机部分输出的所述第一分辨率的图像数据执行处理，从而通过对第一分辨率的图像数据进行压缩编码来生成第一压缩图像数据，并用于对所述第一分辨率的图像数据执行处理来获得第二分辨率的图像数据，从而通过对所述第二分辨率的图像数据进行压缩编码来生成第二压缩图像数据，其中，所述第二分辨率低于所述第一分辨率，以及
数据发送部分，用于将在所述各个图像数据处理部分中生成的所述第一压缩图像数据和所述第二压缩图像数据发送到所述图像显示装置，
所述图像显示装置包括：
数据接收部分，用于接收从所述图像发送装置发送的所述第一压缩图像数据和所述第二压缩图像数据，
第一图像数据生成部分，用于使用在所述数据接收部分中接收的多条所述第二压缩图像数据的解码数据来生成用于显示所述全景图像的全景图像数据，
视角确定部分，用于确定在所述全景图像上的高分辨率视角，
第二图像数据生成部分，用于使用所述数据接收部分所接收的所述多条第一压缩图像数据中的与在所述视角确定部分中确定的所述高分辨率视角相对应的分割图像的第一压缩图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据，以及
显示部分，用于在显示器上显示基于在所述第一图像数据生成部分中生成的所述全景图像数据的全景图像和基于在所述第二图像数据生成部分中生成的所述高分辨率图像数据的高分辨率图像。
2.一种图像发送装置，包括：
多个相机部分，用于输出与通过将全景图像分割成多个片断而获得的各个分割图像相对应的第一分辨率的图像数据；
多个图像数据处理部分，用于对从所述各个相机部分输出的所述第一分辨率的图像数据执行处理，从而通过对第一分辨率的图像数据进行压缩编码来生成第一压缩图像数据，并用于对所述第一分辨率的图像数据执行处理来获得第二分辨率的图像数据，从而通过对所述第二分辨率的图像数据进行压缩编码来生成第二压缩图像数据，其中，所述第二分辨率低于所  述第一分辨率；以及
数据发送部分，用于发送在所述各个图像数据处理部分中生成的所述第一压缩图像数据和所述第二压缩图像数据。
3.如权利要求2所述的图像发送装置，其中：
所述各个图像数据处理部分还生成包括下述检测信息之一的元数据，所述检测信息是通过对从所述相机部分输出的图像数据进行处理而检测到的关于移动物体或静止物体的检测信息和来自外部传感器的检测信息；并且
除了在所述各个图像数据处理部分中生成的所述第一压缩图像数据和第二压缩图像数据之外，所述数据发送部分还发送在所述各个图像数据处理部分中生成的所述元数据。
4.如权利要求2所述的图像发送装置，其中，所述各个图像数据处理部分使用比用于生成所述第二压缩图像数据的帧数目少的帧来生成所述第一压缩图像数据。
5.如权利要求2所述的图像发送装置，其中，所述各个图像数据处理部分从所述相机部分所输出的图像数据中切出预定图像区域处的图像数据，并对所切出的图像数据执行压缩编码，从而生成所述第一压缩图像数据。
6.如权利要求5所述的图像发送装置，其中，所述各个图像数据处理部分基于所述通过对从所述相机部分输出的图像数据进行处理而检测到的关于所述移动物体或静止物体的检测信息和所述来自外部传感器的检测信息之一来确定所述预定图像区域。
7.如权利要求5所述的图像发送装置，其中：
所述各个图像数据处理部分还包括信息接收部分，用于接收关于在所述全景图像上设定的注意区域的信息；并且
所述各个图像数据处理部分基于在所述信息接收部分中接收的所述注意区域信息来确定所述预定图像区域。
8.如权利要求3所述的图像发送装置，其中，所述全景部分是动画图像。
9.如权利要求4所述的图像发送装置，其中，所述全景图像是动画图像。
10.如权利要求5所述的图像发送装置，其中，所述全景图像是动画图像。
11.一种发送与全景图像相对应的图像数据的图像发送方法，
所述方法包括以下步骤：
通过使用与通过将所述全景图像分割成多个片断而获得的各个分割图像相对应的多个相机来捕获图像；
通过对在所述捕获时从所述各个相机输出的第一分辨率的图像数据执行处理，从而通过对所述第一分辨率的图像数据进行压缩编码来生成第一压缩图像数据；
通过对在所述拾取时从所述各个相机输出的第一分辨率的图像数据执行处理来获得第二分辨率的图像数据，从而通过对所述第二分辨率的图像数据进行压缩编码来生成第二压缩图像数据，其中，所述第二分辨率低于所述第一分辨率；以及
发送所述第一压缩图像数据和所述第二压缩图像数据。
12.一种用于生成在显示器上显示的图像的图像处理装置，
所述图像处理装置包括：
数据接收部分，用于接收多条第一压缩图像数据和多条第二压缩图像数据，其中，所述第一压缩图像数据是通过对第一分辨率的图像数据进行压缩编码而获得的，所述第一分辨率的图像数据是通过对与通过将全景图像分割成多个片断而获得的分割图像相对应的各条图像数据执行处理而生成的，而所述第二压缩图像数据是通过对第二分辨率的图像数据进行压缩编码来获得的，所述第二分辨率的图像数据是通过对所述第一分辨率的图像数据执行处理来获得的，所述第二分辨率低于所述第一分辨率；
第一图像数据生成部分，用于使用在所述数据接收部分中接收的多条所述第二压缩图像数据的解码数据来生成用于显示所述全景图像的全景图像数据；
视角确定部分，用于确定在所述全景图像上的高分辨率视角；
第二图像数据生成部分，用于使用所述数据接收部分所接收的所述多条第一压缩图像数据中的与在所述视角确定部分中确定的所述高分辨率视角相对应的分割图像的第一压缩图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据；以及
输出部分，用于在显示器上输出在所述第一图像数据生成部分中生成的所述全景图像数据和在所述第二图像数据生成部分中生成的所述高分辨率图像数据。
13.如权利要求12所述的图像处理装置，其中，所述视角确定部分基于用户针对在所述显示器上显示的所述全景图像上的位置的选择操作来确定所述高分辨率视角。
14.如权利要求12所述的图像处理装置，其中：
所述数据接收部分还接收包括下述检测信息之一的元数据，所述检测信息是通过对所述各个图像数据进行处理而检测到的关于移动物体或静止物体的检测信息，以及来自与所述各个相机部分相对应地设置的外部传感器的检测信息；
所述图像处理装置还包括第三图像数据生成部分，该第三图像数据生成部分用于使用在所述数据接收部分所接收的所述多条第二压缩图像数据中的与所述数据接收部分所接收的多条所述元数据中包括的所述检测信息所指示的检测位置相对应的分割图像的第二压缩图像数据的解码数据来生成用于显示检测位置图像的检测位置图像数据；并且
除了在所述第一图像数据生成部分中生成的所述全景图像数据和在所述第二图像数据生成部分中生成的所述高分辨率图像数据之外，所述输出部分还向所述显示器输出在所述第三图像数据生成部分中生成的所述检测位置图像数据。
15.如权利要求14所述的图像处理装置，其中，所述视角确定部分基于用户针对在所述显示器上显示的所述检测位置图像而执行的选择操作来确定所述高分辨率视角。
16.如权利要求12所述的图像处理装置，还包括：
注意区域设定部分，用于在显示在所述显示器上的所述全景图像上设定注意区域；以及
第四图像数据生成部分，用于使用与在所述注意区域设定部分中设定的所述注意区域相对应的分割图像的第二压缩图像数据的解码数据来生成用于显示注意区域图像的注意区域图像数据，
其中，除了在所述第一图像数据生成部分中生成的所述全景图像数据和在所述第二图像数据生成部分中生成的所述高分辨率图像数据之外，所述输出部分还向所述显示器输出在所述第四图像数据生成部分中生成的所述注意区域图像数据。
17.如权利要求16所述的图像处理装置，其中，所述视角确定部分基于用户针对在所述显示器上显示的所述注意区域图像而执行的选择操作来确定所述高分辨率视角。
18.如权利要求12所述的图像处理装置，其中，所述第二图像数据生成部分按预定比率使用与在所述视角确定部分中确定的所述高分辨率视角相对应的分割图像的所述第一压缩图像数据和所述第二压缩图像数据来生成用于显示所述高分辨率图像的高分辨率图像数据。
19.如权利要求12所述的图像处理装置，其中：
通过在与通过将所述全景图像分割成多个片断而获得的所述各个分割图像相对应的所述相机部分中的图像拾取来获得所述各条图像数据；并且
所述全景图像是动画图像。
20.如权利要求14所述的图像处理装置，其中：
通过在与通过将所述全景图像分割成多个片断而获得的所述各个分割图像相对应的所述相机部分中的图像拍摄来获得所述各条图像数据；并且
所述全景图像是动画图像。
21.如权利要求16所述的图像处理装置，其中：
通过在与通过将所述全景图像分割成多个片断而获得的所述各个分割图像相对应的所述相机部分中的图像拍摄来获得所述各条图像数据；并且
所述全景图像是动画图像。
22.如权利要求19所述的图像处理装置，其中，在同一屏幕上显示所述全景图像和所述高分辨率图像。
23.如权利要求20所述的图像处理装置，其中，在同一屏幕上显示所述全景图像、所述高分辨率图像和所述检测位置图像。
24.如权利要求21所述的图像处理装置，其中，在同一屏幕上显示所述全景图像、所述高分辨率图像和所述注意区域图像。
25.一种图像显示方法，包括以下步骤：
接收多条第一压缩图像数据和多条第二压缩图像数据，其中，所述第一压缩图像数据是通过对第一分辨率的图像数据进行压缩编码而获得的，所述第一分辨率的图像数据是通过在相应的相机部分对通过将全景图像分割成多个片断而获得的分割图像进行拾取时获得的各条图像数据执行处理而生成的，而所述第二压缩图像数据是通过对第二分辨率的图像数据进行压缩编码来获得的，所述第二分辨率的图像数据是通过对所述第一分辨率的图像数据执行处理来获得的，所述第二分辨率低于所述第一分辨率；
使用在所述接收时接收的多条所述第二压缩图像数据的解码数据来生成用于显示所述全景图像的全景图像数据；
确定所述全景图像上的高分辨率视角；
使用在所述接收时接收的所述多条第一压缩图像数据中的与在所述确定时确定的所述高分辨率视角相对应的分割图像的所述第一压缩图像数据的解码数据来生成用于显示高分辨率图像的高分辨率图像数据；以及
在显示器上输出基于所生成的全景图像数据的所述全景图像和基于所生成的高分辨率图像数据的所述高分辨率图像。
CN2008100855080A 2007-03-09 2008-03-10 图像显示系统、装置和方法,图像发送装置和方法 Expired - Fee Related CN101262597B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007059596A JP4345829B2 (ja) 2007-03-09 2007-03-09 画像表示システム、画像表示装置、画像表示方法およびプログラム
JP2007059596 2007-03-09
JP2007-059596 2007-03-09

Publications (2)

Publication Number Publication Date
CN101262597A CN101262597A (zh) 2008-09-10
CN101262597B true CN101262597B (zh) 2010-09-01

Family

ID=39762255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100855080A Expired - Fee Related CN101262597B (zh) 2007-03-09 2008-03-10 图像显示系统、装置和方法,图像发送装置和方法

Country Status (3)

Country Link
US (1) US8305424B2 (zh)
JP (1) JP4345829B2 (zh)
CN (1) CN101262597B (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
JP5359783B2 (ja) * 2009-10-28 2013-12-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110292222A1 (en) * 2010-05-28 2011-12-01 Eu3C Company, Limited Photo-video player with automatic image file size reduction
JP5023193B2 (ja) * 2010-06-28 2012-09-12 株式会社東芝 情報処理装置
KR101300873B1 (ko) * 2011-10-11 2013-08-27 서울시립대학교 산학협력단 클라우드 컴퓨팅 기반의 영상 코딩 방법 및 장치
WO2013140697A1 (ja) * 2012-03-22 2013-09-26 ソニー株式会社 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US9564186B1 (en) * 2013-02-15 2017-02-07 Marvell International Ltd. Method and apparatus for memory access
EP2802122A1 (en) * 2013-05-07 2014-11-12 Nagravision S.A. A Media Player for Receiving Media Content from a Remote Server
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
CN103700132A (zh) * 2013-12-19 2014-04-02 湖北视纪印象科技股份有限公司 一种3d场景的广域尺寸渲染方法
JP5835383B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
CN103927005B (zh) 2014-04-02 2017-02-01 北京智谷睿拓技术服务有限公司 显示控制方法及显示控制装置
CN105389313A (zh) * 2014-09-04 2016-03-09 华为技术有限公司 图片预览方法及其装置
US10102590B1 (en) 2014-10-02 2018-10-16 United Services Automobile Association (Usaa) Systems and methods for unmanned vehicle management
US11688014B1 (en) 2014-10-02 2023-06-27 United Services Automobile Association (Usaa) Systems and methods for unmanned vehicle management
US10719939B2 (en) 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US10586378B2 (en) 2014-10-31 2020-03-10 Fyusion, Inc. Stabilizing image sequences based on camera rotation and focal length parameters
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10726560B2 (en) 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
CN104410822B (zh) * 2014-11-24 2018-04-20 深圳市华宝电子科技有限公司 视频监控方法和车载视频监控设备
JP2016126209A (ja) * 2015-01-06 2016-07-11 大日本印刷株式会社 画像表示装置、画像表示方法、およびプログラム
US10365646B1 (en) 2015-01-27 2019-07-30 United Services Automobile Association (Usaa) Systems and methods for unmanned vehicle management
KR20160094655A (ko) * 2015-02-02 2016-08-10 주식회사 일리시스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
US10911781B2 (en) * 2015-03-05 2021-02-02 Sony Corporation Image processing device and image processing method for encoding/decoding omnidirectional images at different resolutions
US9939810B1 (en) 2015-04-17 2018-04-10 United Services Automobile Association Indoor drone flight awareness system
KR20180018522A (ko) * 2015-06-12 2018-02-21 소니 주식회사 정보 처리 장치 및 정보 처리 방법
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9609176B2 (en) * 2015-08-27 2017-03-28 Nokia Technologies Oy Method and apparatus for modifying a multi-frame image based upon anchor frames
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
WO2017086355A1 (ja) * 2015-11-17 2017-05-26 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および送受信システム
CN105635675B (zh) * 2015-12-29 2019-02-22 北京奇艺世纪科技有限公司 一种全景播放方法和装置
CN105491353B (zh) * 2016-01-15 2018-12-18 广东小天才科技有限公司 一种远程监控方法和装置
US10354386B1 (en) 2016-01-27 2019-07-16 United Services Automobile Association (Usaa) Remote sensing of structure damage
US10169856B1 (en) 2016-01-27 2019-01-01 United Services Automobile Association (Usaa) Laser-assisted image processing
CN105791882B (zh) 2016-03-22 2018-09-18 腾讯科技（深圳）有限公司 视频编码方法及装置
JP6742444B2 (ja) * 2016-06-07 2020-08-19 ヴィズビット インコーポレイテッド ライブストリーミング用のバーチャルリアリティ３６０度ビデオカメラシステム
US10313686B2 (en) * 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN107959787B (zh) * 2016-10-17 2020-04-28 杭州海康威视数字技术股份有限公司 一种图像处理方法及装置
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10353946B2 (en) 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
WO2018134947A1 (ja) * 2017-01-19 2018-07-26 株式会社ソニー・インタラクティブエンタテインメント 画像配信装置
US11044464B2 (en) 2017-02-09 2021-06-22 Fyusion, Inc. Dynamic content modification of image and video based multi-view interactive digital media representations
US10440351B2 (en) 2017-03-03 2019-10-08 Fyusion, Inc. Tilts as a measure of user engagement for multiview interactive digital media representations
US10356395B2 (en) 2017-03-03 2019-07-16 Fyusion, Inc. Tilts as a measure of user engagement for multiview digital media representations
US10237477B2 (en) 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10200677B2 (en) 2017-05-22 2019-02-05 Fyusion, Inc. Inertial measurement unit progress estimation
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107333124B (zh) * 2017-06-30 2019-03-26 武汉精测电子集团股份有限公司 Aoi检测系统中的图片压缩方法及显示面板缺陷检测系统
CN107197166A (zh) * 2017-08-01 2017-09-22 哈尔滨市舍科技有限公司 一种双分辨率一体式全景摄像装置及方法
US10356341B2 (en) 2017-10-13 2019-07-16 Fyusion, Inc. Skeleton-based effects and background replacement
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
JP7315303B2 (ja) * 2018-01-26 2023-07-26 株式会社アイシン 画像処理装置
US10687046B2 (en) 2018-04-05 2020-06-16 Fyusion, Inc. Trajectory smoother for generating multi-view interactive digital media representations
US10382739B1 (en) 2018-04-26 2019-08-13 Fyusion, Inc. Visual annotation using tagging sessions
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US20220101498A1 (en) * 2019-03-15 2022-03-31 Sony Group Corporation Video distribution system, video distribution method, and display terminal
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
WO2022032589A1 (zh) * 2020-08-13 2022-02-17 深圳市大疆创新科技有限公司 全景回放的方法、装置和系统、拍摄设备、可移动平台
CN113438495A (zh) * 2021-06-23 2021-09-24 中国联合网络通信集团有限公司 Vr直播方法、装置、系统、设备及存储介质
CN114222061B (zh) * 2021-12-10 2024-03-22 中国人民解放军96901部队25分队 一种光电周扫的实时图像拼接与交互方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3240339B2 (ja) 1993-11-16 2001-12-17 コニカ株式会社 画像撮影装置及び画像処理装置
US5710661A (en) * 1996-06-27 1998-01-20 Hughes Electronics Integrated panoramic and high resolution sensor optics
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US6137534A (en) * 1997-07-10 2000-10-24 Flashpoint Technology, Inc. Method and apparatus for providing live view and instant review in an image capture device
JP4244394B2 (ja) 1998-02-17 2009-03-25 富士ゼロックス株式会社 多地点会議システム
US6870680B2 (en) 2001-08-17 2005-03-22 Sony Corporation Imaging device
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US20020063711A1 (en) * 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
AU2001264723A1 (en) * 2000-05-18 2001-11-26 Imove Inc. Multiple camera video system which displays selected images
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP4051945B2 (ja) 2001-02-07 2008-02-27 ソニー株式会社 撮像装置
US7130490B2 (en) * 2001-05-14 2006-10-31 Elder James H Attentive panoramic visual sensor
JP2003018583A (ja) 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
JP4211319B2 (ja) 2001-08-17 2009-01-21 ソニー株式会社 撮像装置
JP2003087772A (ja) 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
JP2004062103A (ja) 2002-07-31 2004-02-26 Sony Corp 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
JP2004187068A (ja) 2002-12-04 2004-07-02 Canon Inc パノラマ画像撮影システム
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
JP2005142654A (ja) 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
US7746404B2 (en) * 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
JP2005176301A (ja) 2003-11-11 2005-06-30 Canon Inc 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム
JP4349129B2 (ja) 2004-01-06 2009-10-21 株式会社ニコン インターバル撮影機能付きの電子カメラ、その画像再生装置、および画像再生プログラム
JP2005333552A (ja) 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
US20060268360A1 (en) 2005-05-12 2006-11-30 Jones Peter W J Methods of creating a virtual window
US7839429B2 (en) * 2005-05-26 2010-11-23 Hewlett-Packard Development Company, L.P. In-camera panorama stitching method and apparatus
US20080180520A1 (en) * 2007-01-26 2008-07-31 Chao-Hung Chang System and method for variable-resolution image saving

Also Published As

Publication number Publication date
JP4345829B2 (ja) 2009-10-14
CN101262597A (zh) 2008-09-10
US8305424B2 (en) 2012-11-06
JP2008225600A (ja) 2008-09-25
US20080225132A1 (en) 2008-09-18

Similar Documents

Publication Publication Date Title
CN101262597B (zh) 图像显示系统、装置和方法,图像发送装置和方法
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US9756328B2 (en) System, terminal, and method for dynamically adjusting video
US6104425A (en) Method and apparatus for transmitting television signals, method and apparatus for receiving television signals, and method and apparatus for transmitting/receiving television signals
JP5326234B2 (ja) 画像送信装置、画像送信方法および画像送信システム
AU2022201303A1 (en) Selective capture and presentation of native image portions
US20020054211A1 (en) Surveillance video camera enhancement system
US20070070199A1 (en) Method and apparatus for automatically adjusting monitoring frames based on image variation
CN103828339A (zh) 用于数字图像检索的拼接过程
CN102801963A (zh) 基于高清数字摄像头监控的电子ptz方法及装置
CN103607578B (zh) 基于视频编码的全视角图片浏览系统
US20060168350A1 (en) Image processing apparatus
CN102939573A (zh) 有线电视系统订户的屏幕缩放特征
KR20160094655A (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
CN106775540A (zh) 一种超高分辨率gis地图控制大屏系统及方法
CN111510643B (zh) 全景图和特写图的拼接系统及方法
EP1719342B1 (en) Method of visualizing a large still picture on a small-size display.
JP2019149785A (ja) 映像変換装置及びプログラム
CN109756727B (zh) 信息显示方法及相关设备
JP2006279893A (ja) 画像処理装置及び画像処理方法
US11039173B2 (en) Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method
JP2005269016A (ja) 選択的解像度変換装置
JP2003153213A (ja) 映像生成装置および受信装置
JPH09298469A (ja) 画像通信システム
JP2010016713A (ja) コンテンツ配信装置および表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100901

Termination date: 20160310