CN101529893B - 网络影像合成显示系统 - Google Patents
网络影像合成显示系统 Download PDFInfo
- Publication number
- CN101529893B CN101529893B CN2006800561866A CN200680056186A CN101529893B CN 101529893 B CN101529893 B CN 101529893B CN 2006800561866 A CN2006800561866 A CN 2006800561866A CN 200680056186 A CN200680056186 A CN 200680056186A CN 101529893 B CN101529893 B CN 101529893B
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- synthetic
- synthetic parameters
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000004321 preservation Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000011282 treatment Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000010189 synthetic method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- VYMDGNCVAMGZFE-UHFFFAOYSA-N phenylbutazonum Chemical class O=C1C(CCCC)C(=O)N(C=2C=CC=CC=2)N1C1=CC=CC=C1 VYMDGNCVAMGZFE-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Circuits (AREA)
Abstract
本发明提供一种网络影像合成显示系统。使用多个发送装置(110、111、112)经由网络组播发送使用多个照相机(101、102、103)摄影的照相机影像,合成参数计算装置(105)使用上述照相机影像,与影像处理装置对应地计算出为了合成显示在显示装置(113、114、115、116)中的显示影像而所需的合成参数,向影像处理装置(106、107、108、109)发送该合成参数,影像处理装置(106、107、108、109)根据该合成参数,从照相机影像合成显示影像。由此,使用各影像处理装置分散进行显示影像的合成处理。
Description
技术领域
本发明涉及使利用与网络连接的多个照相机摄影的影像显示在与网络连接的多个显示装置上的网络影像合成显示系统。
背景技术
作为具有用于显示使用远距离的照相机摄影的影像的功能的装置,包括电视等存在多种。另外,近年来,伴随因特网等网络的发展,使利用与网络连接的照相机摄影的影像显示在个人计算机中的技术也得到了普及。另外,还提出了如下的显示系统:通过合成使用多个照相机摄影的影像,显示比可以使用一个照相机摄影的范围更宽范围的影像(例如专利文献1)。另外,为了显示大的影像而连接多个显示处理装置的影像以作为一个大的影像进行显示的多重大画面装置也得到了产品化。
专利文献1:日本特开2002-244683号公报
但是,在从使用多个照相机摄影的影像制作一个合成影像,并经由网络向远距离地设置的显示装置发送该合成影像,且显示装置显示所接收到的合成影像的系统中,伴随照相机台数的增加,影像合成处理的负荷变大,所以影像合成处理成为系统动作的瓶颈。即,存在可以同时处理的照相机影像的数量受到影像合成的处理能力的限制这样的课题。
另外,由于伴随照相机台数的增加而合成影像的数据量也增加,所以还存在合成影像的网络发送时的网络负荷增大这样的课题。另外,显示装置由多个显示装置构成,在组合多个显示装置的显示影像来显示一个合成影像的情况下,各显示装置还需要与自己的显示区域对应地分割/选择所接收到的合成影像的一部分的处理,还存在显示装置的处理负荷也变高这样的课题。
发明内容
本发明是为了解决上述课题而完成的,其目的在于提供一种网络影像合成显示系统,可以消除由于照相机台数的增加而引起的影像合成处理的瓶颈,并且可以降低影像传送中的网络的通信业务量。
本发明的网络影像合成显示系统使用多个发送装置经由网络组播(multicast)发送使用多个照相机摄影的照相机影像,合成参数计算装置使用上述照相机影像,与影像处理装置对应地计算出为了合成显示在各显示装置中的显示影像而所需的合成参数,向各影像处理装置发送该合成参数,影像处理装置根据该合成参数,从照相机影像合成显示影像。
根据本发明的网络影像合成显示系统,具有如下效果:各影像处理装置仅对显示在一个显示装置上的显示影像进行合成处理,所以与使用一个影像处理装置对显示在所有显示装置上的影像进行合成处理的情况相比,处理负荷不会集中,而不发生合成处理的瓶颈。另外,由于无需在网络上发送合成影像,所以还具有可以降低网络负荷这样的效果。
附图说明
图1是本发明的实施方式1的网络影像合成显示系统的结构图。
图2是示出使用多个照相机摄影的照相机影像的相互关系的图。
图3是示出本发明的实施方式1的合成参数计算装置的动作流程的图。
图4是示出影像校正处理后的各照相机的照相机影像的图。
图5是示出各照相机影像的共同影像区域的图。
图6是示出影像区域的设定例子的图。
图7是示出影像区域的分割例子的图。
图8是示出显示区域与照相机影像的对应关系的一个例子的图。
图9是示出合成参数的设定内容的图。
图10是示出影像处理装置的动作流程的图。
图11是示出影像处理装置中的影像合成方法的图。
图12是示出在显示装置上显示的合成后的所有影像的图。
图13是示出本发明的实施方式2的合成参数计算装置的动作流程的图。
图14是本发明的实施方式3的网络影像合成显示系统的结构图。
(附图标记说明)
101、102、103照相机
104网络
105合成参数计算装置
106、107、108、109影像处理装置
110、111、112发送装置
113、114、115、116显示装置
具体实施方式
实施方式1
根据图1对本发明的实施方式1的网络影像合成显示系统的结构进行说明。该网络影像合成显示系统包括:用于摄影影像的照相机101、102、103;将利用这些照相机摄影的影像经由网络104组播发送到合成参数计算装置105以及影像处理装置106、107、108、109的发送装置110、111、112;计算出在合成多个照相机影像时使用的合成参数,并将所计算出的合成参数经由网络104发送到影像处理装置106、107、108、109的合成参数计算装置105;根据从发送装置110、111、112接收到的照相机影像以及从合成参数计算装置105接收到的合成参数,合成显示影像的影像处理装置106、107、108、109;以及显示所合成的显示影像的显示装置113、114、115、116。
另外,网络104是支持组播传送的网络,也可以是因特网、专用通信线路、LAN等中的任意一个。另外,在图1中使用了三台照相机和四台显示装置,但照相机的台数以及显示装置的台数不限于此。
接下来,对实施方式1的网络影像合成显示系统的动作进行说明。图2是示出利用三台照相机101、102、103摄影了风景201而得到的影像的相互关系的例子。在图2(a)中,将照相机101摄影而得到的影像设为照相机影像202,将照相机102摄影而得到的影像设为照相机影像203,将照相机103摄影而得到的影像设为照相机影像204。如图2(a)所示,照相机影像202、203、204具有部分地与其他照相机影像重合的影像区域,进行摄影以整体上含盖风景201。但是,在照相机的设置中难以严密地对准照相机间相互的位置姿势,所以一般如图所示各照相机影像具有不同的倾斜、尺度(scale)。因此,在使照相机影像202、203、204显示于显示装置113、114、115、116上时,即使单纯地使照相机影像并排显示,也如图2(b)所示,各显示影像的边界区域不连续。另外,在实施方式1中,固定设置照相机101、102、103,并在摄影期间内不变动照相机的角度等的设定。
照相机101向发送装置110输出照相机影像202。同样地,照相机102向发送装置111输出照相机影像203,照相机103向发送装置112输出照相机影像204。
发送装置110将由照相机101摄影而得到的照相机影像202变换成适合于网络发送的形式,经由网络104组播发送给合成参数计算装置105以及影像处理装置106、107、108、109。同样地,发送装置111、112将由照相机102、103分别摄影而得到的照相机影像203、204组播发送给合成参数计算装置105以及影像处理装置106、107、108、109。
合成参数计算装置105计算出在使用照相机影像202、203、204来合成由影像处理装置106、107、108、109使显示装置113、114、115、116显示的显示影像时使用的合成参数后,向影像处理装置106、107、108、109发送该计算出的合成参数。另外,合成参数是与各影像处理装置对应地计算出的,对各影像处理装置仅分别发送对应的合成参数。图3是示出合成参数计算装置105的动作流程的图。以下,根据附图对合成参数计算装置105的动作进行说明。
合成参数计算装置105首先从发送装置110、111、112中接收照相机影像202、203、204(影像接收处理:步骤S301)。接下来,对所接收到的照相机影像202、203、204进行比较,检测各照相机影像间的共同部分(影像比较处理:步骤S302)。此处,对检测各照相机影像间的共同部分的方法没有限定,作为一般的手法之一,有抽取各影像的特征性的点,并检查该特征点是否共同存在于各影像中的方法。作为具体的手法,有SIFT(Scale Invariant Feature Transform)。
接下来,求出用于校正各影像间的偏差以使所接收到的照相机影像的共同部分不产生偏差而重合的影像校正参数(影像校正参数生成处理:步骤S303)。
此处,对影像校正参数的作用进行说明。照相机影像202、203、204由于是由不同的照相机101、102、103摄影而得到的,所以影像的比例尺、倾斜、照相机的视点等不同,即使将照相机影像直接重合,也产生偏差。因此,需要校正照相机影像202、203、204以使各照相机影像的共同部分不产生偏差而重合。图4示出对照相机影像202、203、204进行影像校正而得到的校正影像401、402、403,示出各校正影像内的共同的物体具有相同的倾斜、相同的大小的状态。影像校正参数是指定这样的与照相机影像对应的影像校正量的参数。
另外,在本实施方式中,对影像校正参数的具体的形式、导出手法没有限定,通常公知的是,例如在摄影远景的情况下,如果在各影像间可以检测四个点以上的共同点,则求出平面射影变换(Homography)而作为校正参数。
接下来,生成用于调整亮度、颜色等画质的画质调整参数(画质调整参数生成处理:步骤S304)。图5示出重合了图4所示的校正影像的样子。在图5中与图4相同的部分用同一标号表示。共同影像区域501表示在重合校正影像401与校正影像402时共同的影像区域,共同影像区域502表示在重合校正影像402与校正影像403时共同的影像区域。在图像合成时,共同影像区域501、502部分被相加两个校正影像,从而亮度与单独的影像区域部分不同,所以需要调整亮度。另外,当由于光的反射、照相机参数的差异而共同影像区域部分的颜色在影像间不同的情况下,还需要调整颜色成分。画质调整参数用于规定画质调整量,该画质调整量用于在如上所述重合各校正影像时在影像间的画质中不产生不均匀。画质调整参数的生成处理还被称为颜色校正、混合(blending),作为影像合成时的调整手法,提出了各种手法。
接下来,设定在显示装置113、114、115、116中显示的影像区域(显示区域设定处理:步骤S305)。如图5所示,步骤S304结束时的由校正影像401、402、403构成的合成影像整体的区域形状一般是凹凸形状。因此,该形状与将显示影像的显示装置113、114、115、116的各显示区域合起来的显示区域整体的形状通常不同。因此,需要与显示装置的显示区域整体的形状对应地,设定所显示的影像区域。
此处,设为将显示装置113、114、115、116的显示区域合起来的整体形状为长方形而进行说明。在图6中,作为影像区域的设定例子,示出影像区域601和影像区域602这两个情况。由于显示装置113、114、115、116的显示区域整体的形状为长方形,所以影像区域601、602的形状都为长方形。在影像区域601的情况下,由于在其区域内存在不包含于校正影像401、402、403中的任意一个影像中的区域,所以这样的区域需要用黑色等预定的颜色涂满等处理。与其相对,影像区域602是将该区域内部被包含于校正影像401、402、403中的任意一个中那样的最大长方形设定成影像区域的例子。在以后的说明中,将影像区域602设定成显示区域而进行说明。
接下来,设定向影像处理装置106、107、108、109发送的合成参数(合成参数设定处理:步骤S306)。在步骤S306中,首先,与显示装置113、114、115、116的各显示区域的形状对应地分割通过显示区域设定处理S305设定的影像区域602。此处,如图7所示,将影像区域602分割成四个叠合的长方形的区域,分别设成在显示装置113、114、115、116中显示的显示区域702、703、704、705。
接下来,决定各显示区域702、703、704、705与校正影像401、402、403的合成的对应关系。图8是示出该对应关系的一个例子的图。在该例子中,首先显示区域702中显示的影像由校正影像401和402合成,显示区域703中显示的影像由校正影像402和403合成,显示区域704中显示的影像由校正影像401和402合成,显示区域705中显示的影像由校正影像402和403合成。然后,决定为了合成各显示区域而所需的从各校正影像中切出的部分区域。例如,作为显示区域702的合成用,将作为显示区域702与校正影像401的共同部分的部分区域702a、以及作为显示区域702与校正对象402的共同部分的部分区域702b这两个部分区域设定成从校正影像401和402中抽取的部分区域。此处,如图8所示,部分区域702a和702b具有重叠的区域。另外,还计算出部分区域702a、702b各自在显示区域702中的显示位置。
接下来,使用到此为止求出的各值,设定在影像处理装置106、107、108、109进行影像合成处理时使用的合成参数。合成参数包括:指定发送应接收的照相机影像的发送装置的“影像选择参数”;以及指定从所接收到的照相机影像合成显示影像时的影像合成处理内容的“影像处理参数”。另外,“影像处理参数”包括:指定所接收到的照相机影像中的影像合成处理中使用的部分区域的“区域范围参数”;可以用使照相机影像内的点映射到显示区域内的对应的点上的变换矩阵来表现的“影像变换参数”;用于校正亮度、色度等的“画质调整参数”。此处,可以根据通过影像校正参数生成处理S303生成的作为影像的尺度、倾斜的校正量的影像校正参数、和利用“区域范围参数”指定的各部分区域与显示区域的对应关系来计算出变换矩阵。
作为一个例子,图9示出影像处理装置106使用的合成参数。影像处理装置106使用从发送装置110接收到的照相机影像202和从发送装置111接收到的影像203,合成显示在显示装置113中的显示影像,所以合成参数的“影像选择参数”成为发送装置110和发送装置111,每个发送装置110、111的“影像处理参数”分别被设定。另外,在“影像处理参数”中,包含“区域范围参数”、“影像变换参数”以及“画质调整参数”。
最后,向各影像处理装置发送所设定的合成参数(合成参数发送处理:步骤S306)。即,向影像处理装置106发送影像处理装置106用的合成参数。同样地,向影像处理装置107、108、109分别发送影像处理装置107、108、109用的合成参数。这样生成针对每个影像处理装置用的合成参数,并独立地发送给各影像处理装置。
另外,在本系统起动时,作为初始设定处理,进行一次合成参数计算装置105的合成参数计算、以及向各影像处理装置的发送既可。
接下来,对影像处理装置106、107、108、109的动作进行说明。图10是示出影像处理装置的动作流程的图。以下,根据附图对影像处理装置的动作进行说明。另外,影像处理装置106、107、108、109都按照同样的动作步骤进行动作,所以此处以影像处理装置106为例子进行说明。
影像处理装置106接收合成参数计算装置105发送的影像处理装置106用的合成参数(合成参数接收处理:步骤S1001)。在以后的影像合成处理中使用所接收到的合成参数。此处,作为影像处理装置106用的合成参数,接收图9所示的合成参数。
接下来,接收利用合成参数的“影像选择参数”指定的发送装置所发送的照相机影像(影像接收处理:步骤S1002)。影像处理装置106按照图9的合成参数,接收发送装置110发送的照相机影像202和发送装置111发送的照相机影像203。
接下来,根据合成参数的“影像处理参数”中包含的“区域范围参数”的区域指定参数,从所接收到的照相机影像中抽取影像合成处理中使用的影像部分(影像区域抽取处理:步骤S1003)。利用图9的合成参数,影像处理装置106在从发送装置110接收到的照相机影像202以及从发送装置111接收到的照相机影像203中分别抽取部分区域。图11是说明影像处理装置106中的步骤S1003以后的处理的图。图11(a)示出从照相机影像202中抽取的部分区域1101和从照相机影像203中抽取的部分区域1102。
接下来,使用合成参数的“影像处理参数”中包含的“影像变换参数”,将所抽取的部分区域1101、1102变换成作为与显示区域702对应的形状的校正部分区域1103、1104(图11(b))(影像校正处理:步骤S1004)。
接下来,通过使用合成参数的“影像处理参数”中包含的“画质调整参数”,对校正部分区域1103、1104进行画质调整后进行重叠,而制作重叠影像1105(图11(c))(影像重叠处理:步骤S1005)。
接下来,将重叠影像1105作为一个显示影像1106(图11(d)),输出给显示装置113(影像显示处理:步骤S1006)。
其以后,通过反复步骤S1002~S1007的处理,可以使用从发送装置110、111接收到的照相机影像,持续地合成显示在显示装置113上的显示影像。
与影像处理装置106同样地,影像处理装置107、108、109也分别并行地动作,从而实时地处理从各照相机发送来的影像,并合成显示在各显示装置114、115、116上的显示影像。
显示装置113、114、115、116显示影像处理装置106、107、108、109所输出的显示影像。在这样如图12所示,排列配置了显示装置113、114、115、116时,可以进行作为整体一体化的作为一个影像的显示。
另外,在以上的说明中,将合成参数的“影像变换参数”规定成从照相机影像变换成显示影像的变换矩阵,但也可以用该变换矩阵的逆矩阵定义“影像变换参数”。在该情况下,作为“区域范围参数”,指定显示装置的显示区域中的部分区域。例如在影像处理装置106的情况下,作为“区域范围参数”,指定显示区域702a的范围既可。
另外,也可以在发送装置110、111、112中设置影像压缩编码处理,对照相机影像进行图像压缩,以削减了数据量的状态进行发送,并且在合成参数计算装置105以及影像处理装置106、107、108、109中设置压缩影像解码处理,对从发送装置接收到的压缩影像进行解码,还原照相机影像。由此,可以进一步减少照相机影像的发送中的网络负荷。
另外,也可以代替向各影像处理装置独立地发送各影像处理装置用的合成参数,而一并向所有影像处理装置组播发送各影像处理装置用的合成参数,各影像处理装置从所接收到的合成参数中仅选择影像合成处理中使用的参数来使用。
如上所述,实施方式1的网络影像合成显示系统具有如下效果:各影像处理装置仅对显示在一个显示装置中的影像进行合成处理,所以与用一个影像处理装置对所有显示装置的显示影像进行合成处理的情况相比,处理负荷不会集中,而不发生合成处理的瓶颈。另外,还具有如下效果:无需在网络上发送所合成的影像,所以可以降低网络负荷。
实施方式2
在实施方式1中,合成参数计算装置105仅计算一次合成参数而作为网络影像合成显示系统的初始处理,影像处理装置106、107、108、109将该合成参数应用于系统运用中的所有期间的影像合成处理中而进行动作。因此,在系统运用中的途中存在各照相机的设置位置、摄影对象的变更这样的设定变更的情况下,由于继续使用在设定变更前计算出的合成参数,在照相机的设定变更后的显示装置113、114、115、116的显示中产生偏差。与其相对,实施方式2中的网络影像合成显示系统即使在系统运用中的途中存在各照相机的设置位置的变更的情况下也可以正常地显示合成影像。构成实施方式2的系统的各装置的配置与图1所示的实施方式1中的系统结构相同。因此,以下着眼于与实施方式1的相异点,而对实施方式2的动作进行说明。
在实施方式2中也可以在影像摄影的途中变更照相机101、102、103的设定。例如,考虑各照相机的设置位置、摄影对象的变更。发送装置110、111、112与实施方式1的情况同样地,向合成参数计算装置105、以及影像处理装置106、107、108、109组播发送所摄影的照相机影像。
接下来,根据图13的动作流程图对合成参数计算装置105的动作进行说明。合成参数计算装置105中的从接收照相机影像到设定合成参数为止的处理(步骤S1301~S1307)是与实施方式1中的处理(图3的步骤S301~S306)相同的处理,所以省略说明。
接下来,将所计算出的合成参数与合成参数计算装置105内部的(未图示)存储介质中已经保存的上次计算出的合成参数进行比较(合成参数比较处理:步骤S1307)。另外,在系统起动后初次计算出合成参数的情况下,由于不存在上次的合成参数,所以不进行比较而设为比较结果“一致”并进行以后的处理。
在合成参数比较处理的结果为“不一致”的情况下,由于在照相机101、102、103中的某一个中存在设定变更,所以将所计算出的合成参数保存到合成参数计算装置105内部的存储介质中(合成参数保存处理:步骤S1308)。之后,向各影像处理装置106、107、108、109发送所计算出的合成参数(合成参数保存处理:步骤S1309)。在合成参数的发送完成之后,再次返回到影像接收处理S1301。
另一方面,在合成参数比较处理的结果为“一致”的情况下,由于在照相机101、102、103中的任意一个中都没有设定变更,所以不进行合成参数的保存、向各影像处理装置的发送,而返回到影像接收处理S1301。
此后,反复执行步骤S1301~S1309。另外,与照相机的设定变更的频度对应地预先设定处理的反复周期既可。例如,也可以设为每隔5分钟那样地以一定周期反复进行处理。另外,也可以并非一定周期,而按照预先决定的时间进度表进行反复处理。
影像处理装置106、107、108、109根据从合成参数计算装置105中接收到的合成参数进行显示影像的合成处理,但在合成处理开始后新接收到合成处理参数的情况下,使用新接收到的合成处理参数进行合成处理。由此,即使在存在合成参数的变更的情况下,也可以与该参数变更对应地变更显示影像的合成方法。由此,还与合成参数的变更对应地切换显示装置113、114、115、116的显示影像。
如上所述,实施方式2的网络影像合成显示系统具有如下效果:合成参数计算装置105反复重新计算合成参数,对所计算出的合成参数与所保存的合成参数进行比较,在上述计算出的合成参数与上次向影像处理装置发送的合成参数相异的情况下,当作检测到合成参数的变化,向影像处理装置发送最新的合成参数,所以即使在存在照相机的位置变更等设定变更的情况下,也可以迅速地显示没有偏差的合成影像。
实施方式3
在实施方式1、2中,合成参数计算装置在系统动作时计算合成参数,向各信息处理装置发送合成参数。与其相对,实施方式3中的网络影像合成显示系统可以对各信息处理装置独立地设定不使用合成参数计算装置而使用其他手段计算出的合成参数,各信息处理装置使用该合成参数进行影像合成。
图14是示出实施方式3中的网络影像合成显示系统的系统结构的图。另外,在图14中,对于与图1相同或对应的部分,附加同一标号。以下,着眼于与实施方式1相异点,而对动作进行说明。
首先,在系统起动前预先使用某种手段计算出各影像处理装置106、107、108、109中使用的合成参数。作为计算合成参数的方法,例如也可以根据照相机101、102、103的设定值(尺度、倾斜等)以及照相机的配置位置关系的信息求出平面射影变换,由此计算每个影像处理装置的合成参数。
在影像处理装置106、107、108、109的附属设置的合成参数存储部1401、1402、1403、1404中,设定如上所述预先准备的合成参数。此处,在各合成参数存储部中设定的合成参数是各影像处理装置中使用的专用的参数。
作为向合成参数存储部1401、1402、1403、1404的具体设定方法,例如使影像处理装置106、107、108、109读入记录有记载了合成参数的合成参数文件的存储介质,将所读入的合成参数文件存储到合成参数存储部1401、1402、1403、1404中既可。
在合成参数的设定之后,影像处理装置106、107、108、109根据在合成参数存储部1401、1402、1403、1404中设定的合成参数,从发送装置110、111、112接收的照相机影像,合成显示影像。可以与实施方式1的情况同样地进行合成的具体处理步骤。
如上所述,通过将不使用合成参数计算装置而使用其他手段求出的合成参数存储到影像处理装置上附属的合成参数存储部中,不依赖于利用合成参数计算装置的合成参数的设定手法,而可以使影像处理装置动作,可以实现影像合成处理的执行方式的多样化。另外,由于可以按照预先设定的合成参数进行影像合成,所以具有可以实现更计划性的影像显示的效果。
另外,也可以将对影像处理装置预先设定的合成参数作为由多个模式构成的合成参数,按照预先设定的进度表切换使用这些合成参数的模式。由此,可以实现能够表现更多彩的影像的影像合成处理。
产业上的可利用性
本发明可以应用于远距离影像监视、实时影像显示系统等将利用与网络连接的多个照相机摄影的影像连接而显示成一个影像的系统。
Claims (5)
1.一种网络影像合成显示系统,其特征在于,具备:多个照相机;与该照相机对应地设置的、经由网络组播发送上述照相机所摄影的照相机影像的多个发送装置;接收上述照相机影像,并从该照相机影像合成显示影像的多个影像处理装置;与该影像处理装置对应地设置的、显示上述显示影像的多个显示装置;与上述影像处理装置对应地计算出合成参数,经由上述网络向上述影像处理装置发送上述合成参数的合成参数计算装置,
上述合成参数由表示来自上述多个发送装置的影像的组合的影像选择参数和指定影像合成处理内容的影像处理参数构成,
上述影像处理装置根据上述影像处理参数,合成来自使用上述影像选择参数指定的发送装置的照相机影像而生成显示影像,从而使用上述多个影像处理装置分散进行上述显示影像的合成处理。
2.根据权利要求1所述的网络影像合成显示系统,其特征在于,合成参数计算装置反复计算合成参数,将对影像处理装置发送的合成参数保存到上述影像处理装置的内部,对所计算出的合成参数与上述保存的合成参数进行比较,从而在上述计算出的合成参数与上次对影像处理装置发送的合成参数相异的情况下,向上述影像处理装置发送上述计算出的合成参数。
3.根据权利要求1或2所述的网络影像合成显示系统,其特征在于,合成参数计算装置向对应的上述影像处理装置分别发送与影像处理装置对应的合成参数。
4.根据权利要求1或2所述的网络影像合成显示系统,其特征在于,合成参数计算装置向所有上述影像处理装置一并组播发送与影像处理装置对应的合成参数,上述影像处理装置从上述合成参数中仅选择影像合成处理中使用的参数,进行显示影像的合成。
5.一种网络影像合成显示系统,其特征在于,具备:多个照相机;与该照相机对应地设置的、经由网络组播发送上述照相机所摄影的照相机影像的多个发送装置;接收上述照相机影像,并从该照相机影像合成显示影像的多个影像处理装置;与上述影像处理装置对应地设置的、显示上述显示影像的多个显示装置,
上述影像处理装置具有存储合成参数的合成参数存储部,上述合成参数由表示来自上述多个发送装置的影像的组合的影像选择参数和指定影像合成处理内容的影像处理参数构成,
根据上述影像处理参数合成来自使用存储在该合成参数存储部中的上述影像选择参数指定的发送装置的照相机影像而生成显示影像,从而使用上述多个影像处理装置分散进行上述显示影像的合成处理。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2006/322457 WO2008056421A1 (fr) | 2006-11-10 | 2006-11-10 | Système d'affichage synthétisant une image de réseau |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101529893A CN101529893A (zh) | 2009-09-09 |
CN101529893B true CN101529893B (zh) | 2011-03-09 |
Family
ID=39364250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800561866A Expired - Fee Related CN101529893B (zh) | 2006-11-10 | 2006-11-10 | 网络影像合成显示系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8233056B2 (zh) |
EP (1) | EP2081376B1 (zh) |
JP (1) | JP4793449B2 (zh) |
CN (1) | CN101529893B (zh) |
WO (1) | WO2008056421A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI383680B (zh) * | 2008-04-10 | 2013-01-21 | Univ Nat Chiao Tung | 整合式影像監視系統及其方法 |
JP5223811B2 (ja) * | 2009-08-06 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法 |
US8687044B2 (en) | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
EP2679143B1 (en) * | 2011-11-11 | 2017-09-27 | Olympus Corporation | Wireless image transmission system |
JP2014239325A (ja) | 2013-06-07 | 2014-12-18 | ソニー株式会社 | 信号処理装置、信号処理方法、コンピュータプログラム及び映像伝送システム |
JP2014238537A (ja) * | 2013-06-10 | 2014-12-18 | ソニー株式会社 | 映像伝送システム及び映像伝送方法 |
JP6952456B2 (ja) | 2016-11-28 | 2021-10-20 | キヤノン株式会社 | 情報処理装置、制御方法、及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1830210A (zh) * | 2003-07-31 | 2006-09-06 | 株式会社筑波联络研究所 | 实时流广播方法、实时流广播设备、实时流广播系统、程序、记录介质、广播方法和广播设备 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997003416A1 (en) * | 1995-07-10 | 1997-01-30 | Sarnoff Corporation | Method and system for rendering and combining images |
JP3689473B2 (ja) * | 1996-01-30 | 2005-08-31 | キヤノン株式会社 | 通信装置、画像処理装置、通信方法及び画像処理方法 |
EP0908847B1 (en) * | 1997-10-06 | 2006-01-25 | Canon Kabushiki Kaisha | Image synthesis apparatus and image synthesis method |
JP3692772B2 (ja) * | 1998-04-30 | 2005-09-07 | 日本ビクター株式会社 | 映像配信装置、映像受信装置、映像配信システム及び映像配信方法 |
US20020097322A1 (en) * | 2000-11-29 | 2002-07-25 | Monroe David A. | Multiple video display configurations and remote control of multiple video signals transmitted to a monitoring station over a network |
JP2000259517A (ja) | 1999-03-12 | 2000-09-22 | Nec Corp | 画面マルチキャスト転送システム、データ送信装置、データ受信装置及び画面マルチキャスト転送方法 |
JP2001036898A (ja) * | 1999-07-22 | 2001-02-09 | Hitachi Ltd | パノラマ映像生成用カメラシステム |
US7154538B1 (en) * | 1999-11-15 | 2006-12-26 | Canon Kabushiki Kaisha | Image processing system, image processing method, image upload system, storage medium, and image upload server |
DE60140320D1 (de) | 2000-02-29 | 2009-12-10 | Panasonic Corp | Bildaufnahmesystem und fahrzeugmontiertes Sensorsystem |
JP2001320616A (ja) * | 2000-02-29 | 2001-11-16 | Matsushita Electric Ind Co Ltd | 撮像システム |
JP2002244683A (ja) | 2001-02-19 | 2002-08-30 | Sony Corp | 音響信号処理装置 |
JP4148671B2 (ja) * | 2001-11-06 | 2008-09-10 | ソニー株式会社 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
JP2003244683A (ja) | 2002-02-13 | 2003-08-29 | Toshiba Corp | 遠隔監視システム及びプログラム |
JP2003259214A (ja) * | 2002-03-01 | 2003-09-12 | Univ Waseda | 画像合成システム及び画像取得システム |
JP3879996B2 (ja) | 2002-11-07 | 2007-02-14 | 東光電気株式会社 | 異常監視システム |
JP2005006240A (ja) * | 2003-06-16 | 2005-01-06 | Mintwave Co Ltd | 画像配信システム及び画像配信サーバ |
JP2005012619A (ja) | 2003-06-20 | 2005-01-13 | Mitsubishi Electric Corp | パノラマ画像生成装置 |
GB0315116D0 (en) * | 2003-06-27 | 2003-07-30 | Seos Ltd | Image display apparatus for displaying composite images |
JP2005333552A (ja) * | 2004-05-21 | 2005-12-02 | Viewplus Inc | パノラマ映像配信システム |
JP4615519B2 (ja) | 2004-09-15 | 2011-01-19 | 三菱電機株式会社 | 画像投影システム及び画像幾何補正装置 |
US8606949B2 (en) * | 2005-04-20 | 2013-12-10 | Jupiter Systems | Interconnection mechanism for multiple data streams |
US8375301B2 (en) * | 2005-07-15 | 2013-02-12 | Barco N.V. | Network displays and method of their operation |
-
2006
- 2006-11-10 CN CN2006800561866A patent/CN101529893B/zh not_active Expired - Fee Related
- 2006-11-10 US US12/514,271 patent/US8233056B2/en not_active Expired - Fee Related
- 2006-11-10 JP JP2008542975A patent/JP4793449B2/ja active Active
- 2006-11-10 EP EP06823289.1A patent/EP2081376B1/en active Active
- 2006-11-10 WO PCT/JP2006/322457 patent/WO2008056421A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1830210A (zh) * | 2003-07-31 | 2006-09-06 | 株式会社筑波联络研究所 | 实时流广播方法、实时流广播设备、实时流广播系统、程序、记录介质、广播方法和广播设备 |
Non-Patent Citations (2)
Title |
---|
JP特开2005-12619A 2005.01.13 |
JP特开2005-333552A 2005.12.02 |
Also Published As
Publication number | Publication date |
---|---|
CN101529893A (zh) | 2009-09-09 |
WO2008056421A1 (fr) | 2008-05-15 |
EP2081376B1 (en) | 2019-12-25 |
EP2081376A1 (en) | 2009-07-22 |
US20100110167A1 (en) | 2010-05-06 |
EP2081376A4 (en) | 2011-07-13 |
JPWO2008056421A1 (ja) | 2010-02-25 |
US8233056B2 (en) | 2012-07-31 |
JP4793449B2 (ja) | 2011-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101529893B (zh) | 网络影像合成显示系统 | |
CN106797460B (zh) | 三维视频的重建 | |
EP2328125B1 (en) | Image splicing method and device | |
US10593014B2 (en) | Image processing apparatus, image processing system, image capturing system, image processing method | |
CN102959616B (zh) | 自然交互的交互真实性增强 | |
CN101689292B (zh) | Banana多媒体数字信号编解码器 | |
CN107395985B (zh) | 一种移动终端图像合成方法、装置及移动终端 | |
JPH09322060A (ja) | 撮像装置、画像合成装置及び画像合成システム | |
US10051180B1 (en) | Method and system for removing an obstructing object in a panoramic image | |
CN103141079A (zh) | 图像生成装置及图像生成方法 | |
CN110022431A (zh) | 摄像装置、摄像方法、显示装置和显示方法 | |
CN102972035A (zh) | 立体全景图像合成装置、多眼成像装置和立体全景图像合成方法 | |
CN109525674A (zh) | 一种制作房屋全景图的系统和方法 | |
CN108696682A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN111429518B (zh) | 一种标注方法、装置、计算设备及存储介质 | |
CN107967665B (zh) | 图像处理方法和图像处理装置 | |
JP2019075766A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
CN113454980A (zh) | 全景拍摄方法、电子设备及存储介质 | |
TW201622407A (zh) | 合成照片的系統及方法 | |
KR100780701B1 (ko) | 3차원 이미지 자동 생성장치 및 방법 | |
CN105635568A (zh) | 一种移动终端中的图像处理方法和移动终端 | |
KR20180137916A (ko) | 가상현실 영상컨텐츠 제공시스템 및 제공방법 | |
CN107707830A (zh) | 基于单向通信的全景视频播放拍照系统 | |
US10148874B1 (en) | Method and system for generating panoramic photographs and videos | |
KR102176805B1 (ko) | 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110309 Termination date: 20191110 |