CN113711580A - 影像处理装置、影像处理方法和影像处理程序 - Google Patents

影像处理装置、影像处理方法和影像处理程序 Download PDF

Info

Publication number
CN113711580A
CN113711580A CN202080029286.XA CN202080029286A CN113711580A CN 113711580 A CN113711580 A CN 113711580A CN 202080029286 A CN202080029286 A CN 202080029286A CN 113711580 A CN113711580 A CN 113711580A
Authority
CN
China
Prior art keywords
frame data
area
seam
region
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080029286.XA
Other languages
English (en)
Inventor
小野正人
星出高秀
松原靖
深津真二
南宪一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN113711580A publication Critical patent/CN113711580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

在连结多个影像数据时，抑制连结部位处的移动物体的不自然移动。帧取得单元(22)从摄像机(C1、C2)输入的影像数据中分别取得同时拍摄到的帧数据。禁止区域设定单元(24)基于在相邻的帧数据的重叠区域中检测到的目标的位置和目标的移动方向，设定在接缝计算时不作为计算对象的禁止区域。接缝计算单元(25)不将包含在禁止区域中的像素作为接缝计算的计算对象而计算彼此相邻的帧数据的接缝。连结帧输出单元(26)按照接缝连结帧数据，并输出连结帧数据(15)。

Description

影像处理装置、影像处理方法和影像处理程序
技术领域
本发明涉及一种将拍摄区域的一部分重叠而拍摄到的多个影像进行连结的技术。
背景技术
在非专利文献1中，将由多个摄像机拍摄到的影像在水平垂直方向上实时接合，合成拍摄了具有广阔的竞技空间的场地竞技的整体情况的环绕影像。在连接相邻的影像时，在相邻的影像重叠的重叠区域中设定接缝(seam)。通过接缝切取相邻的影像并进行连结，由此得到合成影像。
在专利文献1中，为了在接合多个影像时不使接缝引人注意，设定了接缝不通过的禁止区域。例如，通过对人物等移动物体设定禁止区域，能够避免因移动物体与接缝重叠而产生的移动物体的缺损和伸长。
现有技术文献
专利文献
专利文献1：日本特开2019-36906号公报
非专利文献
非专利文献1：佐藤孝子、難波功次、小野正人、菊地由実、山口徹也、小野朗、「競技空間全体の高臨場ライブ中継に向けたサラウンド映像合成·同期伝送技術」、NTT技術ジャーナル、日本電信電話株式会社、2017，Vol.29，No.10，pp.19－23。
发明内容
发明要解决的课题
随着移动物体的移动，接缝有时会避开设定于移动物体的禁止区域而大幅变化。在该情况下，存在移动物体看起来不自然地移动这样的问题。例如，在某帧中设定于移动物体的右侧的接缝在下一帧中设定于移动物体的左侧的情况下，在前一帧中在左侧的影像中拍摄的移动物体被用于合成后的影像，在下一帧中在右侧的影像中拍摄的移动物体被用于合成后的影像。根据拍摄左侧影像的摄像机和拍摄右侧影像的摄像机的视差，如果在重叠区域中在左右的影像上的移动物体的位置偏移，则能够看起来移动物体突然移动，或者看起来在与行进方向相反的方向上移动，或者看起来停止。
本发明是鉴于所述情况而完成的，其目的在于抑制在将多个影像数据连结时在连结部位的移动物体的不自然的移动。
用于解决课题的手段
本发明所涉及的影像处理装置将重叠拍摄区域的一部分而拍摄到的多个影像数据进行连结，其具备：帧取得单元，其从所述多个影像数据中取得同时拍摄到的多个帧数据；禁止区域设定单元，其在相互邻接的所述帧数据重叠而成的重叠区域设定不使接缝通过的禁止区域；接缝计算单元，其以不通过所述禁止区域的方式计算所述接缝；以及连结帧输出单元，其按照所述接缝将所述多个帧数据连结并输出连结帧数据，在从所述帧数据检测到的目标进入所述重叠区域时，所述禁止区域设定单元基于所述目标的位置以及移动方向来设定所述禁止区域。
本发明的影像处理方法是将重叠拍摄区域的一部分而拍摄到的多个影像数据进行连结的影像处理装置的影像处理方法，该影像处理方法包括以下步骤：从所述多个影像数据取得同时拍摄到的多个帧数据的步骤；在相互邻接的所述帧数据重叠而成的重叠区域中设定不使接缝通过的禁止区域的步骤；以不通过所述禁止区域的方式计算所述接缝的步骤；以及按照所述接缝将所述多个帧数据连结并输出连结帧数据的步骤，在设定所述禁止区域的步骤中，在从所述帧数据检测出的目标进入了所述重叠区域时，基于所述目标的位置以及移动方向来设定所述禁止区域。
本发明的影像处理程序使计算机作为所述影像处理装置的各单元而进行动作。
发明效果
根据本发明，能够抑制在连结多个影像数据时在连结部位处移动物体的不自然的移动。
附图说明
图1是表示使用本实施方式的影像处理装置构成的广视角远程监视系统的结构的图。
图2是说明本实施方式的影像处理装置的硬件结构及功能块的图。
图3是表示本实施方式的影像处理装置的处理流程的流程图。
图4是表示重叠帧数据的例子的图。
图5是表示在重叠帧数据的重叠区域设定了禁止区域的例子的图。
图6是表示通过接缝连结了帧数据的连结帧数据的例子的图。
图7是表示设定禁止区域的处理的流程的流程图。
图8是示出在重叠区域中检测到的目标的示例的图。
图9是示出将包含检测到的目标的一定区域设定为禁止区域的例子的图。
图10是示出基于目标的移动方向设定了禁止区域的例子的图。
图11是示出根据图10的重叠帧数据求出接缝的例子的图。
图12是示出在目标的进入方向侧设定的禁止区域和接缝的时间序列的变化的图。
图13是示出在目标的行进方向侧设定的禁止区域和接缝的时间序列的变化的图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。在以下的附图的记载中，对相同或类似的部分标注相同或类似的附图标记。
参照图1，对使用了本发明的影像处理的广视角远程监视系统的结构进行说明。该图所示的广视角远程监视系统合成多个影像来生成全景影像，并且从影像取得监视对象物体的物体信息，使用MMTP(MPEG Media Transport Protocol)低延迟地实现经由IP网络同步传输全景影像、声音和物体信息的处理。广视角远程监视系统例如能够用于航空管制、公共空间监视以及防灾监视等广视角下的监视。
图1的广视角远程监视系统具备合成处理服务器100、物体信息整合服务器200、解码服务器300以及整合物体信息接收服务器400。
合成处理服务器100具备合成处理部110、编码处理部120以及物体检测/跟踪处理部130。合成处理服务器100从多个摄像系统(例如4K摄像机)分别输入影像和声音，连接影像来合成全景影像，并且从各影像中进行对象物体的检测以及跟踪。
合成处理部110将所输入的多个影像实时接合来合成全景影像。合成处理部110动态地变更将影像接合的接缝。合成处理部110在求出接缝时，使用利用了移动物体的跟踪结果的本发明的影像处理来实现合成质量的提高。稍后将描述根据本发明的影像处理的细节。
编码处理部120对合成处理部110所合成的全景影像以及声音数据进行编码，转换为MMTP流并向解码服务器300送出。
物体检测/跟踪处理部130从各影像实施对象物体的检测以及跟踪。物体检测/跟踪处理部130将各影像中的处理的实施结果(跟踪信息)发送给物体信息整合服务器200，并且发送给合成处理部110。
物体信息整合服务器200针对从物体检测/跟踪处理部130输入的各影像的跟踪信息，将物体的各影像上的坐标转换为全景影像上的坐标。物体信息整合服务器200将在重叠了影像的重叠区域中在各个影像中出现的被推定为相同的物体的跟踪信息进行整合。物体信息整合服务器200将在跟踪信息中追加了附加信息的物体信息进行MMTP打包并向整合物体信息接收服务器400送出。可以询问外部服务器来取得附加信息。
解码服务器300对从合成处理服务器100接收到的MMTP流进行解码，输出全景影像以及声音。
整合物体信息接收服务器400从物体信息整合服务器200接收物体信息的MMTP包，输出物体信息。
在显示系统(例如全景屏幕)中，从整合物体信息接收服务器400输出的物体信息重叠显示在从解码服务器300输出的全景影像上。
(影像处理装置的结构)
参照图2，对本实施方式的影像处理装置1的结构进行说明。影像处理装置1相当于图1的合成处理部110。
图2所示的影像处理装置1是将通过多个摄像机C1、C2重叠拍摄区域而拍摄到的多个影像数据进行连结来生成1个影像数据，将连结后的影像数据输出至显示装置D的装置。影像处理装置1搜索在各影像数据的同时拍摄到的帧数据中的适当的接缝，通过搜索到的接缝将各帧数据连接，重构影像数据。在本实施方式中，将在水平方向上排列的2台摄像机C1、C2所拍摄到的影像数据进行合成，但并不限定于此。可以将由3台以上的摄像机拍摄到的影像数据进行合成，也可以将由排列在垂直方向上的摄像机拍摄到的影像数据进行合成，也可以将在水平方向和垂直方向上排列多台摄像机而拍摄到的影像数据进行合成。
图2所示的影像处理装置1是具备存储装置10、处理装置20以及输入输出接口30的一般的计算机。一般的计算机执行影像处理程序，由此实现图2所示的功能。
存储装置10是ROM(Read only memory只读存储器)、RAM(Random access memory随机存取存储器)、硬盘等，存储为了处理装置20执行处理所需的输入数据、输出数据以及中间数据等各种数据。
处理装置20是中央处理装置(CPU)或图形处理单元(GPU)，读写存储在存储装置10中的数据，或者与输入输出接口30进行数据的输入输出，执行影像处理装置1中的处理。
输入输出接口30接受来自键盘、鼠标等输入装置I以及多个摄像机C1、C2的输入，并将所输入的数据输入到处理装置20。输入输出接口30还将由处理装置20得到的处理结果输出到显示器等显示装置D。在传输处理结果的连结帧数据的情况下，输入输出接口30也可以将编码后的连结帧数据经由网络送出。输入装置I、多个摄像机C1、C2以及显示装置D可以经由通信接口以及通信网络与影像处理装置1连接。另外，也可以代替多个摄像机C1、C2，将存储有预先拍摄到的多个拍摄数据的录像机或存储装置与影像处理装置1连接，使影像处理装置1对预先拍摄到的多个拍摄数据进行处理。
存储装置10存储设定数据11、帧信息数据12、禁止区域数据13、接缝数据14以及连结帧数据15。存储装置10也可以存储计算机执行的影像处理程序。
设定数据11是影像处理装置1的处理所需的参数等的设定信息。设定数据11例如包含被输入到影像处理装置1的影像数据的数量及其排列、禁止区域数据13的计算所使用的参数。
帧信息数据12是在多个摄像机C1、C2输出的多个影像数据中同时拍摄到的各帧数据的信息。帧信息数据12是将摄像机的识别符、像素值、帧率、亮度值等信息与帧数据对应而得到的数据。
禁止区域数据13是表示在接缝计算时不作为计算对象的禁止区域的数据。禁止区域由后述的禁止区域设定单元24来设定。
接缝数据14是通过后述的接缝计算单元25计算各帧数据的接缝而得的结果的数据。
连结帧数据15是按照接缝数据14结合了同时拍摄到的多个帧数据而得到的连结后的帧数据。连结帧数据15成为构成影像处理装置1输出的影像数据的一个帧数据。
处理装置20具备设定取得单元21、帧取得单元22、目标检测单元23、禁止区域设定单元24、接缝计算单元25以及连结帧输出单元26。
设定取得单元21取得影像处理装置1的处理所需的参数，并存储在设定数据11中。设定取得单元21按照由用户从输入装置I输入的信息取得参数。设定取得单元21可以通过对从摄像机C1、C2输入的各影像数据等进行解析来取得参数。
帧取得单元22从由摄像机C1、C2输入的影像数据中分别取得同时拍摄到的帧数据。帧取得单元22针对所取得的各帧数据生成并存储帧信息数据12。帧取得单元22在从摄像机C1、C2输入影像数据时使各影像数据同步，并将各帧数据的时间戳进行匹配。帧取得单元22可以实施用于降低由于多个摄像机C1、C2的拍摄而产生的视差的影响的修正处理以及颜色修正处理。
目标检测单元23相当于图1的物体检测/跟踪处理部130。目标检测单元23从帧数据中分别检测对象的目标，并且实施检测出的目标的跟踪。跟踪是指判定由当前的帧数据检测出的目标与由过去的帧数据检测出的目标的同一性，并追踪目标的移动。检测对象的目标是例如成为人物等监视对象的移动物体。
禁止区域设定单元24基于在相邻的帧数据的重叠区域中检测出的目标的位置以及目标的移动方向来设定禁止区域。与专利文献1同样，禁止区域设定单元24也可以基于帧数据的亮度值来设定禁止区域。稍后描述基于检测到的目标的禁止区域的设定方法的细节。
接缝计算单元25取得同时拍摄的多个帧数据，不将禁止区域数据13所表示的禁止区域中包含的像素作为接缝计算的计算对象，而计算相互邻接的帧数据的接缝即接缝数据14。更具体而言，接缝计算单元25将邻接方向的行的检索范围的各像素中与之前刚计算的接缝的像素的特征值的差值最少的像素作为该行中的接缝来计算。在此情况下，接缝计算单元25不将禁止区域中包含的像素包含在搜索范围内。另外，接缝计算单元25可以使用缩小了帧数据而得的缩小帧数据来计算接缝。在这种情况下，接缝计算单元25缩小禁止区域来适用。
连结帧输出单元26按照接缝计算单元25计算出的接缝数据14来连结多个帧数据，输出没有重叠的连结帧数据15。
(影像处理装置的动作)
接着，参照图3，说明影像处理装置1的影像处理方法。影像处理装置1在从摄像机C1、C2分别输入的影像数据中，针对同时拍摄到的各帧数据，重复以下的步骤S1～S7的处理。
在步骤S1中，帧取得单元22从分别从摄像机C1、C2输入的影像数据中取得在相同时刻拍摄到的各帧数据。
在步骤S2中，帧取得单元22将在步骤S1中取得的各帧数据的特征点对应起来，生成重叠帧数据。
图4表示重叠帧数据的例子。在图4中表示从由2台摄像机C1、C2同时拍摄到的帧数据F1、F2生成的重叠帧数据。帧取得单元22以使帧数据F1的拍摄区域的右侧特征点与帧数据F2的拍摄区域的左侧特征点一致的方式重叠帧数据F1、F2来生成重叠帧数据。另外，在图4中，以重叠帧数据成为矩形的方式重叠帧数据F1、F2，但在各摄像机C1、C2的侧倾角不同的情况下，也存在倾斜地配设帧数据的情况。
在步骤S3中，帧取得单元22对在步骤S2中生成的重叠帧数据设定重叠区域。在图4中，帧数据F1的拍摄区域的右侧和帧数据F2的拍摄区域的左侧重叠的区域是重叠区域R。
在步骤S4中，禁止区域设定单元24基于从帧数据F1、F2检测到的目标来设定禁止区域。在图5中图示了禁止区域P。稍后将描述设定禁止区域的处理的细节。
在步骤S5中，接缝计算单元25不将禁止区域中包含的像素作为接缝计算的计算对象而依次确定在与帧数据的相邻方向正交的方向上形成接缝的像素来计算接缝。例如，图5中由于帧数据F1、F2在水平方向上相邻，所以接缝计算单元25不将禁止区域P中包含的像素作为接缝计算的计算对象而从重叠区域R的旁边的行中决定1个像素作为接缝，计算在纵向上依次形成接缝的像素，求出接缝SEL。
在步骤S6中，连结帧输出单元26按照接缝连结各个帧数据，生成连结帧数据15。图6表示通过接缝连结帧数据而得的连结帧数据的例子。图6中，将在接缝SEL切开的帧数据F1和帧数据F2接合来生成连结帧数据。
步骤S7中，连结帧输出单元26输出在步骤S6中生成的连结帧数据15。该连结帧数据15成为影像处理装置1输出的影像数据的帧数据。
(禁止区域的设定)
接着，参照图7，对禁止区域的设定处理进行说明。
在步骤S41中，目标检测单元23针对各帧数据实施对象的目标的检测以及跟踪。禁止区域设定单元24取得在重叠区域中检测出的目标的帧数据上的位置信息以及移动方向。步骤S41的处理在设定禁止区域之前实施即可。例如，也可以在步骤S1中从各影像数据取得帧数据后实施步骤S41的处理。也可以是，其他装置实施目标的检测以及跟踪，影像处理装置1接收目标的检测结果。
图8示出在重叠区域R中检测到的目标O。该图所示的目标O从在水平方向上排列的帧数据F1、F2的左侧(帧数据F1侧)向右侧(帧数据F2侧)移动。
另外，目标检测单元23在重叠区域R中在帧数据F1、F2的每一个中检测同一目标O。根据摄像机C1、C2的视差，目标O在帧数据F1中的检测位置与目标O在帧数据F2中的检测位置会有偏离。目标O从帧数据F1向帧数据F2的方向移动，因此目标检测单元23也可以将目标O的帧数据F1中的检测位置设为目标O的位置。也可以将帧数据F1、F2中的目标的检测位置转换为连结帧数据上的坐标，将该坐标设为目标O的位置。在该情况下，即使在帧数据F1、F2中目标O的检测位置发生微小的偏离，如果判断为相同目标，则为相同的坐标。
在步骤S42中，禁止区域设定单元24将包含在重叠区域中检测到的目标的一定区域设定为禁止区域，使得不会跨越目标而生成接缝。图9表示将包含目标O的区域设定为禁止区域P1的情形。禁止区域设定单元24例如基于检测出目标O的检测框来设定禁止区域P1。
在步骤S43中，禁止区域设定单元24基于设定数据11的参数以及目标的移动方向，将在步骤S42设定的禁止区域和重叠区域的边之间的区域设定为禁止区域。在图10的例子中，禁止区域设定单元24将从禁止区域P1到目标进入重叠区域R的边(重叠区域R的左侧的边)之间的区域设为禁止区域P2。禁止区域设定单元24可以基于目标的移动方向如图10那样将从禁止区域P1到目标的进入方向侧的重叠区域R的边为止的区域设为禁止区域，也可以将从禁止区域P1到目标的行进方向侧的边(在图9中为重叠区域R的右侧的边)为止的区域设为禁止区域。或者，禁止区域设定单元24也可以仅将禁止区域P1设为禁止区域。禁止区域设定单元24也可以基于设定数据11的参数，使在从禁止区域P1到重叠区域R的边之间设定的禁止区域P2的形状以及范围等发生变化。
另外，禁止区域设定单元24还可以实施在帧数据的亮度值比预定的阈值高的部分设定禁止区域的处理。通过设定数据11，能够调整阈值等。根据设定，也可以不实施基于亮度值的禁止区域的设定。
如图11所示，接缝计算单元25求出接缝SEL，使得不通过基于目标设置的禁止区域P。
通过上述设定禁止区域的处理，如图12所示，在目标在重叠区域R行进期间，禁止区域P被设定为从目标进入重叠区域R的边到目标的当前位置为止的区域，接缝SEL通过目标的行进方向侧。其结果，在目标在重叠区域R行进的期间，进入源的帧数据F1中的目标的图像被用于连结帧数据，因此即使在重叠区域R的各帧数据F1、F2中目标的位置偏离的情况下，也能够在合成影像中抑制重叠区域R中的目标的不自然移动。另外，在重叠区域R中的各帧数据F1、F2上的目标的检测位置成为大致相同(预定的范围内)的定时，禁止区域设定单元24可以将从目标的当前位置到位于行进方向的重叠区域R的边为止的区域设为禁止区域P。
图13是表示在目标的行进方向侧设定了禁止区域P的情形的图。在图13的例子中，目标从帧数据F2向帧数据F1行进。在图13中，在目标行进在重叠区域R期间，在从目标的当前位置到目标的行进方向侧的重叠区域R的边为止的区域设定禁止区域P。接缝SEL通过目标的后侧。
另外，在多个目标进入重叠区域时，在目标为同一方向的情况下，也可以将其总和设为禁止区域。例如，将在同一方向上移动的目标汇总地处理，设定禁止区域。在目标的移动方向不同的情况下，也可以基于目标各自的移动方向来设定禁止区域。或者，也可以对各个目标附加优先级来设定禁止区域。
如以上说明的那样，根据本实施方式，帧取得单元22从由摄像机C1、C2输入的影像数据的每一个取得同时拍摄到的帧数据，禁止区域设定单元24基于在相邻的帧数据的重叠区域中检测出的目标的位置以及目标的移动方向，设定在接缝计算时不作为计算对象的禁止区域，接缝计算单元25不将禁止区域中包含的像素作为接缝计算的计算对象而计算彼此相邻的帧数据的接缝，连结帧输出单元26按照接缝将帧数据连结，输出连结帧数据15，从而能够抑制接缝的急剧变化，抑制目标的不自然移动。
符号说明
1影像处理装置、
10存储装置、
11设定数据、
12帧信息数据、
13禁止区域数据、
14接缝数据、
15连结帧数据、
20处理装置、
21设定取得单元、
22帧取得单元、
23目标检测单元、
24禁止区域设定单元、
25接缝计算单元、
26连结帧输出单元、
30输入输出接口、
100合成处理服务器、
110合成处理部、
120编码处理部、
130物体检测/跟踪处理部、
200物体信息整合服务器、
300解码服务器、
400整合物体信息接收服务器。

Claims (5)

1.一种影像处理装置，将重叠拍摄区域的一部分而拍摄到的多个影像数据进行连结，其特征在于，
该影像处理装置具备：
帧取得单元，其从所述多个影像数据中取得同时拍摄到的多个帧数据；
禁止区域设定单元，其在相互邻接的所述帧数据重叠而成的重叠区域中设定不使接缝通过的禁止区域；
接缝计算单元，其以不通过所述禁止区域的方式计算所述接缝；以及
连结帧输出单元，其按照所述接缝将所述多个帧数据连结并输出连结帧数据，
在从所述帧数据检测到的目标进入了所述重叠区域时，所述禁止区域设定单元基于所述目标的位置和移动方向来设定所述禁止区域。
2.根据权利要求1所述的影像处理装置，其特征在于，
所述禁止区域设定单元将从所述目标的位置到所述目标的进入方向侧的所述重叠区域的边之间的区域或者从所述目标的位置到所述目标的行进方向侧的所述重叠区域的边之间的区域设定为禁止区域。
3.一种影像处理装置的影像处理方法，该影像处理装置将重叠拍摄区域的一部分而拍摄到的多个影像数据进行连结，其特征在于，
该影像处理方法具备以下步骤：
从所述多个影像数据中取得同时拍摄到的多个帧数据的步骤；
在相互邻接的所述帧数据重叠而成的重叠区域中，设定不使接缝通过的禁止区域的步骤；
以不通过所述禁止区域的方式计算所述接缝的步骤；以及
按照所述接缝将所述多个帧数据连结并输出连结帧数据的步骤，
在设定所述禁止区域的步骤中，在从所述帧数据检测出的目标进入了所述重叠区域时，基于所述目标的位置以及移动方向来设定所述禁止区域。
4.根据权利要求3所述的影像处理方法，其特征在于，
在设定所述禁止区域的步骤中，将从所述目标的位置到所述目标的进入方向侧的所述重叠区域的边之间的区域或从所述目标的位置到所述目标的行进方向侧的所述重叠区域的边之间的区域设定为禁止区域。
5.一种影像处理程序，其特征在于，
该影像处理程序使计算机作为权利要求1或2所述的影像处理装置的各单元进行动作。
CN202080029286.XA 2019-04-18 2020-04-03 影像处理装置、影像处理方法和影像处理程序 Pending CN113711580A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-079285 2019-04-18
JP2019079285A JP7231825B2 (ja) 2019-04-18 2019-04-18 映像処理装置、映像処理方法及び映像処理プログラム
PCT/JP2020/015299 WO2020213430A1 (ja) 2019-04-18 2020-04-03 映像処理装置、映像処理方法及び映像処理プログラム

Publications (1)

Publication Number Publication Date
CN113711580A true CN113711580A (zh) 2021-11-26

Family

ID=72837758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029286.XA Pending CN113711580A (zh) 2019-04-18 2020-04-03 影像处理装置、影像处理方法和影像处理程序

Country Status (4)

Country Link
US (1) US20220199120A1 (zh)
JP (1) JP7231825B2 (zh)
CN (1) CN113711580A (zh)
WO (1) WO2020213430A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11420173B2 (en) 2020-03-31 2022-08-23 Yokogawa Electric Corporation Reaction analysis device, reaction analysis system, and reaction analysis method
CN112200727B (zh) * 2020-11-06 2023-11-21 星宸科技股份有限公司 图像缝合装置、图像处理芯片、及图像缝合方法
JP7199613B2 (ja) * 2021-01-25 2023-01-05 三菱電機株式会社 画像合成装置、画像合成方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
US20170140791A1 (en) * 2015-11-12 2017-05-18 Intel Corporation Multiple camera video image stitching by placing seams for scene objects
JP2017102785A (ja) * 2015-12-03 2017-06-08 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017103672A (ja) * 2015-12-03 2017-06-08 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20180095533A1 (en) * 2016-09-30 2018-04-05 Samsung Electronics Co., Ltd. Method for displaying an image and an electronic device thereof
JP2019008582A (ja) * 2017-06-26 2019-01-17 日本電信電話株式会社 映像処理装置、映像処理方法および映像処理プログラム
JP2019036906A (ja) * 2017-08-21 2019-03-07 日本電信電話株式会社 映像処理装置、映像処理方法及び映像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160307350A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis - panorama
US9911213B2 (en) * 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
KR102513640B1 (ko) * 2016-09-30 2023-03-23 엘지디스플레이 주식회사 터치스크린 내장형 표시장치 및 이의 구동방법
US10244164B1 (en) * 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching
US10917565B1 (en) * 2019-03-08 2021-02-09 Gopro, Inc. Image capture device with a spherical capture mode and a non-spherical capture mode
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
US20170140791A1 (en) * 2015-11-12 2017-05-18 Intel Corporation Multiple camera video image stitching by placing seams for scene objects
JP2017102785A (ja) * 2015-12-03 2017-06-08 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017103672A (ja) * 2015-12-03 2017-06-08 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20180095533A1 (en) * 2016-09-30 2018-04-05 Samsung Electronics Co., Ltd. Method for displaying an image and an electronic device thereof
JP2019008582A (ja) * 2017-06-26 2019-01-17 日本電信電話株式会社 映像処理装置、映像処理方法および映像処理プログラム
JP2019036906A (ja) * 2017-08-21 2019-03-07 日本電信電話株式会社 映像処理装置、映像処理方法及び映像処理プログラム

Also Published As

Publication number Publication date
JP7231825B2 (ja) 2023-03-02
US20220199120A1 (en) 2022-06-23
WO2020213430A1 (ja) 2020-10-22
JP2020178237A (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
CN109565605B (zh) 拍摄技术生成方法以及影像处理装置
CN107534789B (zh) 影像同步装置及影像同步方法
US10116915B2 (en) Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US9049384B2 (en) Video processing apparatus, camera apparatus, video processing method, and program
CN113711580A (zh) 影像处理装置、影像处理方法和影像处理程序
US9392322B2 (en) Method of visually synchronizing differing camera feeds with common subject
US10158939B2 (en) Sound Source association
US20180343442A1 (en) Video display method and video display device
US10277832B2 (en) Image processing method and image processing system
US20180205963A1 (en) Encoding Free View Point Data in Movie Data Container
CN108881713B (zh) 包括摄像机和客户端设备的系统及通过该系统执行的方法
JP2017139725A (ja) 映像表示方法及び映像表示装置
KR101769118B1 (ko) 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치
JP2008035095A (ja) 監視装置、監視システム、監視方法及びプログラム
US20120087571A1 (en) Method and apparatus for synchronizing 3-dimensional image
JP2009071478A (ja) 情報通信端末および情報通信システム
JP2013115527A (ja) テレビ会議システム及びテレビ会議方法
US11250886B2 (en) Point of view video processing and curation platform
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
KR20130093642A (ko) 이미지 내 가상 시각 정보를 식별하는 방법 및 장치
KR101473648B1 (ko) 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템
JP2020017804A (ja) 画像伝送装置、画像伝送方法および画像伝送プログラム
JP4423416B2 (ja) 映像合成処理システム
JP2019201324A (ja) 撮像装置、情報処理装置、それらの制御方法、および、プログラム
JPH06113294A (ja) 映像通信方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056066

Country of ref document: HK