CN107534789B - 影像同步装置及影像同步方法 - Google Patents

影像同步装置及影像同步方法 Download PDF

Info

Publication number
CN107534789B
CN107534789B CN201680018794.1A CN201680018794A CN107534789B CN 107534789 B CN107534789 B CN 107534789B CN 201680018794 A CN201680018794 A CN 201680018794A CN 107534789 B CN107534789 B CN 107534789B
Authority
CN
China
Prior art keywords
image
image frame
synchronization
video
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680018794.1A
Other languages
English (en)
Other versions
CN107534789A (zh
Inventor
小山达也
杉尾敏康
松延彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107534789A publication Critical patent/CN107534789A/zh
Application granted granted Critical
Publication of CN107534789B publication Critical patent/CN107534789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/935—Regeneration of digital synchronisation signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

影像同步装置(200)是具备处理部和连接在上述处理部上的存储部的影像同步装置，上述处理部执行：检测步骤(S12)，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各自中包含的第2特征点；提取步骤(S14)，提取作为上述第1特征点和与上述第1特征点类似的第2特征点的组的匹配点；同步步骤(S15或S16)，基于各第2图像帧的上述匹配点满足该第2图像帧与上述第1图像帧之间的第1几何学关系的第1程度，决定与上述第1图像帧同步的第2图像帧。

Description

影像同步装置及影像同步方法
技术领域
本发明涉及使通过多个照相机摄影的多个影像同步的影像同步装置及影像同步方法。
背景技术
近年来，通过数字照相机及智能电话的普及，将同一个场景从多视点摄影的机会变多。此外，通过社交网络服务及通信网的发展，从多视点摄影的多个影像在因特网上被共享。预想今后不论是谁都能够容易地取得这样的影像。如果利用这样的多个影像，则有可能通过个人拥有的PC的软件或智能电话的应用还能够实现制作能以个人的喜好的视点进行视听的自由视点影像、或对被摄体的三维形状进行计测而制作被摄体的三维模型等。
但是，为了从多个影像或多个图像帧制作自由视点影像或三维模型，需要利用在同一时刻摄影的多个影像或多个图像帧。但是，推测在因特网上被共享而能够容易取得的多个影像的大半都不是被同步摄影的。因此，需要人从所取得的多个影像中一边判断一边抽取在同一时刻摄影的影像或图像帧，但由于在该作业中花费较多的劳动，所以要求有自动使多个影像同步的方法。
以往，为了将多个影像同步，提出了提取某个影像中的对象帧的视觉上的特征点，将在其他影像中具有类似的特征点的帧判定为在与对象帧同时刻被摄影的帧的方法(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2010－268325号公报
发明内容
上述以往的方法通过以特征点为中心的特定的范围的像素的颜色或亮度梯度的平方误差或绝对误差等的匹配来判定特征点的类似，但基于这些方法的特征点的类似判断在同一帧内有多个在视觉上相似的特征点等情况下容易出错。结果，有导致在同时刻摄影的帧的判定错误，多个影像的同步精度变差的问题。
本公开的目的是解决上述课题，提供同步精度较高的影像同步装置或影像同步方法。
有关本公开的一技术方案的影像同步装置，是具备处理部和连接在上述处理部上的存储部的影像同步装置，上述处理部执行：检测步骤，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各个第2图像帧中包含的第2特征点；提取步骤，提取匹配点，该匹配点是上述第1特征点和与上述第1特征点类似的第2特征点的组；以及同步步骤，基于各第2图像帧的上述匹配点满足该第2图像帧与上述第1图像帧之间的第1几何学关系的第1程度，决定与上述第1图像帧同步的第2图像帧。
本公开能够提供同步精度较高的影像同步装置或影像同步方法。
附图说明
图1是表示有关实施方式1的影像同步系统的结构的图。
图2是表示实施方式1的同步处理部的结构的图。
图3是说明匹配信息的图。
图4是三角测量的概念图。
图5是由实施方式1的同步处理部进行的同步处理的流程图。
图6是实施方式1的匹配信息修正处理的流程图。
图7是实施方式1的同步帧决定处理的流程图。
图8A是表示实施方式1的在包含在不同的影像中的帧之间作为同步帧候选提取出的候选的一例的图。
图8B是表示实施方式1的从同步帧候选中决定的同步帧的一例的图。
图9A是表示实施方式1的在包含在不同的影像中的帧之间作为同步帧候选提取出的候选的另一例的图。
图9B是表示实施方式1的从同步帧候选中决定的同步帧的另一例的图。
图10A是表示实施方式1的在包含在不同的影像中的帧之间作为同步帧候选提取出的候选的另一例的图。
图10B是表示实施方式1的从同步帧候选中决定的同步帧的另一例的图。
图11A是表示实施方式1的在包含在不同的影像中的帧之间决定的同步帧的例子的图。
图11B是表示实施方式1的同步帧的插补方法的一例的图。
图12A是表示实施方式1的实施方式1的同步帧的决定例(其4)的图。
图12B是表示实施方式1的实施方式1的同步帧的决定例(其4)的图。
图13是实施方式2的同步帧决定处理的流程图。
图14A是表示实施方式2的同步帧的决定例的图。
图14B是表示实施方式2的同步帧的决定例的图。
图15是表示影像信息处理系统的结构的图。
图16是表示在照相机起动时显示的通知画面的一例的图。
图17是实现内容分发服务的内容供给系统的整体结构图。
图18是数字广播用系统的整体结构图。
图19是表示智能电话的一例的图。
图20是表示智能电话的结构例的框图。
具体实施方式
有关本公开的一技术方案的影像同步装置，是具备处理部和连接在上述处理部上的存储部的影像同步装置，上述处理部执行：检测步骤，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各个第2图像帧中包含的第2特征点；提取步骤，提取匹配点，该匹配点是上述第1特征点和与上述第1特征点类似的第2特征点的组；以及同步步骤，基于各第2图像帧的上述匹配点满足该第2图像帧与上述第1图像帧之间的第1几何学关系的第1程度，决定与上述第1图像帧同步的第2图像帧。
由此，该影像同步装置由于考虑匹配点的三维空间上的位置关系决定同步帧，所以能够实现精度良好的影像同步处理。
例如，也可以是，在上述提取步骤中，对上述多个第2图像帧分别提取多个上述匹配点；上述同步步骤包括：排除步骤，对上述多个第2图像帧分别计算各上述匹配点满足上述第1几何学关系的上述第1程度，从上述多个匹配点中将计算出的上述第1程度比阈值低的匹配点排除；以及决定步骤，基于对上述多个第2图像帧分别得到的进行了排除后的匹配点，根据上述多个第2图像帧，决定与上述第1图像帧同步的第2图像帧。
由此，该影像同步装置使用将不满足几何学关系的不匹配点排除后的匹配点决定同步帧，所以能够实现精度良好的影像同步处理。
例如，也可以是，上述同步步骤还包括对上述多个第2图像帧分别使用上述多个匹配点的至少一部分计算上述第1几何学关系的计算步骤；在上述排除步骤中，计算上述各匹配点满足所计算出的上述第1几何学关系的上述第1程度。
例如，也可以是，在上述计算步骤中，使用多个匹配点的至少一部分计算极线约束的基础矩阵；在上述排除步骤中，使用上述基础矩阵计算上述各匹配点满足上述极线约束的上述第1程度。
例如，也可以是，在上述决定步骤中，将上述进行了排除后的匹配点的数量比阈值多的第2图像帧决定为与上述第1图像帧同步的第2图像帧。
例如，也可以是，上述同步步骤包括：计算表示各上述匹配点的三维坐标的三维复原点的步骤；基于计算出的上述三维复原点，计算满足上述第1几何学关系的上述第1程度的步骤；以及决定步骤，在上述多个第2图像帧中，将计算出的上述第1程度较高的第2图像帧决定为与上述第1图像帧同步的第2图像帧。
由此，该影像同步装置基于匹配点的三维坐标决定同步帧。由此，能够将不能进行三维坐标的计算或计算出不适当的三维坐标的不匹配点排除，所以能够实现精度良好的影像同步处理。
例如，也可以是，上述第1程度是计算出的上述三维复原点的数量；在上述决定步骤中，在上述多个第2图像帧中，将计算出的上述三维复原点的数量较多的第2图像帧决定为与上述第1图像帧同步的第2图像帧。
由此，该影像同步装置基于匹配点的三维坐标决定同步帧。由此，能够将不能进行三维坐标的计算的不匹配点排除，所以能够实现精度良好的影像同步处理。
例如，也可以是，上述第1程度是表示将上述三维复原点投影到上述第1图像帧及上述第2图像帧上的投影点与上述第1特征点及上述第2特征点的差的再投影误差；在上述决定步骤中，在上述多个第2图像帧中，将计算出的上述再投影误差较小的第2图像帧决定为与上述第1图像帧同步的第2图像帧。
由此，该影像同步装置基于匹配点的三维坐标决定同步帧。由此，能够将计算出不适当的三维坐标的不匹配点排除，所以能够实现精度良好的影像同步处理。
例如，也可以是，在计算上述三维复原点的步骤中，计算上述第1影像及上述第2影像的摄影位置及摄影方向；使用上述计算出的上述摄影位置及上述摄影方向计算上述三维复原；上述处理部还执行将上述摄影位置及上述摄影方向输出的步骤。
由此，例如该影像同步装置能够实现使用摄影位置及摄影方向的同步再现。
例如，也可以是，在上述检测步骤中，基于被摄体的轮廓、亮度差及色差中的至少一个检测上述第1特征点及上述第2特征点。
例如，也可以是，在上述检测步骤中，还检测在包含于第3影像中的多个第3图像帧的各个第3图像帧中包含的第3特征点；在上述提取步骤中，还提取上述第1特征点和与上述第1特征点类似的第3特征点的组、以及上述第2特征点和与上述第2特征点类似的第3特征点的组，作为上述匹配点；在上述同步步骤中，按照由各一个上述第1图像帧、上述第2图像帧及上述第3图像帧构成的每个组合，计算上述第1程度；使多个上述组合中的、计算出的上述第1程度较高的组合中包含的第1图像帧、第2图像帧及第3图像帧同步。
由此，该影像同步装置能够按照包含从多个影像的各自选择了各一个的图像帧的组合计算第1程度，以该组合单位决定同步帧。由此，例如在影像间仅决定1个同步帧的情况下能够减少处理量。
此外，有关本公开的一技术方案的影像同步装置具备：检测部，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各个第2图像帧中包含的第2特征点；提取部，提取匹配点，该匹配点是上述第1特征点和与上述第1特征点类似的第2特征点的组；以及同步部，基于各第2图像帧的上述匹配点满足该第2图像帧与上述第1图像帧之间的第1几何学关系的第1程度，决定与上述第1图像帧同步的第2图像帧。
由此，该影像同步装置考虑匹配点的三维空间上的位置关系决定同步帧，所以能够实现精度良好的影像同步处理。
此外，有关本公开的一技术方案的影像同步方法包括：检测步骤，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各个第2图像帧中包含的第2特征点；提取步骤，提取匹配点，该匹配点是上述第1特征点和与上述第1特征点类似的第2特征点的组；以及同步步骤，基于各第2图像帧的上述匹配点满足该第2图像帧与上述第1图像帧之间的第1几何学关系的第1程度，决定与上述第1图像帧同步的第2图像帧。
由此，该影像同步方法考虑匹配点的三维空间上的位置关系决定同步帧，所以能够实现精度良好的影像同步处理。
此外，有关本公开的一技术方案的系统包括多个照相机、和使由上述多个照相机摄影的多个影像同步的技术方案1所述的影像同步装置。
另外，这些全局性或具体的技术方案也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下，参照附图对实施方式具体地说明。
另外，以下说明的实施方式都是表示本公开的一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并非用于限定本公开。此外，关于以下的实施方式的构成要素中的在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
(实施方式1)
首先，说明有关本实施方式的影像同步系统的结构。图1是表示有关本实施方式的影像同步系统的结构的图。
有关本实施方式的影像同步系统10包括被摄体101、多个照相机100、被输入多个影像111的影像同步装置200和最终用户102。被摄体101例如是篮球的比赛场景。多个照相机100将被摄体101摄影，将摄影的多个影像111输出。此外，也可以不将由多个照相机100摄影的多个影像111的一部分或全部实时地输出，而是先记录到存储器或云服务器等的外部存储装置中之后，从这些外部存储装置输出多个影像111。多个照相机100分别既可以是监视照相机等的固定照相机，也可以是摄像机、智能电话或可穿戴照相机等的可移动照相机，也可以是带有摄影功能的无人机等的移动照相机。
如以上这样，被摄体101作为整体被1以上的种类的照相机100摄影。用有线或无线将各个照相机100连接在输入部210自身、通信设备或服务器等的集线器上，以将摄影的多个影像111向影像同步装置200的输入部210输入。
影像同步装置200具备输入部210、同步处理部220及输出部230。影像同步装置200至少具备具有处理器或逻辑电路等的处理电路、和内部存储器或能够访问的外部存储器等的记录装置的计算机系统。影像同步装置200通过借助处理电路的硬件安装、或通过由处理电路进行的保持在存储器中或从外部服务器分发的软件程序的执行、或通过硬件安装及软件安装的组合来实现。
输入部210如果接受到多个影像111，则对多个影像111进行前处理。前处理例如是明亮度调整、噪声除去、用来在多个影像间使分辨率一致的分辨率变换、用来使帧速率一致的帧变换或它们的组合。输入部210将前处理后的多个影像112保持在内部或外部存储器中，按照每规定时间或每规定帧数等每一定区间，对同步处理部220输出前处理后的影像112。
该一定区间既可以是预先设定的，也可以是根据帧速率或分辨率等的规定条件设定的，也可以是由用户灵活地设定变更的。此外，一定区间例如是预先设定的时间量的信号区间、或包含预先设定的数量的帧的信号区间，但也可以是信号的全部区间，在此情况下，输入部210输出全部影像信号。
同步处理部220对输入的多个影像112赋予同步信息113，将多个影像112与同步信息113一起向输出部230输出。同步处理部220也可以除了附加有同步信息113的多个影像112以外，还将在同步信息113的计算时推测的照相机信息114向输出部230输出。同步信息113例如是表示在多个影像112中在同时刻摄影的帧号码或摄影开始时刻的偏移的信息。所谓照相机信息114，是照相机的位置、照相机的朝向及照相机的内部参数(焦点距离及透镜畸变系数等)。
输出部230如果接受到带有同步信息113的多个影像，则使用同步信息113及照相机信息114，将多个影像112同步再现。另外，此时也能够进行仅将由照相机位置相互较近或较远的照相机摄影的影像同步再现等的影像选择。此外，输出部230还能够使用同步信息113，在作为同步对象的相互不同的影像中包含的2以上的帧之间检测匹配点，根据各帧中的匹配点的坐标计算三维空间上的坐标而生成三维影像，将所生成的三维影像再现。此时，还能够对三维影像追加照相机位置或朝向等的信息，生成在视觉上显示了从哪个位置或朝向将影像摄影的三维影像。此外，在三维影像的生成中，还能够利用在同步信息113的计算时推测出的照相机信息114，通过视体积交叉法或多视角立体法等的方法生成三维影像。进而，输出部230也可以通过生成将多个影像112接合为一个影像的全景影像，向最终用户提示多个影像112。将所生成的这些影像通过显示在影像同步装置200具备的显示器、或者经由有线或无线连接在影像同步装置200上的显示器上，由此向最终用户102提示。此外，也可以将所生成的影像经由网络向最终用户102的终端分发。
图2是表示本实施方式的同步处理部220的结构的框图。同步处理部220具备特征量提取部221和同步信息取得部222。
特征量提取部221具备帧取得部231、特征点检测部232、特征点匹配部233及匹配信息修正部234。
帧取得部231如果从输入部210接受到作为一定区间的多个信号的多个影像112，则从该多个影像112中分别提取1个以上的帧121(图像帧)。
特征点检测部232检测提取出的各帧121中的特征点，输出表示检测到的特征点的特征点信息122。特征点表示帧中包含的物体的轮廓、物体或空间的角，或者帧平面中的物体彼此的交叉点那样的点、边缘，或者一定区域与其周围的亮度或色调的差较大的点、边或一定区域。特征点信息122是将对于以特征点为大致中心的、或包含特征点的特定的范围的像素的颜色或亮度梯度的分布用向量表现的信息。另外，特征点及特征点信息122也可以是使用其他的图像信息、例如纹理信息或频率变换后的信息检测到的信息。
特征点匹配部233如果接受到检测出的特征点信息122，则导出作为在从相互不同的影像中提取的2个帧中分别包含的特征点、也是特征点信息122类似的特征点，作为特征点对。进而，特征点匹配部233计算特征点对的二维帧上的各坐标，将表示计算出的坐标的匹配信息123输出。此外，将类似的特征点对称作匹配点。特征点匹配部233使用2个特征点信息122的平方误差或绝对误差判定这2个特征点信息122是否类似。
使用图3对匹配信息123进行说明。图3表示将作为被摄体的立方体用2个照相机摄影的例子。在由照相机1摄影的影像中包含的帧1和由照相机2摄影的影像中包含的帧2之间的匹配信息123中，包含2个帧之间的全部的匹配点的各帧中的坐标。在匹配信息123中，除了如匹配点1及匹配点2那样正确地匹配的匹配点以外，有可能还包含如匹配点3那样不匹配的匹配点。
匹配信息修正部234如果接受到计算出的匹配信息123，则从匹配信息123中包含的匹配点中随机地提取8点，求出3×3的基础矩阵F，以使提取出的8点的匹配点满足下述的(式1)。
[数式1]
Figure BDA0001420319990000091
这里，x1i(i＝1～8)是表示从一方的帧中提取的8点的匹配点的帧上的坐标的列向量，x2i是表示从另一方的帧中提取的8点的匹配点的帧上的坐标的列向量。此外，T是表示向量的转置的符号。由于基础矩阵F是自由度8的3×3的矩阵，所以通过将匹配点利用8点以上，能够将基础矩阵F作为线性问题计算。此外，通过将匹配点利用7点以下，也能够将基础矩阵F作为非线性问题计算。
(式1)被称作未校正照相机的极线约束(Epipolar constraint)，通过使用未校正照相机的极线约束，能够根据作为被正确地匹配的点的8点计算正确的基础矩阵F。如果是正确的基础矩阵F，则在8点以外的被正确地匹配的点中(式1)也成立。但是，如果对不匹配的匹配点应用(式1)，则作为(式1)的左边的计算结果的评价值变得比0大。评价值越是接近于0，表示匹配点越被正确地匹配。
由此，匹配信息修正部234利用极线约束，通过将评价值为规定的阈值以上的值的匹配点看作不匹配点，能够从匹配点中检测不匹配点。阈值既可以是预先设定的固定的值，也可以能够根据分辨率、图像尺寸、要求的精度或关于处理的限制时间而改变，或根据用户的设定而改变。
但是，如果在计算基础矩阵F时利用的8点的匹配点中有不匹配点，则不能计算正确的基础矩阵F。因此，匹配信息修正部234将上述计算基础矩阵F、检测不匹配点的过程进行规定次数。匹配信息修正部234将不匹配点的数量最少的基础矩阵F判定为正确的基础矩阵F，使用该基础矩阵F重新从匹配点中检测不匹配点。并且，匹配信息修正部234通过将被看作不匹配点的点从匹配信息中去除，将匹配信息修正。计算基础矩阵F并检测不匹配点的次数既可以固定，也可以根据影像的特质或用户的设定来改变。
匹配信息修正部234这样使用对极几何(Epipolar Geometry)在需要的情况下将匹配信息123修正，将修正后的匹配信息124和基础矩阵F输出。另外，匹配信息修正部234也可以代替对极几何而将例如使用3×3的平面投影矩阵H的值Hx1－x2的绝对值用作评价值，将评价值为规定的阈值以下的值的匹配点看作不匹配点，通过将被看作不匹配点的点去除来对匹配信息123进行修正。该阈值既可以是固定的，也可以根据影像的特质或根据用户的设定而改变。此外，匹配信息修正部234也可以在全部的匹配的2点间求出向量x1－x2，通过将该向量的方向或大小看作与其他向量相差规定值以上的匹配点看作不匹配点，对匹配信息123进行修正。
同步信息取得部222具备三维重建部241、同步帧候选提取部242及同步帧决定部243。三维重建部241如果接受到从匹配信息修正部234输出的匹配信息124和基础矩阵F，则首先利用基础矩阵F，根据(式2)求出从不同的影像得到的2个帧之间的基本矩阵E。
[数式2]
Figure BDA0001420319990000111
这里，K1及K2是表示与2个帧对应的2个照相机的焦点距离及帧上的二维坐标的中心位置等的参数的值的照相机的内部矩阵。此外，M－1表示矩阵M的逆矩阵。照相机的内部矩阵K1及K2在将影像摄影前被设定，影像同步装置200从照相机100取得内部矩阵K1及K2。或者，三维重建部241也可以根据影像推测内部矩阵K1及K2。如(式3)所示，基本矩阵E可以分解为旋转矩阵R和平移向量T。旋转矩阵R表示2个照相机的方向，平移向量T表示2个照相机的位置。
[数式3]
E＝T×R (式3)
三维重建部241根据基本矩阵E计算旋转矩阵R和平移向量T，使用旋转矩阵R和平移向量T，通过三角测量的原理计算匹配点的三维空间中的坐标。
使用图4简洁地说明三角测量的原理。图4表示匹配点的三维空间的坐标X、某1个照相机中心的三维空间的坐标C1及其他照相机中心的三维空间的坐标C2。
如果知道三角形XC1C2的底边C1C2的距离和其两端的2个角∠C1及∠C2的角度，则能够计测顶点的位置。这里，求出平移向量T与求出表示底边C1C2的距离及方向的向量相同。求出旋转矩阵R与求出2角∠C1及∠C2的角度及其朝向相同。三维重建部241关于全部的匹配点推测三维空间中的坐标，输出推测信息125。
这里，匹配点是在匹配信息修正部234中根据需要而被修正的匹配信息124中包含的点。
推测信息125例如是三维复原点数、合计再投影误差或平均再投影误差。三维复原点数是基于三角测量的原理计算三维空间中的坐标的匹配点的数量。此外，再投影误差是，将推测出的三维复原点投影到二维的帧上，表示投影的帧上的坐标与匹配点的原始帧上的坐标的距离。对各匹配点加上再投影误差的值是合计再投影误差，取平均的值是平均再投影误差。另外，在匹配点不正确的情况下，不计算三维复原点，或者合计再投影误差或平均再投影误差变大。
另外，三维重建部241当推测匹配点的三维空间中的坐标时，也可以在对全部的匹配点推测三维空间中的坐标后，求出各三维复原点的再投影误差，将再投影误差为规定值以上的大小的三维复原点排除。即，三维重建部241也可以对再投影误差不到规定值的三维复原点计算三维复原点数、合计再投影误差或平均再投影误差，将表示计算结果的推测信息125输出。
此外，三维重建部241将包括在上述处理中计算出的照相机的位置及照相机的朝向的照相机信息114输出。
同步帧候选提取部242基于接受到的推测信息125提取同步帧候选126。在作为推测信息125而利用三维复原点数的情况下，基于三维复原点数较多的帧对是同步的帧的可能性较高这一假定，同步帧候选提取部242提取三维复原点数为规定数以上的帧对作为同步帧候选126。作为阈值的规定值既可以是预先决定的固定数，也可以是根据尺寸或画质等的图像的特质、或根据用户的设定而变化的变量。此外，在作为推测信息125而利用合计再投影误差或平均再投影误差的情况下，基于合计再投影误差或平均再投影误差较小的帧对是同步的帧的可能性较高这一假定，同步帧候选提取部242提取再投影误差是规定值以下的帧对作为同步帧候选。该规定值也同样，既可以设定为一定，也可以任意地设定。
另外，同步帧候选提取部242作为推测信息125也可以使用三维复原点数和合计再投影误差或平均再投影误差的两者。例如，同步帧候选提取部242也可以提取三维复原点数是规定数以上且合计再投影误差或平均再投影误差为规定值以下的帧对作为同步帧候选。
同步帧决定部243从提取出的同步帧候选126中决定同步帧，将决定结果作为同步信息113，与多个影像112建立关联而输出。具体的决定方法后述。
接着，使用图5、图6及图7，说明同步处理部220的处理流程的例子。以下，对从3个照相机C1、C2、C3将影像V1’、V2’、V3’向输入部210输入，在影像的明亮度的调整及噪声除去等的前处理后，将被分割为一定区间的影像V1、V2、V3向同步处理部220输入的情况进行说明。
图5表示同步处理部220的处理流程例。首先，帧取得部231将影像V1、V2、V3分别分解为帧(步骤S11)。这里，作为例子而假设影像V1、V2、V3分别被分解为5个帧V1_1～V1_5、V2_1～V2_5、V3_1～V3_5。
接着，特征点检测部232在各个帧中检测特征点，提取特征点信息122(步骤S12)。特征点匹配部233选择作为属于相互不同的影像的帧的、而且是还没有被进行匹配处理的2个帧(步骤S13)。例如，由于帧V1_1和V1_2是相同的影像的2个帧，所以不选择该组合，由于帧V1_1和V2_1是不同的影像的2个帧，所以该组合是选择候选。
接着，特征点匹配部233通过将所选择的2个帧之间的特征点信息122比较来检测匹配点，生成表示匹配点的匹配信息123(步骤S14)。接着，匹配信息修正部234基于帧之间的几何学关系，将匹配信息123修正(步骤S15)。将步骤S13～S15重复进行属于相互不同的影像的2个帧的组合样式数的次数。
接着，同步信息取得部222使用修正后的匹配信息124，基于帧之间的几何学关系决定同步帧(步骤S16)。
图6表示由匹配信息修正部234进行的匹配信息修正处理(图5的步骤S15)的流程例。
首先，匹配信息修正部234根据由匹配信息123表示的多个匹配点的坐标，计算2个帧中的匹配点间的基础矩阵F(步骤S21)。接着，匹配信息修正部234选择未处理的匹配点(步骤S22)。匹配信息修正部234判定所选择的匹配点是否满足作为帧之间的几何学关系的极线约束(步骤S23)。具体而言，匹配信息修正部234判定由(式1)表示的极约束式(极线约束)的右边的值是否是规定值以上。在(式1)的右边的值是规定值以上的情况下(步骤S23中“是”)，匹配信息修正部234通过从匹配信息123中将选择中的匹配点排除，将匹配信息123修正(步骤S24)。将步骤S22～S24重复进行匹配点数的次数。
通过上述处理，在检测出的匹配点中将坐标位置关系不遵循对极几何的视作不匹配的匹配点去除，由此能够使帧选择的精度提高。
图7表示由同步信息取得部222进行的同步帧决定处理(图5的步骤S16)的流程例。三维重建部241选择作为属于相互不同的影像的帧对、而且是没有被提取推测信息125的2个帧(步骤S31)。接着，三维重建部241使用所选择的2个帧中的修正后的匹配信息124和基础矩阵F，求出2个帧之间的基本矩阵E，根据基本矩阵E导出旋转矩阵R和平移向量T(步骤S32)。
三维重建部241使用旋转矩阵R和平移向量T，推测在修正后的匹配信息124中包含的匹配点的三维空间中的坐标，提取根据这些坐标的关系得到的推测信息125(步骤S33)。推测信息125例如是三维复原点、合计再投影误差或平均再投影误差、或它们的组合。
同步帧候选提取部242判定推测信息125是否满足同步条件(步骤S34)。在推测信息125满足同步条件的情况下(步骤S34中“是”)，同步帧候选提取部242将所选择的2个帧决定为同步帧候选126(步骤S35)。这里所谓同步条件，是作为推测信息125的三维复原点数是规定值以上、或者/及合计再投影误差或平均再投影误差是规定值以下的条件。接着，同步帧决定部243从同步帧候选126中决定同步帧(步骤S36)。将步骤S31～S35重复进行属于相互不同的影像的2个帧的组合样式数的次数。
使用图8A～图10B，说明同步帧决定部243中的同步帧的决定方法。图8A～图10B中的15个矩形表示15个帧V1_1～V1_5、V2_1～V2_5及V3_1～V3_5。使用虚线连接的帧表示在同步帧候选提取部242中提取出的同步帧候选126。使用实线连接的帧表示在同步帧决定部243中决定的同步帧。
如图8A所示，在被选择为某个同步帧候选的2个帧都没有在与其他的帧之间被选择为同步帧候选的情况下，同步帧决定部243如图8B所示，将同步帧候选原样决定为同步帧。
如图9A所示，在被选择为某个同步帧候选的某个帧与其他的帧被选择为其他的同步帧候选的情况下，同步帧决定部243如图9B所示，将关联的全部的帧决定为同步帧。例如，帧V1_1和V2_1是第1同步帧候选，帧V2_1和V3_2是第2同步帧候选。在此情况下，即使帧V1_1和V3_2没有被选择为同步帧候选，作为关联帧的V1_1、V2_1、V3_2的3个帧也被决定为同步帧。
但是，如图10A所示，在关联帧有作为最大影像数的3个以上的情况下，即在属于相同的影像的帧(例如，V1_1和V1_2)包含在关联帧中的情况下，如图10B所示，在关联帧V1_1、V1_2、V2_1、V3_2中，仅将属于相同的影像的帧中的仅1个(例如V1_1)选择而决定为同步帧。或者，如图10B所示，也可以将属于相同的影像的帧(例如V1_3、V1_5)去除来决定同步帧。
此外，同步帧决定部243在关联帧中存在属于相同的影像的多个帧、将其中的1个选择为同步帧的情况下，也可以根据与其他关联帧各自的关系选择合计再投影误差或平均再投影误差更小的帧、或选择三维复原点数更多的帧。由此，同步帧决定部243能够根据与其他关联帧的关系选择推测信息125表示匹配程度更高的帧。
此外，同步帧决定部243也可以单纯地根据基于与属于其他影像的关联帧的关系来选择对帧赋予的时间信息在时间上较近的帧等一定条件来选择帧。或者，同步帧决定部243也可以选择照相机位置较近的帧。由此，能够减轻处理负荷。
上述同步帧的决定方法在影像的帧速率可变的情况下，即在一系列的影像中包含帧速率相互不同的区间的情况下，为了对一定区间内的全部帧的组合研究同步条件是有效的。另外，在各个影像的帧速率是固定的情况下，即在一系列的影像中帧速率没有被变更而是一定的情况下，只要作为2个影像中的同步帧而决定1个帧对，就能够将其他的同步帧插补。
图11A及图11B是表示同步帧的插补方法的一例的图。如图11A所示，假定同步帧决定部243将V1_1和V2_1决定为同步帧。如果假设影像V1和V2的帧速率是固定的，影像V1的帧速率是15fps，影像V2的帧速率是作为其2倍的30fps，则同步帧决定部243如图11B所示，能够将V1_2和V2_3决定为同步帧，将V1_3和V2_5决定为同步帧，将同步帧插补。即，同步帧决定部243也可以以一个同步帧为基准，根据影像V1和影像V2的帧速率的比率决定多个同步帧。因此，也可以基于推测信息125，将跨越2个以上的影像决定的同步帧仅限定为1个。
使用图12A及图12B说明该具体例。例如，在作为同步帧候选V1_1和V2_1的推测信息125的三维复原点数比作为同步帧候选V1_5和V2_4的推测信息125的三维复原点数多的情况下，同步帧决定部243将同步帧候选V1_1和V2_1选择为帧对，将同步帧决定为仅限定于该1对。同样，在作为同步帧候选V1_1和V2_1的推测信息125的合计再投影误差或平均再投影误差比作为同步帧候选V1_5和V2_4的推测信息的合计再投影误差或平均再投影误差小的情况下，同步帧决定部243将同步帧候选V1_1和v2_1决定为同步帧，不将V1_5和V2_4决定为同步帧。
这样，如果使用帧速率的信息，则也可以不需要在影像数据的全部信号区间中总是进行同步处理，而只要在某个一定区间中进行同步，就能够根据下个I图片的定时或场景改变的定时那样的影像的特征适应性地进行同步处理。另外，也可以以预先设定的时间间隔定期地进行同步处理。
这样，根据本实施方式的影像同步装置200的结构，通过使用匹配点的三维空间上的坐标，能够实现抑制了不匹配的影响的同步帧的决定，能够提高影像同步的精度。此外，由于按照帧检测属于同步的其他影像的帧，所以对于帧速率可变的多个影像也同样能够赋予同步信息。在上述中，说明了通过预先限定于一定区间来进行选择属于该区间的全部帧的同步候选的处理的例子，但并不限定使用对影像赋予的时刻信息选择选择候选时研究的帧数。
(实施方式2)
接着，对同步处理部220输出同步信息时的实施方式2进行说明。在图13中表示由本实施方式的同步信息取得部222进行的同步帧决定处理(图5的S16)的流程。特征量提取部221的流程与图5中表示的实施方式1的处理流程S11～S15是同样的。所以，以下对同步信息取得部222的处理流程S41～S46进行说明。
在步骤S41～S46中，同步信息取得部222不是如图7的步骤S31～S36那样按照属于不同的影像的2个帧求出匹配点的三维空间上的坐标，而是从全部的影像中分别各选择1个帧，使用3个以上的帧求出匹配点的三维空间上的坐标。
三维重建部241首先选择推测信息未提取的帧的组合(步骤S41)。此时，作为帧的组合而从全部的影像中各选择1个帧。
接着，三维重建部241使用从匹配信息修正部234得到的修正后的匹配信息124和基础矩阵F，求出所选择的全部的帧的各自之间的基本矩阵E，根据各基本矩阵E得到旋转矩阵R和平移向量T(步骤S42)。
三维重建部241如果得到了所选择的全部的帧之间的旋转矩阵R和平移向量T，使用所选择的全部的帧，通过三角测量的原理推测匹配信息124中包含的匹配点的三维空间中的坐标，提取三维复原点、合计再投影误差或平均再投影误差等的推测信息125(步骤S43)。由于在该步骤中推测的匹配点的三维空间中的坐标是使用3个以上的帧推测的，所以与如实施方式1那样使用2帧推测的匹配点的三维空间中的坐标相比，为更正确的坐标。
同步帧候选提取部242判定推测信息125是否满足同步条件(步骤S44)。在推测信息125满足同步条件的情况下(步骤S44中“是”)，同步帧候选提取部242将以前的同步帧候选删除，将正在被选择的全部帧决定为全部的同步帧候选(步骤S45)，将同步条件更新(步骤S46)。
所谓同步条件，与实施方式1同样，是作为推测信息125的三维复原点数是一定值以上、或者合计再投影误差或平均再投影误差是一定值以下等的条件。
所谓同步条件的更新，是将在同步条件下利用的一定值替换为推测信息125。例如，有平均再投影误差为1.2以下的同步条件，在使用选择中的帧计算出的平均再投影误差是0.9的情况下，由于选择中的帧满足同步条件，所以将这些选择中的帧决定为同步帧候选，将同步条件更新为平均再投影误差为0.9以下的条件。
关于步骤S41～S46，由于从全部的影像分别取得1个帧并进行处理，所以被重复进行帧数和影像数的乘积的次数。通过将步骤S41～S46重复全部组合的次数，在作为推测信息125而利用三维复原点数的情况下，将三维复原点数最多的帧的组合决定为同步帧的候选。此外，在作为推测信息125而使用合计再投影误差或平均再投影误差的情况下，将合计再投影误差或平均再投影误差最小的帧的组合决定为同步帧的候选。
如图14A及图14B所示，由于同步帧候选定为1个组合，所以同步帧决定部243将同步帧候选决定为同步帧(步骤S47)。另外，在本实施方式中，通过将步骤S41～S46重复进行全部组合的次数，来决定同步帧的候选，但也可以在作为推测信息125的三维复原点数、合计再投影误差或平均再投影误差满足一定的条件的时点结束同步帧候选的搜索。例如，如果转移为某个帧的组合的推测信息125的三维复原点数为规定数以上的值，则通过将该帧的组合作为同步帧候选而结束搜索，能够在抑制处理量的同时决定同步帧。此外，如果作为某个帧的组合的推测信息的合计再投影误差或平均再投影误差成为某个规定数以下的值、则将该帧的组合作为同步帧候选而结束搜索，由此能够在抑制处理量的同时决定同步帧。
这样，根据本实施方式，由于从全部的影像中各取得1个帧，使用所取得的全部的帧推测匹配点的三维坐标，所以能够比使用2个帧的三维坐标推测精度更高地推测匹配点的三维空间中的坐标。并且，能够基于精度更好的匹配点的三维空间中的坐标提取推测信息125。结果，能够提高影像同步的精度。此外，由于同步帧候选定为1个组合，所以能够以比实施方式1低的处理量决定同步帧。实施方式2特别在影像摄影的时刻类似、全部的影像的帧速率是固定时是有效的。
另外，实施方式1及2都推测修正后的匹配点的三维空间上的坐标，将推测信息125向同步帧候选提取部242输入，但也可以代之而将从匹配信息修正部234得到的修正后的匹配信息124作为推测信息125向同步帧候选提取部242输入。由于修正后的匹配信息124在步骤S15中使用基础矩阵F进行虽然简单但将在对极几何学上不对应的匹配点排除这样的操作，所以与以往的通过单纯的匹配的同步方法相比精度较高，能够实现比实施方式1及2更低处理量的同步处理。
即，在图5所示的步骤S16中，也可以对修正后的匹配信息124进行与以往同样的处理。例如，同步帧候选提取部242也可以将匹配点较多、或者匹配点的平方误差或绝对误差较小的帧决定为同步帧。
此外，也可以不进行匹配信息的修正处理(图5的步骤S15)，而使用修正前的匹配信息123进行基于帧之间的几何学关系的同步帧决定处理(图5的步骤S16)。
如以上这样，有关实施方式1及2的影像同步装置200具备处理部和连接在该处理部上的存储部。处理部执行：检测步骤(图5的S12)，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各自中包含的第2特征点；提取步骤(图5的S14)，提取作为第1特征点和类似于第1特征点的第2特征点的组的匹配点；同步步骤(图5的S15及/或S16)，基于各第2图像帧的匹配点满足该第2图像帧与第1图像帧之间的第1几何学关系的第1程度，决定与第1图像帧同步的第2图像帧。这里，所谓使用第1几何学关系的同步步骤，包括上述匹配信息的修正处理(图5的步骤S15)及同步帧决定处理(图5的步骤S16)的至少一方。
由此，由于影像同步装置200考虑匹配点的三维空间上的位置关系来决定同步帧，所以能够实现精度较好的影像同步处理。
例如，在上述同步步骤中，也可以进行上述匹配信息的修正处理(图5的步骤S15)。即，在提取步骤中，对多个第2图像帧分别提取多个匹配点。此外，如图6所示，同步步骤(S15)包括：排除步骤(S23、S24)，对于多个第2图像帧分别计算各匹配点满足第1几何学关系的第1程度，从多个匹配点中将计算出的第1程度比阈值低的匹配点排除；决定步骤(S16)，基于对多个第2图像帧分别得到的排除后的匹配点，从多个第2图像帧中决定与第1图像帧同步的第2图像帧。
由此，由于影像同步装置200使用将不满足几何学关系的不匹配点排除后的匹配点来决定同步帧，所以能够实现精度良好的影像同步处理。
具体而言，同步步骤(S15)还包括对于多个第2图像帧分别使用多个匹配点的至少一部分计算第1几何学关系的计算步骤(S21)。在排除步骤(S23)中，计算各匹配点满足计算出的第1几何学关系的第1程度。
例如，第1几何学关系是极线约束，在计算步骤(S21)中，使用多个匹配点的至少一部分计算极线约束的基础矩阵F。在排除步骤(S23)中，使用基础矩阵F计算各匹配点满足极线约束的第1程度。具体而言，作为第1程度而计算(式1)的右边的值。另外，如上述那样，第1几何学关系也可以是平面投影矩阵或匹配点间的向量等。
此外，在决定步骤(S16)中，也可以将被排除后的匹配点的数量比阈值多的第2图像帧决定为与第1图像帧同步的第2图像帧。
或者，在上述同步步骤中，也可以进行上述同步帧决定处理(图5的步骤S16)。即，如图7所示，同步步骤(S16)包括：计算表示各匹配点的三维坐标的三维复原点的步骤(S33)；基于计算出的三维复原点计算满足第1几何学关系的第1程度(推测信息125)的步骤(S34)；决定步骤(S34、S35)，在多个第2图像帧中，将计算出的第1程度较高的第2图像帧决定为与第1图像帧同步的第2图像帧。例如，选择第1程度最高或阈值以上的第2图像帧。
由此，影像同步装置200基于匹配点的三维坐标决定同步帧。由此，能够将不能进行三维坐标的计算或计算出不适当的三维坐标的不匹配点排除，所以能够实现精度良好的影像同步处理。
此外，也可以是，第1程度(推测信息125)是计算出的三维复原点的数量，在决定步骤(S34)中，在多个第2图像帧中将计算出的三维复原点的数量较多的第2图像帧决定为与第1图像帧同步的第2图像帧。例如，选择三维复原点的数量最多或阈值以上的第2图像帧。
或者，也可以是，第1程度是表示将三维复原点投影到第1图像帧及第2图像帧上的投影点与第1特征点及第2特征点的差的再投影误差，在决定步骤(S34)中，在多个第2图像帧中将计算出的再投影误差较小的第2图像帧决定为与第1图像帧同步的第2图像帧。例如，选择再投影误差最小或阈值以下的第2图像帧。
或者，在同步步骤中，也可以进行上述匹配信息的修正处理(图5的步骤S15)及同步帧决定处理(图5的步骤S16)的两者。
此外，也可以将由三维重建部241推测出的照相机信息114添加到同步处理部220的输出中。即，在计算三维复原点的步骤(S32、S33)中，计算第1影像及第2影像的摄影位置及摄影方向(照相机信息114)，使用计算出的摄影位置及摄影方向计算三维复原。具体而言，根据基础矩阵F通过(式2)计算基础矩阵E，根据基础矩阵E计算旋转矩阵R及平移向量T(摄影位置及摄影方向)。处理部还输出包括计算出的摄影位置及摄影方向的照相机信息114。由此，能够实现使用摄影位置及摄影方向的同步再现。
此外，在检测步骤(S12)中，也可以基于被摄体的轮廓、亮度差及色差中的至少一个检测第1特征点及第2特征点。
此外，也可以如在实施方式2中说明那样，从全部的影像中分别各选择1个帧，使用3个以上的帧来求出匹配点的三维空间上的坐标。即，也可以是，在检测步骤(S12)中，还检测在包含于第3影像中的多个第3图像帧的各自中包含的第3特征点；在提取步骤(S14)中，还提取第1特征点和类似于第1特征点的第3特征点的组、以及第2特征点和类似于第2特征点的第3特征点的组作为匹配点。在同步步骤(S16)中，按照由各一个第1图像帧、第2图像帧及第3图像帧构成的组合计算第1程度(推测信息125)(图13的S41～S44)，使在多个组合中的计算出的第1程度较高的组合中包含的第1图像帧、第2图像帧及第3图像帧同步(S44～46)。例如，选择第1程度最高或阈值以上的组合。
由此，影像同步装置200可以按照包含从多个影像的各自各选择了一个的图像帧的组合计算第1程度，以该组合单位决定同步帧。由此，例如在影像间仅决定1个同步帧的情况下，能够减少处理量。
此外，在有关上述实施方式的影像同步装置中包含的各处理部典型的是作为集成电路即LSI实现。它们既可以单独地1芯片化，也可以包含一部分或全部而1芯片化。
此外，集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或能够重建LSI内部的电路单元的连接及设定的可重构处理器。
在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。
换言之，影像同步装置具备处理电路(processing circuitry)和电连接在该处理电路上的(能够从该处理电路访问的)存储装置(storage)。处理电路包括专用的硬件及程序执行部的至少一方。此外，存储装置在处理电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。处理电路使用存储装置执行有关上述实施方式的影像同步方法。
进而，本公开也可以是上述软件程序，也可以是记录有上述程序的非暂时性的计算机可读取的记录介质。此外，上述程序当然可以经由因特网等的传送媒体流通。
此外，在上述中使用的数字全部是为了具体地说明本公开而例示的，本公开并不受例示的数字限制。
此外，在上述影像同步方法中包含的步骤被执行的顺序是为了具体地说明本公开而用来例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时(并行)执行。
以上，基于实施方式说明了有关本公开的一个或多个技术方案的影像同步方法及影像同步装置，但本公开并不限定于该实施方式。只要不脱离本公开的主旨，对本实施方式实施了本领域技术人员想到的各种变形后的形态、及将不同的实施方式的构成要素组合而构建的形态也可以包含在本公开的一个或多个技术方案的范围内。
(实施方式3)
说明在上述各实施方式中表示的图像处理方法及装置的结构的其他应用例和使用它的系统。该系统能够应用到智能化和对象空间的广域化发展的影像系统中，例如能够应用到(1)安装在店铺或工厂的安全照相机、或警察的车载照相机等中的监视系统，(2)使用个人拥有的照相机或各车载照相机、或装备在道路上的照相机等的交通信息系统，(3)使用无人机等可远程操作或自动控制的装置的环境调查或配送系统，及(4)使用娱乐设施或体育场等中的设置照相机、无人机等的移动照相机、或个人拥有的照相机等的影像等的内容收发系统等中。
图15是表示本实施方式的影像信息处理系统ex100的结构的图。在本实施方式中，对防止死角的发生的例子、及使特定的区域为禁止摄影的例子进行说明。
图15所示的影像信息处理系统ex100包括影像信息处理装置ex101、多个照相机ex102和影像接收装置ex103。另外，影像接收装置ex103不需要一定包含在影像信息处理系统ex100中。
影像信息处理装置ex101具备保存部ex111和解析部ex112。N个照相机ex102分别具有将影像摄影的功能、和将摄影的影像数据向影像信息处理装置ex101发送的功能。此外，照相机ex102也有具有将摄影中的影像显示的功能的情况。另外，照相机ex102既可以将摄影的影像信号使用HEVC或H.264那样的编码方式编码后向影像信息处理装置ex101发送，也可以将没有被编码的影像数据向影像信息处理装置ex101发送。
这里，各照相机ex102是监视照相机等的固定照相机、搭载在无人飞行型无线遥控装置或车等上的移动照相机、或用户持有的用户照相机。
移动照相机将从影像信息处理装置ex101发送的指示信号接收，根据接收到的指示信号变更移动照相机自身的位置或摄影方向。
此外，在摄影公开前，将多个照相机ex102的时刻使用服务器或基准照相机的时刻信息等进行校准。此外，将多个照相机ex102的空间位置基于作为摄影对象的空间性物体的拍摄方式或距基准照相机的相对位置进行校准。
信息处理装置ex101中包含的保存部ex111保存从N个照相机ex102发送的影像数据。
解析部ex112根据保存在保存部ex111中的影像数据检测死角，向移动照相机发送用来防止死角的发生的表示向移动照相机的指示的指示信号。移动照相机按照指示信号进行移动，继续摄影。
解析部ex112例如使用SfM(Structure from Motion)进行死角检测。所谓SfM，是根据从不同的位置摄影的多个影像将被摄体的三维形状复原的方法，作为同时推测被摄体形状及照相机位置的形状复原技术被周知。例如，解析部ex112使用SfM，根据保存在保存部ex111中的影像数据将设施内或体育场内的三维形状复原，检测不能复原的区域作为死角。
另外，解析部ex112在照相机ex102的位置及摄影方向是固定的、位置及摄影方向的信息是已知的情况下，也可以使用这些已知的信息进行SfM。此外，在移动照相机的位置及摄影方向能够由移动照相机具备的GPS及角度传感器等取得的情况下，也可以是移动照相机将该移动照相机的位置及摄影方向的信息向解析部ex112发送，解析部ex112使用发送来的位置及摄影方向的信息进行SfM。
另外，死角检测的方法并不限于上述使用SfM的方法。例如，解析部ex112也可以通过使用激光测距仪等的深度传感器的信息，来掌握作为摄影对象的物体的空间距离。此外，解析部ex112也可以根据空间内的预先设定的标识或特定的物体是否包含在图像中、在包含的情况下根据其尺寸等来检测照相机位置、摄影方向及缩放倍率等的信息。这样，解析部ex112使用能够检测各照相机的摄影区域的任意的方法进行死角的检测。此外，解析部ex112也可以关于多个摄影对象从影像数据或接近距离传感器等取得相互的位置关系等的信息，基于所取得的位置关系确定发生死角的可能性较高的区域。
这里所谓的死角，不仅是在想要摄影的区域中影像不存在的部分，还包括与其他部分相比画质较差的部分、以及没有得到预先设定的画质的部分等。该检测对象的部分只要根据该系统的结构或目的适当设定就可以。例如也可以关于被摄影的空间中的特定的被摄体，将要求的画质设定得较高。此外，也可以相反，关于摄影空间中的特定的区域，将要求的画质设定得较低，也可以设定为即使没有摄影到影像也不判定为死角。
另外，上述所谓画质，包括影像中的作为摄影对象的被摄体所占的面积(例如像素数)、或焦点是否对在作为摄影对象的被摄体上等的关于影像的各种各样的信息，只要以这些信息或其组合为基准判定是否是死角就可以。
另外，在上述的说明中，对实际成为死角的区域的检测进行了说明，但为了防止死角的发生而需要检测的区域并不限定于实际成为死角的区域。例如，在存在多个摄影对象、至少其一部分移动的情况下，有可能通过别的摄影对象进入到某个摄影对象与照相机之间而发生新的死角。相对于此，解析部ex112也可以根据例如摄影的影像数据等检测多个摄影对象的运动，基于检测出的多个摄影对象的运动和照相机ex102的位置信息，来推测有可能新成为死角的区域。在此情况下，影像信息处理装置ex101也可以向移动照相机发送指示信号以使其将有可能成为死角的区域摄影，防止死角的发生。
另外，在有多个移动照相机的情况下，影像信息处理装置ex101需要选择为了将死角或有可能成为死角的区域摄影而发送指示信号的移动照相机。此外，在分别存在多个移动照相机及死角或有可能成为死角的区域的情况下，影像信息处理装置ex101需要关于多个移动照相机的各自决定将哪个死角或有可能成为死角的区域摄影。例如，影像信息处理装置ex101基于死角或有可能成为死角的区域和各移动照相机摄影中的区域的位置，选择距死角或成为死角的区域最近的移动照相机。此外，影像信息处理装置ex101也可以关于各移动照相机在该移动照相机不能得到当前摄影中的影像数据的情况下判定是否新发生死角，选择即使得不到当前摄影中的影像数据也判断为没有发生死角的移动照相机。
通过以上的结构，影像信息处理装置ex101通过检测死角、对移动照相机发送指示信号以防止死角，能够防止死角的发生。
(变形例1)
另外，在上述说明中，叙述了向移动照相机发送指示移动的指示信号的例子，但指示信号也可以是用来向用户照相机的用户指示移动的信号。例如，用户照相机基于指示信号，显示向用户指示变更照相机的方向的指示图像。另外，用户照相机作为用户的移动的指示，也可以在地图上显示表示移动路径的指示图像。此外，用户照相机也可以为了提高取得的图像的质量而显示摄影方向、角度、视场角、画质及摄影区域的移动等详细的摄影的指示，进而如果在影像信息处理装置ex101侧能够控制，则影像信息处理装置ex101也可以自动地控制这样的关于摄影的照相机ex102的特征量。
这里，用户照相机例如是体育场内的观众或设施内的保安人员持有的智能电话、平板电脑型终端、可穿戴终端或HMD(Head Mounted Display：头戴型显示器)。
此外，显示指示图像的显示终端不需要与将影像数据摄影的用户照相机相同。例如，也可以是用户照相机对与用户照相机预先建立了对应的显示终端发送指示信号或指示图像，该显示终端显示指示图像。此外，也可以将与用户照相机对应的显示终端的信息预先登记在影像信息处理装置ex101中。在此情况下，影像信息处理装置ex101也可以通过对与用户照相机对应的显示终端直接发送指示信号，使显示终端显示指示图像。
(变形例2)
解析部ex112例如也可以通过使用SfM从保存在保存部ex111中的影像数据将设施内或体育场内的三维形状复原，来生成自由视点影像(三维重建数据)。该自由视点影像被保存在保存部ex111中。影像信息处理装置ex101将从影像接收装置ex103发送的与视野信息(及/或视点信息)对应的影像数据从保存部ex111读出，向影像接收装置ex103发送。另外，影像接收装置ex103也可以是多个照相机的一个。
(变形例3)
影像信息处理装置ex101也可以检测摄影禁止区域。在此情况下，解析部ex112将摄影图像解析，在移动照相机正在对摄影禁止区域进行摄影的情况下对移动照相机发送摄影禁止信号。移动照相机在接收摄影禁止信号的期间中停止摄影。
解析部ex112通过取得例如使用SfM复原的三维的虚拟空间与摄影影像的匹配，判定在空间内预先设定的移动照相机是否正在对摄影禁止区域进行摄影。或者，解析部ex112以配置在空间内的标识或特征性的物体为触发事件，判定移动照相机是否正在对摄影禁止区域进行摄影。所谓摄影禁止区域，例如是设施内或体育场内的卫生间等。
此外，在用户照相机对摄影禁止区域进行摄影的情况下，也可以通过在用户照相机以无线或有线连接的显示器等上显示消息、或从扬声器或耳机输出声响或声音，向用户告知当前的场所是摄影禁止场所。
例如，作为上述消息，显示当前将照相机朝向的方向为摄影禁止。或者，在显示的地图上表示摄影禁止区域和当前的摄影区域。此外，例如如果不再输出摄影禁止信号则自动地进行摄影的再开始。或者，也可以在没有输出摄影禁止信号并且用户做出了进行摄影再开始的操作的情况下再开始摄影。此外，在短期间中发生了多次摄影的停止和再开始的情况下，也可以再次进行校准。或者，也可以向用户进行用来确认当前位置或敦促移动的通知。
此外，在警察等特别的业务的情况下，也可以使用为了记录而将这样的功能关闭的密码或指纹认证等。进而，即使是这样的情况，也可以在将摄影禁止区域的影像显示或保存在外部的情况下自动地进行马赛克等图像处理。
通过以上的结构，影像信息处理装置ex101通过进行摄影禁止的判定、向用户通知以使其停止摄影，能够将某个区域设定为摄影禁止。
(变形例4)
为了根据影像构建三维的虚拟空间，需要收集多个视点的影像，所以影像信息处理系统ex100对转送了摄影影像的用户设定激励。例如，影像信息处理装置ex101对转送了影像的用户赋予具有能免费或以折扣费用进行影像分发、或能够在在线或离线的商店或游戏内使用的货币性价值的分数，或者是赋予具有在游戏等的虚拟空间中的社会地位等非货币性价值的分数。此外，影像信息处理装置ex101对转送了需求较多等有价值的视野(及/或视点)的摄影影像的用户赋予特别高的分数。
(变形例5)
影像信息处理装置ex101也可以基于解析部ex112的解析结果，对用户照相机发送附加信息。在此情况下，用户照相机将附加信息叠加在摄影影像上而显示在画面上。所谓附加信息，例如在摄影了体育场中的比赛的情况下，是选手名或身高等的选手的信息，与影像内的各选手建立对应而显示该选手的姓名或面部照片等。另外，影像信息处理装置ex101也可以基于影像数据的一部分或全部的区域，通过经由因特网的检索来提取附加信息。此外，照相机ex102也可以从以Bluetooth(蓝牙，注册商标)为代表的近距离无线通信或体育场等的照明通过可视光通信接受这样的附加信息，将接受到的附加信息映射到影像数据中。此外，照相机ex102也可以将该映射基于保持在以有线或无线连接在照相机ex102上的存储部中的表、表示由可视光通信技术得到的信息与附加信息的对应关系的表等的一定规则进行，也可以通过因特网检索而使用最可靠的组合的结果来进行。
此外，在监视系统中，通过对设施内的保安人员持有的用户照相机叠加例如注意人物的信息，能够实现监视系统的高精度化。
(变形例5)
解析部ex112也可以通过取自由视点影像与用户照相机的摄影影像的匹配，来判定用户照相机正在对设施内或体育场内的哪个区域进行摄影。另外，摄影区域的判定方法并不限于此，也可以使用在上述各实施方式中说明的各种各样的摄影区域的判定方法或其他摄影区域的判定方法。
影像信息处理装置ex101基于解析部ex112的解析结果，对用户照相机发送过去影像。用户照相机将过去影像叠加在摄影影像上，或将摄影影像替换为过去影像，显示在画面上。
例如，在中场休息中，作为过去影像而显示上半场的精彩场面场景。由此，用户在中场休息中能够将上半场的精彩场面场景作为自己观看的方向的影像欣赏。另外，过去影像并不限于上半场的精彩场面场景，也可以是在该体育场中进行过的过去的比赛的精彩场面场景等。此外，影像信息处理装置ex101将过去影像分发的定时并不限于中场休息中，例如也可以是比赛结束后，也可以是比赛中。特别是在比赛中的情况下，基于解析部ex112的解析结果，影像信息处理装置ex101也可以分发用户漏看的认为重要的场景。此外，影像信息处理装置ex101也可以仅在从用户有请求的情况下分发过去影像，或者在过去影像的分发前分发分发许可的消息。
(变形例6)
影像信息处理装置ex101也可以基于解析部ex112的解析结果，对用户照相机发送广告信息。用户照相机将广告信息叠加在摄影影像上，显示在画面上。
广告信息也可以在例如要分发由变形例5表示的中场休息中或比赛结束后的过去影像之前进行分发。由此，分发业者能够得到来自广告主的广告费，能够向用户便宜或免费提供影像分发服务。此外，影像信息处理装置ex101既可以在广告信息要分发之前分发广告分发许可的消息，也可以仅在用户视听了广告的情况下免费地提供服务，也可以是与没有视听广告的情况相比更便宜地提供服务。
此外，如果用户按照广告点击了“现在立即订购”等，则该系统或基于某种位置信息掌握了用户的位置的工作人员或会场的自动的配送系统将订购的饮料送到座席。结算既可以是向工作人员的直接交付，也可以基于预先设定在移动终端的应用等中的信用卡信息进行。此外，也可以在广告中包含向电子商务站点的链接，为能够进行通常的到宅配送等的在线购物的状态。
(变形例7)
影像接收装置ex103也可以是照相机ex102(用户照相机)的一个。在此情况下，解析部ex112通过取自由视点影像与用户照相机的摄影影像的匹配，判定用户照相机正在对设施内或体育场内的哪个区域进行摄影。另外，摄影区域的判定方法并不限于此。
例如，如果用户向显示在画面上的箭头的方向滑动操作，则用户照相机生成表示使视点向该方向移动的视点信息。影像信息处理装置ex101从保存部ex111读出对从解析部ex112判定的用户照相机的摄影区域移动了视点信息的量的区域进行了摄影的影像数据，开始该影像数据向用户照相机的发送。并且，用户照相机不是显示摄影影像，而是显示从影像信息处理装置ex101分发的影像。
通过以上，设施内或体育场内的用户能够通过画面滑动那样的简单的动作将来自喜好的视点的影像视听。例如在棒球场的3垒侧观战的观众能够视听来自1垒侧的视点的影像。此外，在监视系统中，由于设施内的保安人员能够通过画面滑动那样的简单的动作，将自身想要确认的视点或作为来自中心的中断而要注视的影像等一边适应性地改变视点一边视听，所以能够实现监视系统的高精度化。
此外，向设施内或体育场内的用户的影像的分发例如在用户照相机与摄影对象之间存在障碍物而有看不到的区域的情况下等也是有效的。在此情况下，用户照相机既可以将用户照相机的摄影区域中的包含障碍物的一部分的区域的影像从摄影影像中切换为来自影像信息处理装置ex101的分发影像而显示，也可以将画面整体从摄影影像切换为分发影像而显示。此外，用户照相机也可以将摄影影像与分发影像合成，显示能够透过障碍物看到视听对象那样的影像。根据该结构，在因障碍物的影响而从用户的位置看不到摄影对象的情况下，也能够视听从影像信息处理装置ex101分发的影像，所以能够减轻障碍物的影响。
此外，在作为因障碍物而看不到的区域的影像而显示分发影像的情况下，也可以进行与对应于上述画面滑动那样的用户的输入处理的显示的切换控制不同的显示的切换控制。例如，也可以在基于用户照相机的移动及摄影方向的信息、以及预先得到的障碍物的位置信息，判定为在摄影区域中包含障碍物的情况下，自动地进行从摄影影像向分发影像的显示的切换。此外，也可以在通过摄影影像数据的解析判定为拍摄有不是摄影对象的障碍物的情况下，自动地进行从摄影影像向分发影像的显示的切换。此外，也可以在摄影影像中包含的障碍物的面积(例如像素数)超过了规定的阈值的情况下，或在障碍物的面积相对于摄影对象的面积的比超过了规定的比例的情况下，自动地进行从摄影影像向分发影像的显示的切换。
另外，也可以根据用户的输入处理来进行从摄影影像向分发影像的显示的切换、以及从分发影像向摄影影像的显示的切换。
(变形例8)
也可以基于由各照相机ex102摄影的影像数据的重要度，指示将影像数据向影像信息处理装置ex101转送的速度。
在此情况下，解析部ex112判定保存在保存部ex111中的影像数据或将该影像数据摄影的照相机ex102的重要度。这里的重要度的判定例如基于影像中包含的人的数量或移动物体的数量、影像数据的画质等的信息或其组合来进行。
此外，影像数据的重要度的判定也可以基于将影像数据摄影的照相机ex102的位置或影像数据摄影的区域来进行。例如，在对象的照相机ex102的附近存在多个摄影中的其他照相机ex102的情况下，使由对象的照相机ex102摄影的影像数据的重要度变低。此外，在虽然对象的照相机ex102的位置从其他照相机ex102远离但将相同区域摄影的其他照相机ex102存在多个的情况下，使由对象的照相机ex102摄影的影像数据的重要度变低。此外，影像数据的重要度的判定也可以基于影像分发服务中的请求的多少来进行。另外，重要度的判定方法并不限于上述方法或其组合，只要是与监视系统或影像分发系统的结构或目的对应的方法就可以。
此外，重要度的判定也可以不是基于摄影的影像数据而进行的。例如，也可以将向影像信息处理装置ex101以外的终端发送影像数据的照相机ex102的重要度设定得较高。相反，也可以将向影像信息处理装置ex101以外的终端发送影像数据的照相机ex102的重要度设定得较低。由此，例如在需要影像数据的传送的多个服务共用通信带宽的情况下，与各服务的目的或特性对应的通信带宽的控制的自由度变高。由此，能够防止因不能得到需要的影像数据造成的各服务的品质的劣化。
此外，解析部ex112也可以使用自由视点影像和照相机ex102的摄影影像来判定影像数据的重要度。
影像信息处理装置ex101基于由解析部ex112进行的重要度的判定结果，对照相机ex102发送通信速度指示信号。影像信息处理装置ex101例如对正在摄影重要度较高的影像的照相机ex102指示较高的通信速度。此外，影像信息处理装置ex101也可以不仅是速度的控制，还对于重要的信息，为了减轻因缺失造成的劣势而发送指示多次发送那样的方式的信号。由此，能够有效率地进行设施内或体育场内整体的通信。另外，照相机ex102与影像信息处理装置ex101的通信既可以是有线通信也可以是无线通信。此外，影像信息处理装置ex101也可以仅进行有线通信及无线通信的某一方。
照相机ex102以遵循通信速度指示信号的通信速度将摄影影像数据向影像信息处理装置ex101发送。另外，照相机ex102也可以在规定的次数重发失败的情况下，将该摄影影像数据的重发停止，开始下个摄影影像数据的转送。由此，能够有效率地进行设施内或体育场内整体的通信，能够实现解析部ex112中的处理的高速化。
此外，照相机ex102在分别分配的通信速度不是为了将摄影的影像数据转送而足够的带宽的情况下，也可以将摄影的影像数据变换为能够以被分配的通信速度发送的比特率的影像数据，将变换后的影像数据发送，也可以将影像数据的转送中止。
此外，在如上述那样为了防止死角的发生而使用影像数据的情况下，有可能为了将死角填补而仅需要包含在摄影的影像数据中的摄影区域中的一部分的区域。在此情况下，照相机ex102也可以通过至少从影像数据中仅提取为了防止死角的发生所需要的区域而生成提取影像数据，将所生成的提取影像数据向影像信息处理装置ex101发送。根据该结构，能够以更少的通信带宽实现死角的发生的抑制。
此外，例如在进行附加信息的叠加显示或影像分发的情况下，照相机ex102需要向影像信息处理装置ex101发送照相机ex102的位置信息及摄影方向的信息。在此情况下，仅被分配了不足以转送影像数据的带宽的照相机ex102也可以仅将由照相机ex102检测到的位置信息及摄影方向的信息发送。此外，在影像信息处理装置ex101中推测照相机ex102的位置信息及摄影方向的信息的情况下，照相机ex102也可以将摄影的影像数据变换为位置信息及摄影方向的信息的推测所需要的分辨率，将变换后的影像数据向影像信息处理装置ex101发送。根据该结构，对于仅被分配了较少的通信带宽的照相机ex102，也能够提供附加信息的叠加显示或影像分发的服务。此外，影像信息处理装置ex101由于能够从更多的照相机ex102取得摄影区域的信息，所以例如在以检测被关注的区域等的目的利用摄影区域的信息那样的情况下也是有效的。
另外，与上述被分配的通信带宽对应的影像数据的转送处理的切换也可以由照相机ex102基于被通知的通信带宽进行，也可以是影像信息处理装置ex101决定各照相机ex102的动作，将表示所决定的动作的控制信号向各照相机ex102通知。由此，能够根据动作的切换的判定所需要的计算量、照相机ex102的处理能力及需要的通信带宽等适当地进行处理的分担。
(变形例9)
解析部ex112也可以基于从影像接收装置ex103发送的视野信息(及/或视点信息)来判定影像数据的重要度。例如，解析部ex112将较多包含视野信息(及/或视点信息)表示的区域的摄影影像数据的重要度设定得较高。此外，解析部ex112也可以考虑影像中包含的人的数量或移动物体的数量来判定影像数据的重要度。另外，重要度的判定方法并不限于此。
另外，在本实施方式中说明的通信控制方法不一定需要在根据多个影像数据进行三维形状的重建的系统中使用。例如在存在多个照相机ex102的环境中，只要是将影像数据有选择地、或对传送速度赋予差别地以有线通信及/或无线通信发送的情况，在本实施方式中说明的通信控制方法就是有效的。
(变形例10)
在影像分发系统中，影像信息处理装置ex101也可以将表示摄影场景的整体的概览影像向影像接收装置ex103发送。
具体而言，影像信息处理装置ex101在接收到从影像接收装置ex103发送的分发请求的情况下，从保存部ex111将设施内或体育场内整体的概览影像读出，将该概览影像向影像接收装置ex103发送。该概览影像既可以更新间隔较长(既可以是低帧速率)，此外也可以画质较低。视听者在显示在影像接收装置ex103的画面上的概览影像中，碰触想要观看的部分。由此，影像接收装置ex103将与被碰触的部分对应的视野信息(及/或视点信息)向影像信息处理装置ex101发送。
影像信息处理装置ex101将与视野信息(及/或视点信息)对应的影像数据从保存部ex111读出，将该影像数据向影像接收装置ex103发送。
此外，解析部ex112通过对由视野信息(及/或视点信息)表示的区域优先地进行三维形状的复原(三维重建)，生成自由视点影像。解析部ex112将设施内或体育场内整体的三维形状以表示概览的程度的精度复原。由此，影像信息处理装置ex101能够有效率地进行三维形状的复原。结果，能够实现视听者想要观看的区域的自由视点影像的高帧速率化及高画质。
(变形例11)
另外，影像信息处理装置ex101例如也可以将根据设计图等事前生成的设施或体育场的三维形状复原数据作为事前影像预先保存。另外，事前影像并不限于此，也可以是将从深度传感器得到的空间的凹凸、和从过去或校准时的图像或影像数据导出的图片按照每个物体映射后的虚拟空间数据。
例如，在体育场中进行足球赛的情况下，解析部ex112也可以仅限定于选手及球进行三维形状的复原，通过将得到的复原数据与事前影像合成来生成自由视点影像。或者，解析部ex112也可以对选手及球优先地进行三维形状的复原。由此，影像信息处理装置ex101能够有效率地进行三维形状的复原。结果，能够实现关于视听者关注的选手及球的自由视点影像的高帧速率化及高画质化。此外，在监视系统中，解析部ex112也可以仅限定于人物及移动物体、或以它们为优先来进行三维形状的复原。
(变形例12)
各装置的时刻也可以基于服务器的基准时刻等，在摄影开始时进行校准。解析部ex112根据由多个照相机ex102摄影的多个摄影影像数据中的时刻设定的精度，使用在属于预先设定的时间范围内的时刻摄影的多个影像数据进行三维形状的复原。在该时刻的检测中，使用例如摄影影像数据被保存到保存部ex111中的时刻。另外，时刻的检测方法并不限于此。由此，影像信息处理装置ex101能够有效率地进行三维形状的复原，所以能够实现自由视点影像的高帧速率化及高画质化。
或者，解析部ex112也可以仅使用保存在保存部ex111足够的多个影像数据中的高画质数据，或优先地使用高画质数据，进行三维形状的复原。
(变形例13)
解析部ex112也可以使用照相机属性信息进行三维形状的复原。例如，解析部ex112也可以使用照相机属性信息，通过视体积交叉法或多视角立体法等的方法生成三维影像。在此情况下，照相机ex102将摄影影像数据和照相机属性信息向影像信息处理装置ex101发送。照相机属性信息例如是摄影位置、摄影角度、摄影时刻或缩放倍率等。
由此，影像信息处理装置ex101由于能够有效率地进行三维形状的复原，所以能够实现自由视点影像的高帧速率化及高画质化。
具体而言，照相机ex102在设施内或体育场内定义三维坐标，将照相机ex102将哪个附近的坐标从哪个角度以何种程度的缩放在哪个时间拍摄的信息，与影像一起作为照相机属性信息向影像信息处理装置ex101发送。此外，在照相机ex102的起动时，取设施内或体育场内的通信网络上的时钟与照相机内的时钟的同步，生成时间信息。
此外，通过在照相机ex102的起动时或任意的定时将照相机ex102朝向设施内或体育场内的特定的点，取得照相机ex102的位置及角度信息。图16是表示在照相机ex102的起动时在照相机ex102的画面上显示的通知的一例的图。用户如果按照该通知，将显示在画面中央的“+”对准于处于体育场北侧的广告中的足球中心的“+”，碰触照相机ex102的显示器，则照相机ex102取得从照相机ex102到广告的向量信息，确定照相机位置及角度的基准。然后，根据照相机ex102的动作信息来确定其时时刻刻的照相机坐标及角度。当然，并不限于该显示，也可以采用使用箭头等在摄影期间中也指示坐标、角度或摄影区域的移动速度等那样的显示。
照相机ex102的坐标的确定，也可以使用GPS、WiFi(注册商标)、3G、LTE(Long TermEvolution)及5G(无线LAN)的电波进行，也可以利用信标(Bluetooth(注册商标)，超声波)等近距离无线来进行。此外，也可以使用摄影影像数据到达了设施内或体育场内的哪个基站的信息。
(变形例14)
该系统也可以作为在智能电话等的移动终端上动作的应用来提供。
在向上述系统的登入(log in)中，也可以使用各种SNS等的帐户。另外，也可以使用应用专用的帐户或功能被限制的访客帐户。通过这样使用帐户，能够评价喜好的影像或喜好的帐户等。此外，通过对与摄影中或视听中的影像数据类似的影像数据、与摄影中或视听中的影像数据的视点类似的视点的影像数据等优先地分配带宽，能够提高这些影像数据的分辨率。由此，能够精度更好地进行从这些视点的三维形状的复原。
此外，用户通过在该应用中选择喜好的图像影像，关注(follow)对方，能够比其他用户更优先地看到所选择的图像、或以对方的认可等为条件用文本聊天等拥有联系。这样，能够实现新的社区的生成。
这样，通过用户彼此在社区内联系，摄影自身还有摄影的图像的共享等活跃化，能够促进精度更高的三维形状的复原。
此外，根据社区内的联系的设定，用户能够将他人摄影的图像或影像编辑、或将他人的图像与自己的图像作为拼接图而制作新的图像或影像。由此，能够将新的图像或影像仅由该社区内的人分享等，实现新的影像作品的分享。此外，通过在该编辑中插入CG的角色等，能够将影像作品也用于增强现实(Augmented Reality)的游戏等中。
此外，根据该系统，由于能够依次输出三维模型数据，所以能够基于进球场景等的特征性的场景下的三维模型数据，由设施具有的3D打印机等输出立体物体。由此，还能够在比赛后将基于该比赛中的场景的物体作为钥匙链那样的纪念品销售，或分发给参加用户。当然，作为通常的照片，还能够印刷出来自最好的视点的图像。
(变形例15)
使用上述系统，例如能够根据警察的车载照相机及警官的可穿戴照相机的影像等将地域整体的大致的状态用连接在该系统上的中心管理。
在通常的巡逻时，例如每隔几分钟进行静止图像的收发。此外，中心根据基于使用过去的犯罪数据等分析的结果的犯罪地图，确定犯罪发生的可能性较高的地域，或者保持着这样确定的与犯罪发生概率关联的地域数据。在所确定的犯罪发生概率较高的地域中，也可以提高图像的收发的频度或将图像变更为运动图像。此外，在事件发生时，也可以采用使用运动图像或SfM等的三维重建数据。此外，通过中心或各终端同时使用深度传感器或热传感器等其他传感器的信息将图像或虚拟空间修正，警官能够更正确地掌握状况。
此外，中心通过使用三维重建数据，能够向多个终端反馈该物体的信息。由此，持有各终端的各个人能够跟踪物体。
此外，最近，以建造物或环境的调查、或体育等的有临场感的摄影等的目的，进行借助四轴飞行器、无人机等的可飞行的装置从空中进行摄影。这样的借助自主移动装置的摄影中，图像抖动容易成为问题，但SfM能够一边通过位置及倾斜将该抖动修正一边进行三维化。由此，能够实现画质的提高及空间的复原精度的提高。
此外，对车外进行摄影的车载照相机的设置，根据国家不同而被赋予了义务。在这样的车载照相机中，也通过使用根据多个图像模型化的三维数据，能够精度更好地掌握行进目标的方向的天气及路面的状态、以及拥堵程度等。
(变形例16)
上述系统例如也能够应用到利用多个照相机进行建筑物或设备的测距或模型制作的系统中。
这里，例如在使用1台无人机对建筑物从上空进行摄影，进行建筑物的测距或模型制作的情况下，有因为在测距中动物体被拍入到照相机中而测距的精度下降的问题。此外，有不能进行动物体的测距及模型制作的问题。
另一方面，通过如上述那样使用多个照相机(固定照相机、智能电话、可穿戴照相机及无人机等)，不论动物体的有无都能够以稳定的精度实现建筑物的测距及模型制作。此外，能够实现动物体的测距及模型制作。
具体而言，例如在建筑现场在作业员的头盔等上安装照相机。由此，能够并行于作业员的作业而进行建筑物的测距。此外，还能够用于作业的高效率化及错误防止。此外，能够使用用装接在作业员上的照相机摄影的影像将建筑物进行模型制作。进而，处于远程的管理者通过观看模型制作出的建筑物，能够确认进展状况。
此外，该系统可以用于工厂或发电站的机械等不能停止的设备的检修。此外，该系统可以在桥或水坝的开闭、或检修游乐园的乘坐设备的动作等中是否没有异常的情况下使用。
此外，通过用该系统监视道路的拥堵状况或交通量，能够生成表示各时间段的道路的拥堵状况或交通量的地图。
(实施方式4)
通过将用来实现在上述各实施方式中表示的图像处理方法的结构的程序记录到存储介质中，能够将在上述各实施方式中表示的处理在独立的计算机系统中简单地实施。存储介质可以是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明在上述各实施方式中表示的图像处理方法的应用例和使用它的系统。该系统的特征在于具有使用图像处理方法的装置。关于系统中的其他结构，根据情况可以适当地变更。
图17是表示实现内容分发服务的内容供给系统ex200的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置作为固定无线站的基站ex206、ex207、ex208、ex209、ex210。
该内容供给系统ex200在因特网ex201上经由因特网服务提供商ex202及通信网ex204、以及基站ex206到ex210，连接着计算机ex211、PDA(Personal Digital Assistant)ex212、照相机ex213、智能电话ex214、游戏机ex215等的各设备。
但是，内容供给系统ex200并不限定于图17那样的结构，也可以将某些要素组合而连接。此外，也可以不经由作为固定无线站的基站ex206到ex210，而是各设备直接连接在电话线、有线电视或光通信等的通信网ex204上。此外，各设备也可以经由近距离无线等直接相互连接。
照相机ex213是数字摄像机等的能够进行运动摄影的设备，照相机ex216是数字照相机等的能够进行静止图像摄影、运动图像摄影的设备。此外，便携电话ex214是与GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或者LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)、或高频带的通信方式等对应的智能电话机，或PHS(Personal Handyphone System)等，是哪种都可以。
在内容供给系统ex200中，通过将照相机ex213等经由基站ex209、通信网ex204连接在流媒体服务器ex203上，能够进行实时(live)分发等。在实时分发中，对用户使用照相机ex213摄影的内容(例如音乐会现场的影像等)如上述实施方式中说明那样进行编码，发送给流媒体服务器ex203。另一方面，流媒体服务器ex203将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex211、PDAex212、照相机ex213、智能电话ex214、游戏机ex215等。在接收到分发的数据的各设备中，对接收到的数据进行解码处理并再现。
另外，摄影的数据的编码处理既可以由照相机ex213进行，也可以由进行数据的发送处理的流媒体服务器ex203进行，也可以相互分担进行。同样，分发后的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex203进行，也可以相互分担进行。此外，并不限定于照相机ex213，也可以将由照相机ex216摄影的静止图像及/或运动图像数据经由计算机ex211发送给流媒体服务器ex203。此情况下的编码处理由照相机ex216、计算机ex211、流媒体服务器ex203的哪个进行都可以，也可以相互分担进行。进而，关于解码后的图像的显示，也既可以与系统相连的多个设备连动显示相同的图像，也可以用具有较大的显示部的装置显示整体的图像，用智能电话ex214等将图像的一部分的区域放大显示。
此外，这些编码－解码处理一般在计算机ex211及各设备具有的LSIex500中处理。LSIex500既可以是单芯片也可以是由多芯片构成的结构。另外，也可以将图像编码－解码用的软件装入到能够由计算机ex211等读取的某种记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而，在智能电话ex214是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是用智能电话ex214具有的LSIex500编码处理后的数据。
此外，流媒体服务器ex203也可以是多个服务器或多个计算机、是将数据分散处理或记录而进行分发的结构。
如以上这样，在内容供给系统ex200中，客户端能够接收编码的数据并再现。这样，在内容供给系统ex200中，客户端能够将用户发送的信息实时地接收并解码、再现，即使是不具有特别的权利或设备的用户也能够实现个人广播。
另外，并不限于内容供给系统ex200的例子，如图18所示，对于数字广播用系统ex300中也能够应用上述各实施方式。具体而言，在广播站ex301中将在影像数据中复用了声音数据的复用数据经由电波通信或向卫星ex302传送。该影像数据是通过在上述各实施方式中说明的运动图像编码方法编码的数据。接受到它的广播卫星ex302发送广播用的电波，能够进行卫星广播的接收的家庭的天线ex304接收该电波。电视机(接收机)ex400或机顶盒(STB)ex317等的装置将接收到的复用数据解码并再现。
此外，在将记录在DVD、BD等的记录介质ex315或SD等的存储器ex316中的复用数据读取并解码，或者将影像信号编码到记录介质ex315或存储器ex316中再根据情况而与音乐数据复用而写入的读取/记录机ex318中，也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，将再现的影像信号显示在监视器ex319上，通过记录有复用数据的记录介质ex315，在其他装置及系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex303或卫星/地面波广播的天线ex304上的机顶盒ex317内安装运动图像解码装置、将其用电视机的监视器ex319显示。此时，也可以不是在机顶盒内、而在电视机内装入图像解码装置。
图19是表示智能电话ex214的图。此外，图20是表示智能电话ex214的结构例的图。智能电话ex214具有：用来在与基站ex210之间收发电波的天线ex450；能够对影像、静止图像进行摄影的照相机部ex465；显示由照相机部ex465摄影的影像、由天线ex450接收到的影像等被解码后的数据的液晶显示器等的显示部ex458。智能电话ex214还具备作为操作面板等的操作部ex466、用来输出声音的作为扬声器等的声音输出部ex457、用来输入声音的作为麦克风等的声音输入部ex456、能够将摄影的影像、静止图像、录音的声音、或接收到的影像、静止图像、邮件等的编码的数据或解码的数据保存的存储器部ex467或图18所例示的存储器ex316，或者作为与确定用户、用来以网络为代表进行向各种数据的访问的认证的SIMex468的接口部的插槽部ex464。
智能电话ex214对于综合控制显示部ex458及操作部ex466等的主控制部ex460，将电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、照相机接口部ex463、LCD(Liquid Crystal Display)控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464、存储器部ex467经由总线ex470相互连接。
电源电路部ex461如果通过用户的操作使结束通话及电源键成为开启状态，则通过从电池组对各部供给电力，将带有智能电话ex214启动为能够动作的状态。
智能电话ex214基于具有CPU、ROM及RAM等的主控制部ex460的控制，在声音通话模式时将由声音输入部ex456集音的声音信号通过声音信号处理部ex454变换为数字声音信号，将其用调制/解调部ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理之后经由天线ex450发送。此外，智能电话ex214在声音通话模式时，将由天线ex450接收到的接收数据放大而实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。
进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作部ex466等的操作输入的电子邮件的文本数据经由操作输入控制部ex462向主控制部ex460送出。主控制部ex460将文本数据用调制/解调部ex452进行波谱扩散处理，在由发送/接收部ex451实施数字模拟变换处理及频率变换处理后经由天线ex450向基站ex210发送。在接收电子邮件的情况下，对接收到的数据进行其大致相反的处理，向显示部ex458输出。
在数据通信模式时发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将从照相机部ex465供给的影像信号通过在上述各实施方式中表示的运动图像编码方法压缩编码，将编码后的影像数据向复用/分离部ex453送出。此外，声音信号处理部ex454将在由照相机部ex465摄像影像、静止图像等的过程中由声音输入部ex456集音的声音信号编码，将编码后的声音数据向复用/分离部ex453送出。
复用/分离部ex453将从影像信号处理部ex455供给的编码的影像数据和从声音信号处理部ex454供给的编码的声音数据以规定的方式复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex452进行波谱扩散处理，在由发送/接收部ex451实施数字模拟变换处理及频率变换处理后经由天线ex450发送。
在数据通信模式时接收到链接在主页等上的运动图像文件的数据的情况下、或接收到附加有影像及或声音的电子邮件的情况下，为了将经由天线ex450接收到的复用数据解码，复用/分离部ex453通过将复用数据解复用而分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给、并将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过用与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法解码而将影像信号解码，经由LCD控制部ex459从显示部ex458将在例如链接到主页上的运动图像文件中包含的影像、静止图像显示。此外，声音信号处理部ex454将声音信号解码，从声音输出部ex457输出声音。
此外，上述智能电话ex214等的终端与电视机ex400同样，可以考虑除了具有编码器、解码器两者的收发型终端以外，还有仅编码器的发送终端、仅解码器的接收终端的3种安装形式。进而，在数字广播用系统ex300中，假设将在影像数据中复用了音乐数据等的复用数据接收、发送而进行了说明，但也可以是在声音数据以外还复用了与影像关联的字符数据等的数据，也可以不是复用数据而是影像数据自身。
此外，本公开并不限定于上述实施方式，能够在不脱离本公开的范围的情况下进行各种变形或修正。
产业上的可利用性
根据本公开，能够将用多个照相机摄影的多视点影像自动地以比以往方法高的精度同步，能够将多视点的影像同步再现，应用到全景影像生成及三维影像生成等中。
标号说明
100 照相机
101 被摄体
102 最终用户
111、112 影像
113 同步信息
114 照相机信息
121 帧
122 特征点信息
123、124 匹配信息
125 推测信息
126 同步帧候选
200 影像同步装置
210 输入部
220 同步处理部
221 特征量提取部
222 同步信息取得部
230 输出部
231 帧取得部
232 特征点检测部
233 特征点匹配部
234 匹配信息修正部
241 三维重建部
242 同步帧候选提取部
243 同步帧决定部

Claims (15)

1.一种影像同步装置，具备处理部和连接在上述处理部上的存储部，其特征在于，
上述处理部执行：
检测步骤，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各个第2图像帧中包含的第2特征点；
提取步骤，按每个第2图像帧，从上述第1图像帧和该第2图像帧提取匹配点，该匹配点是由上述第1特征点和与上述第1特征点类似的第2特征点构成的组；以及
同步步骤，基于按每个第2图像帧得到的、其上述匹配点满足该第2图像帧与上述第1图像帧之间的第1几何学关系的第1程度，从上述多个第2图像帧中决定与上述第1图像帧同步的第2图像帧。
2.如权利要求1所述的影像同步装置，其特征在于，
在上述提取步骤中，对上述多个第2图像帧分别提取多个上述匹配点；
上述同步步骤包括：
排除步骤，对上述多个第2图像帧分别计算各上述匹配点满足上述第1几何学关系的上述第1程度，从上述多个匹配点中将计算出的上述第1程度比阈值低的匹配点排除；以及
决定步骤，基于对上述多个第2图像帧分别得到的进行了排除后的匹配点，根据上述多个第2图像帧，决定与上述第1图像帧同步的第2图像帧。
3.如权利要求2所述的影像同步装置，其特征在于，
上述同步步骤还包括对上述多个第2图像帧分别使用上述多个匹配点的至少一部分计算上述第1几何学关系的计算步骤；
在上述排除步骤中，计算上述各匹配点满足所计算出的上述第1几何学关系的上述第1程度。
4.如权利要求3所述的影像同步装置，其特征在于，
在上述计算步骤中，使用多个匹配点的至少一部分计算极线约束的基础矩阵；
在上述排除步骤中，使用上述基础矩阵计算上述各匹配点满足上述极线约束的上述第1程度。
5.如权利要求2～4中任一项所述的影像同步装置，其特征在于，
在上述决定步骤中，将上述进行了排除后的匹配点的数量比阈值多的第2图像帧决定为与上述第1图像帧同步的第2图像帧。
6.如权利要求1所述的影像同步装置，其特征在于，
上述同步步骤包括：
计算表示各上述匹配点的三维坐标的三维复原点的步骤；
基于计算出的上述三维复原点，计算满足上述第1几何学关系的上述第1程度的步骤；以及
决定步骤，在上述多个第2图像帧中，将计算出的上述第1程度较高的第2图像帧决定为与上述第1图像帧同步的第2图像帧。
7.如权利要求6所述的影像同步装置，其特征在于，
上述第1程度是计算出的上述三维复原点的数量；
在上述决定步骤中，
在上述多个第2图像帧中，将计算出的上述三维复原点的数量较多的第2图像帧决定为与上述第1图像帧同步的第2图像帧。
8.如权利要求6所述的影像同步装置，其特征在于，
上述第1程度是表示将上述三维复原点投影到上述第1图像帧及上述第2图像帧上的投影点与上述第1特征点及上述第2特征点的差的再投影误差；
在上述决定步骤中，
在上述多个第2图像帧中，将计算出的上述再投影误差较小的第2图像帧决定为与上述第1图像帧同步的第2图像帧。
9.如权利要求6所述的影像同步装置，其特征在于，
在计算上述三维复原点的步骤中，
计算上述第1影像及上述第2影像的摄影位置及摄影方向；
使用上述计算出的上述摄影位置及上述摄影方向计算上述三维复原；
上述处理部还执行将上述摄影位置及上述摄影方向输出的步骤。
10.如权利要求1所述的影像同步装置，其特征在于，
在上述检测步骤中，基于被摄体的轮廓、亮度差及色差中的至少一个检测上述第1特征点及上述第2特征点。
11.如权利要求1所述的影像同步装置，其特征在于，
在上述检测步骤中，还检测在包含于第3影像中的多个第3图像帧的各个第3图像帧中包含的第3特征点；
在上述提取步骤中，还提取上述第1特征点和与上述第1特征点类似的第3特征点的组、以及上述第2特征点和与上述第2特征点类似的第3特征点的组，作为上述匹配点；
在上述同步步骤中，
按照由各一个上述第1图像帧、上述第2图像帧及上述第3图像帧构成的每个组合，计算上述第1程度；
使多个上述组合中的、计算出的上述第1程度较高的组合中包含的第1图像帧、第2图像帧及第3图像帧同步。
12.一种影像同步装置，其特征在于，具备：
检测部，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各个第2图像帧中包含的第2特征点；
提取部，按每个第2图像帧，从上述第1图像帧和该第2图像帧提取匹配点，该匹配点是由上述第1特征点和与上述第1特征点类似的第2特征点构成的组；以及
同步部，基于按每个第2图像帧得到的、其上述匹配点满足该第2图像帧与上述第1图像帧之间的第1几何学关系的第1程度，从上述多个第2图像帧中决定与上述第1图像帧同步的第2图像帧。
13.一种影像同步方法，其特征在于，包括：
检测步骤，检测在包含于第1影像中的第1图像帧中包含的第1特征点、和在包含于第2影像中的多个第2图像帧的各个第2图像帧中包含的第2特征点；
提取步骤，按每个第2图像帧，从上述第1图像帧和该第2图像帧提取匹配点，该匹配点是由上述第1特征点和与上述第1特征点类似的第2特征点构成的组；以及
同步步骤，基于按每个第2图像帧得到的、其上述匹配点满足该第2图像帧与上述第1图像帧之间的第1几何学关系的第1程度，从上述多个第2图像帧中决定与上述第1图像帧同步的第2图像帧。
14.一种计算机可读取的记录介质，其特征在于，
记录有用来使计算机执行权利要求13所述的影像同步方法的程序。
15.一种影像同步系统，其特征在于，包括：
多个照相机；以及
权利要求1所述的影像同步装置，使由上述多个照相机摄影的多个影像同步。
CN201680018794.1A 2015-06-25 2016-03-18 影像同步装置及影像同步方法 Active CN107534789B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015127275 2015-06-25
JP2015-127275 2015-06-25
JP2016032521 2016-02-23
JP2016-032521 2016-02-23
PCT/JP2016/001584 WO2016208102A1 (ja) 2015-06-25 2016-03-18 映像同期装置及び映像同期方法

Publications (2)

Publication Number Publication Date
CN107534789A CN107534789A (zh) 2018-01-02
CN107534789B true CN107534789B (zh) 2021-04-27

Family

ID=57585033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680018794.1A Active CN107534789B (zh) 2015-06-25 2016-03-18 影像同步装置及影像同步方法

Country Status (5)

Country Link
US (1) US20180091704A1 (zh)
EP (1) EP3316589B1 (zh)
JP (2) JP6820527B2 (zh)
CN (1) CN107534789B (zh)
WO (1) WO2016208102A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US10417744B2 (en) 2017-09-20 2019-09-17 Amatelus Inc. Video distribution device, video distribution system, video distribution method, and video distribution program
JP7292853B2 (ja) 2017-12-26 2023-06-19 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2019117375A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
EP3509308A1 (en) * 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream
JP7223978B2 (ja) * 2018-05-23 2023-02-17 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US11483540B2 (en) 2018-08-22 2022-10-25 I-Conic Vision Ab Method and corresponding system for generating video-based 3-D models of a target such as a dynamic event
KR102543228B1 (ko) * 2018-10-18 2023-06-13 삼성전자주식회사 포터블 장치 및 그 제어방법
CN109597432B (zh) * 2018-11-30 2022-03-18 航天时代飞鸿技术有限公司 一种基于车载摄像机组的无人机起降监控方法及系统
WO2020131037A1 (en) * 2018-12-18 2020-06-25 Rovi Guides, Inc. Systems and methods for automated tracking on a handheld device using a remote camera
JP6571859B1 (ja) * 2018-12-26 2019-09-04 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
US10931972B2 (en) * 2019-01-24 2021-02-23 Dell Products, L.P. Forward channel contextual error concealment and sync for virtual, augmented, or mixed reality (XR) content in connectivity-constrained environments
CN113508419B (zh) * 2019-02-28 2024-09-13 斯塔特斯公司 从广播视频生成运动员跟踪数据的系统及方法
JP7067513B2 (ja) * 2019-03-25 2022-05-16 日本電信電話株式会社 映像同期装置、映像同期方法、プログラム
CN110086986B (zh) * 2019-04-22 2020-08-28 北京电影学院 可自由旋转的影像显示同步控制方法及系统
JP7208530B2 (ja) * 2019-05-31 2023-01-19 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム
US11032447B2 (en) 2019-07-08 2021-06-08 Sling Media Pvt. Ltd. Method and system for automatically synchronizing audio-video inputs in a multi camera environment
JP7249637B2 (ja) * 2019-08-08 2023-03-31 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
JP7287188B2 (ja) * 2019-08-29 2023-06-06 沖電気工業株式会社 処理装置、プログラムおよび処理方法
US11431775B2 (en) * 2019-11-20 2022-08-30 W.S.C. Sports Technologies Ltd. System and method for data stream synchronization
KR102308347B1 (ko) * 2020-03-19 2021-10-05 한양대학교 산학협력단 카메라 동기화 장치 및 그 동기화 처리 방법
US11341683B2 (en) * 2020-09-22 2022-05-24 AiFi Corp Smart self calibrating camera system
EP4349019A1 (en) * 2021-05-25 2024-04-10 Yoom.Com Ltd. Volumetric video in web browser
CN113542774B (zh) * 2021-06-04 2023-10-20 北京格灵深瞳信息技术股份有限公司 视频同步方法、装置、电子设备及存储介质
US11488386B1 (en) * 2021-06-20 2022-11-01 AiFi Corp Method to generate models for testing and training in a retail environment for a camera simulation system
CN113794942B (zh) * 2021-09-09 2022-12-02 北京字节跳动网络技术有限公司 自由视角视频的视角切换方法、装置、系统、设备和介质
KR102340527B1 (ko) * 2021-09-29 2021-12-20 (주)픽소니어 프레임 센서모델에 기반하여 드론에 의해 촬영되는 비디오 데이터와 텔레메트리 데이터를 동기화하는 동기화 장치 및 방법
CN114170453A (zh) * 2021-12-17 2022-03-11 广州极飞科技股份有限公司 同步帧图像确定方法、装置、计算机设备及可读存储介质
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction
WO2024018643A1 (ja) * 2022-07-22 2024-01-25 株式会社RedDotDroneJapan 撮影システム、撮影方法、撮影制御装置及びプログラム
WO2024150697A1 (ja) * 2023-01-12 2024-07-18 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061343A (ja) * 2008-09-03 2010-03-18 Oki Electric Ind Co Ltd 音声記録方法、音声再生方法、音声記録プログラム、音声再生プログラム
CN104391924A (zh) * 2014-11-21 2015-03-04 南京讯思雅信息科技有限公司 一种混合音视频检索方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030201A (ja) * 2001-07-19 2003-01-31 Matsushita Electric Ind Co Ltd 画像管理装置及び映像配信方法
JP2006025340A (ja) * 2004-07-09 2006-01-26 Canon Inc 広角撮像装置、撮像システムおよびその制御方法
US20110230987A1 (en) * 2010-03-11 2011-09-22 Telefonica, S.A. Real-Time Music to Music-Video Synchronization Method and System
WO2012048304A1 (en) * 2010-10-07 2012-04-12 Sungevity Rapid 3d modeling
US8457355B2 (en) * 2011-05-05 2013-06-04 International Business Machines Corporation Incorporating video meta-data in 3D models
JP2013065936A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 視差映像生成システム、視差映像生成方法、映像配信システムおよび映像配信方法
CN102435188B (zh) * 2011-09-15 2013-10-02 南京航空航天大学 一种用于室内环境的单目视觉/惯性全自主导航方法
CN102621143B (zh) * 2012-01-21 2013-10-09 天津大学 基于多维阈值约束的双视角多气泡同名匹配方法
JP5803868B2 (ja) * 2012-09-20 2015-11-04 カシオ計算機株式会社 動画処理装置、動画処理方法及びプログラム
JP6235777B2 (ja) * 2012-12-19 2017-11-22 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム、並びに、表示装置、表示方法及びプログラム
JP6163899B2 (ja) * 2013-06-11 2017-07-19 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061343A (ja) * 2008-09-03 2010-03-18 Oki Electric Ind Co Ltd 音声記録方法、音声再生方法、音声記録プログラム、音声再生プログラム
CN104391924A (zh) * 2014-11-21 2015-03-04 南京讯思雅信息科技有限公司 一种混合音视频检索方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于事件序列匹配的多摄像机视频同步;黄飞跃;《清华大学学报(自然科学版)》;20090115;全文 *

Also Published As

Publication number Publication date
WO2016208102A1 (ja) 2016-12-29
EP3316589A1 (en) 2018-05-02
JPWO2016208102A1 (ja) 2018-05-10
JP2021044849A (ja) 2021-03-18
CN107534789A (zh) 2018-01-02
JP6820527B2 (ja) 2021-01-27
US20180091704A1 (en) 2018-03-29
EP3316589A4 (en) 2018-07-04
EP3316589B1 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
CN107534789B (zh) 影像同步装置及影像同步方法
CN109565605B (zh) 拍摄技术生成方法以及影像处理装置
JP7223978B2 (ja) 校正装置および校正方法
CN109661812B (zh) 多视点摄像系统、三维空间重构系统及三维空间识别系统
JP7307259B2 (ja) 三次元情報処理方法及び三次元情報処理装置
JP7203356B2 (ja) 撮像システム
JP6460105B2 (ja) 撮影方法、撮影システムおよび端末装置
JP7122694B2 (ja) 撮像システムおよび校正方法
WO2017134706A1 (ja) 映像表示方法及び映像表示装置
JP6778912B2 (ja) 映像表示方法及び映像表示装置
JP6607433B2 (ja) 映像配信方法及びサーバ
WO2015159487A1 (ja) 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
WO2015194082A1 (ja) 画像処理方法および画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant