CN113128498A - 跨领域的画面比较方法与系统 - Google Patents

跨领域的画面比较方法与系统 Download PDF

Info

Publication number
CN113128498A
CN113128498A CN202010159690.0A CN202010159690A CN113128498A CN 113128498 A CN113128498 A CN 113128498A CN 202010159690 A CN202010159690 A CN 202010159690A CN 113128498 A CN113128498 A CN 113128498A
Authority
CN
China
Prior art keywords
similarity
analyzing
cross
domain
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010159690.0A
Other languages
English (en)
Inventor
林丰胜
王祖芳
李润容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN113128498A publication Critical patent/CN113128498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了一种跨领域的画面比较方法与系统。跨领域的画面比较方法包括以下步骤：获得跨领域的二影片，此些影片由不同类型的二装置产生；对各个影片的画面取得多个语意分割区块；依据此些语意分割区块于此些影片的变化路径，分析出感兴趣区域配对；分析感兴趣区域配对的二包围盒及二中心点；至少依据此些包围盒及此些中心点，分析此些画面的相似度。

Description

跨领域的画面比较方法与系统
技术领域
本公开是有关于一种跨领域的画面比较方法与系统。
背景技术
近年来自驾车上路的事故频传。因此，自驾车上路前的各种行车模拟测试就显得非常重要。特别是需要一些事故影片，来测试出自驾车的应变能力。倘若采用真实车辆撞击的方式来产生实际事故影片，必然需要相当高的成本。因此，以计算机图像来辅助产生类似的合成事故影片，就成为良好的替代方案。
然而，计算机图像产生的合成事故影片具有多高的可信度成为行车模拟测试能否成功的重要因素。也就是说，合成事故影片与实际事故影片必须具备一定程度的相似度。合成事故影片与实际事故影片是由不同的装置所产生，这两者为跨领域的影片，其像素内容差距甚大，难以进行比对。倘若采取传统的影像相似度比对方法，根本无法比对出相似度。因此，研究人员正致力于开发一种跨领域的画面比较方法，以协助例如是上述行车模拟测试的应用、及其他领域的应用。
公开内容
本公开系有关于一种跨领域的画面比较方法与系统。
根据本公开的一实施例，提出一种跨领域的画面比较方法。跨领域的画面比较方法包括以下步骤：获得跨领域的二影片，此些影片由不同类型的二装置产生；对各个影片的画面取得多个语意分割区块(semantic segmentation area)；依据此些语意分割区块于此些影片的变化路径，分析出感兴趣区域配对(region of interest pair，ROI pair)；分析感兴趣区域配对的二包围盒(bonding box)及二中心点；至少依据此些包围盒及此些中心点，分析此些画面的相似度。
根据本公开的一实施例，提出一种跨领域的画面比较系统。跨领域的画面比较系统包括输入单元、语意分割单元、感兴趣区域分析单元、包围盒分析单元及相似度分析单元。输入单元用以获得跨领域的二影片，此些影片由不同类型的二装置产生；语意分割单元用以对各个影片的画面取得多个语意分割区块(semantic segmentation area)；感兴趣区域分析单元用以依据此些语意分割区块于此些影片的变化路径，分析出感兴趣区域配对(region ofinterest pair，ROI pair)；包围盒分析单元用以分析感兴趣区域配对的二包围盒(bonding box)及二中心点；相似度分析单元用以至少依据此些包围盒及此些中心点，分析此些画面的相似度。
附图说明
图1绘示根据一实施例的跨领域的二影片的示意图。
图2绘示根据一实施例的跨领域的画面比较系统的示意图。
图3绘示根据一实施例的跨领域的画面比较方法的流程图。
图4绘示图3的各步骤的示意图。
图5绘示根据一实施例的步骤S150的细部流程图。
图6～7绘示根据一实施例的步骤S151的示例图。
图8～9绘示根据一实施例的步骤S152的示例图。
图10绘示根据一实施例的步骤S153的示意图。
图11～12绘示根据一实施例的步骤S154的示意图。
附图标记说明
100：跨领域的画面比较系统
110：输入单元
120：语意分割单元
130：感兴趣区域分析单元
140：包围盒分析单元
150：相似度分析单元
151：位置相似度分析器
152：角度相似度分析器
153：尺寸相似度分析器
154：轮廓相似度分析器
155：分数计算器
A11、A12、A21、A22：中心轴
B11、B12、B21、B22：包围盒
C11、C12、C21、C22：中心点
CT01、CT02：轮廓差异
d1，1、d1，2、d2，1、d2，2：对角线长度
F1、F2：画面
L01、L02：连线
R01、R02：感兴趣区域配对
r1、F2：相对角度
S11、S12、S21、S22：语意分割区块
S110、S120、S130、S140、S150、S151、S152、S153、S154、S155：步骤
sim：相似度
simcon：轮廓相似程度
simorie：角度相似程度
simpos：位置相似程度
simsize：尺寸相似程度
t1、t2：欧几里德距离
t1，max、t2，max：最大距离
T11、T12、T21、T22：轮廓
VD1、VD2：影片
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
请参照图1，其绘示根据一实施例的跨领域的二影片VD1、VD2的示意图。“跨领域”指由不同类型的装置所产生。影片VD1例如摄影机所拍摄的实际事故影片、实际行车影片、实际舞蹈影片、或实际体操影片等。影片VD2例如是通过计算机制图所产生的合成事故影片、合成行车影片、合成舞蹈影片、或合成体操影片等。合成事故影片、合成行车影片、合成舞蹈影片、或合成体操影片有助于模拟事故/行车/舞蹈/体操训练模型的建立。然而，合成事故影片/合成行车影片/合成舞蹈影片/合成体操影片与实际事故影片/实际行车影片/实际舞蹈影片/实际体操影片必须具备一定程度的相似度，才能够提高训练模型的可靠度。
请参照图2，其绘示根据一实施例的跨领域的画面比较系统100的示意图。跨领域的画面比较系统100包括输入单元110、语意分割单元120、感兴趣区域分析单元130、包围盒分析单元140及相似度分析单元150。输入单元110例如是无线传输装置、传输线、记忆卡或硬盘。语意分割单元120、感兴趣区域分析单元130、包围盒分析单元140及相似度分析单元150例如是电路、芯片、电路板、数组程序码或储存程序码的储存装置。跨领域的画面比较系统100可以利用语意分割/语义分割技术(semantic segmentation)将影片VD1、VD2的复杂度降低，并且取出感兴趣区域配对(region ofinterest pair，ROI pair)，以进行分析与比较，进而获得相似度。如此一来，跨领域的影片VD1、VD2也能够顺利分析出相似度，防助进行行车模拟、舞蹈训练、体操训练等各种应用。以下更通过一流程图详细说明上述各项元件的运作。
请参照图3～4，图3绘示根据一实施例的跨领域的画面比较方法的流程图，图4绘示图3的各步骤的示意图。在步骤S110中，输入单元110获得跨领域的影片VD1、VD2。如图1所示，影片VD1例如摄影机所拍摄，影片VD2例如是通过计算机制图所产生。影片VD1由数张画面所组成，影片VD2也是由数张画面所组成。画面中存在一些物件与背景。在比对影片VD1与影片VD2时，可以将两者的物件予以配对，并针对配对的物件进行比对，即可顺利分析出影片VD1的某一画面与影片VD2的某一画面的相似度。
接着，在步骤S120中，语意分割单元120对影片VD1、VD2的画面F1、F2取得数个语意分割区块(semantic segmentation area)S11、S12、S21、S22。如图4所示，影片VD1的画面F1具有语意分割区块S11、S12，影片VD2的画面F2具有语意分割区块S21、S22。语意分割技术是对画面中的每一个像素进行分类，以切割出物件。语意分割单元120利用语意分割网络模型(semantic segmentation model)取得语意分割区块S11、S12、S21、S22。语意分割网络模型例如是全卷积式神经网络模型(Fully Convolutional Networks，FCN)、U-net模型或Enet模型(efficient neural network)。在此步骤中，尚未得知语意分割区块S11、S12、S21、S22之间的配对关系。
然后，在步骤S130中，感兴趣区域分析单元130依据语意分割区块S11、S12、S21、S22于影片VD1、VD2的变化路径，分析出感兴趣区域配对(region ofinterest pair，ROIpair)R01、R02。对应于感兴趣区域配对R01的两个语意分割区块S11、S21来自于不同的两个影片VD1、VD2。对应于感兴趣区域配对R02的两个语意分割区块S12、S22来自于不同的两个影片VD1、VD2。如图4所示，感兴趣区域分析单元130依据语意分割区块S11于影片VD1的变化路径及语意分割区块S21于影片VD2的变化路径，分析出语意分割区块S11与语意分割区块S21的变化路径相似。语意分割区块S11与语意分割区块S21被视为同一物件，故语意分割区块S11与语意分割区块S21组成一感兴趣区域配对(region ofinterest pair，ROI pair)R01。
感兴趣区域分析单元130依据语意分割区块S12于影片VD1的变化路径及语意分割区块S22于影片VD2的变化路径，分析出语意分割区块S12与语意分割区块S22的变化路径相似。语意分割区块S12与语意分割区块S22被视为同一物件，故语意分割区块S12与语意分割区块S22组成一感兴趣区域配对R02。配对出感兴趣区域配对R01后，即可针对感兴趣区域配对R01进行分析，以得知画面F1与画面F2的相似度。同样的，配对出感兴趣区域配对R02后，即可针对感兴趣区域配对R02进行分析，以得知画面F1与画面F2的相似度。倘若感兴趣区域配对R01的语意分割区块S11与语意分割区块S21相似度相当的高，则可推知画面F1与画面F2具有较高的相似度；倘若感兴趣区域配对R02的语意分割区块S12与语意分割区块S22相似度相当的高，则可推知画面F1与画面F2具有较高的相似度。
接着，在步骤S140中，包围盒分析单元140分析感兴趣区域配对R01、R02的包围盒(bonding box)B11、B12、B21、B22及中心点C11、C12、C21、C22。如图4所示，包围盒分析单元140分析出感兴趣区域配对R01的包围盒B11、B21及二中心点C11、C21，并分析出感兴趣区域配对R02的包围盒B12、B22及二中心点C12、C22。包围盒B11、B12、B21、B22例如是带方向包围盒(oriented bounding box，OBB)。带方向包围盒为相对于坐标轴任意方向的最小包围盒。
中心点C11、C12、C21、C22则例如分别是包围盒B11、B12、B21、B22的对角线的交点。至此，跨领域的画面比较系统100已获得感兴趣区域配对R01、R02的语意分割区块S11、S12、S21、S22的轮廓、包围盒B11、B12、B21、B22与中心点C11、C12、C21、C22等信息。通过这些信息可以进一步分析出画面F1与画面F2的相似度。
然后，在步骤S150中，相似度分析单元150至少依据此些包围盒B11、B12、B21、B22及此些中心点C11、C12、C21、C22，分析此些画面F1、F2的相似度。如图2所示，相似度分析单元150包括位置相似度分析器151、角度相似度分析器152、尺寸相似度分析器153、轮廓相似度分析器154及分数计算器155。位置相似度分析器151、角度相似度分析器152、尺寸相似度分析器153、轮廓相似度分析器154及分数计算器155例如是电路、芯片、电路板、数组程序码或储存程序码的储存装置。相似度分析单元150可以通过这些分析器进行各种差异分析，以得知画面F1、F2的相似度。以下更通过细部流程图详细说明各项子元件的运作方式。
请参照图5，其绘示根据一实施例的步骤S150的细部流程图。步骤S150包括子步骤S151～S155。步骤S151～S154的顺序可调整。此外，在一实施例中，步骤S151～S154可以同时执行。步骤S151～S154的顺序不局限于图5的示例。
请参照图6～7，其绘示根据一实施例的步骤S151的示例图。在步骤S151中，位置相似度分析器151分析中心点C11、C12、C21、C22的欧几里德距离(Euclidean distance)，以获得感兴趣区域配对R01、R02的位置相似程度simpos。如图6所示，位置相似度分析器151将画面F1的边界与画面F2的边界叠合后，沿着中心点C11与中心点C21建立连线L01，并分析中心点C11与中心点C21的欧几里德距离t1、及中心点C11或中心点C21距画面F1、F2的边界的最大距离t1，max。最大距离t1，max沿着中心点C11与中心点C21的连线L01量测。
如图7所示，位置相似度分析器151将画面F1的边界与画面F2的边界叠合后，沿着中心点C12与中心点C22建立连线L02，并分析中心点C12与中心点C22的欧几里德距离t2、及中心点C12或中心点C22距画面F1、F2的边界的最大距离t2,max。最大距离t2,max沿着中心点C12与中心点C22的连线L02量测。
位置相似度分析器151根据上述信息，获得感兴趣区域配对R01与感兴趣区域配对R02的位置相似程度simpos。位置相似程度simpos例如是以下式(1)计算。
Figure BDA0002405517650000071
其中，|ROI pair|为感兴趣区域配对R01、R02的数量(例如为2)。也就是说，倘若中心点C11与中心点C21相当接近，且中心点C12与中心点C22相当接近时，位置相似程度simpos会相当接近于1。反之，倘若中心点C11远离中心点C21，且中心点C12远离中心点C22时，位置相似程度simpos会接近于0。
请参照图8～9，其绘示根据一实施例的步骤S152的示例图。在步骤S152中，角度相似度分析器152分析包围盒B11、B12、B21、B22的相对角度，以获得感兴趣区域配对R01、R02的角度相似程度simOrie。如图8所示，角度相似度分析器152对准中心点C11及中心点C21，将包围盒B11与包围盒B21叠合后，分析包围盒B11的中心轴A11与包围盒B21的中心轴A21的相对角度r1。
如图9所示，角度相似度分析器152对准中心点C12及中心点C22，将包围盒B12与包围盒B22叠合后，分析包围盒B12的中心轴A12与包围盒B22的中心轴A22的相对角度r2。
角度相似度分析器152根据相对角度r1、r2，获得感兴趣区域配对R01与感兴趣区域配对R02的角度相似程度simorie。角度相似程度simorie例如是以下式(2)计算。
Figure BDA0002405517650000072
也就是说，倘若包围盒B11与包围盒B21的倾斜程度相当接近，且包围盒B12与包围盒B22的倾斜程度相当接近时，角度相似程度simorie会相当接近于1。反之，倘若包围盒B11与包围盒B21的倾斜程度差异较大，且包围盒B12与包围盒B22的倾斜程度差异较大时，角度相似程度simorie会相当接近于0。
请参照图10，其绘示根据一实施例的步骤S153的示意图。在步骤S153中，尺寸相似度分析器153分析各个包围盒B11、B12、B21、B22的对角线长度d1,1、d1,2、d2,1、d2,2，以获得感兴趣区域配对R01、R02的尺寸相似程度simsize。如图10所示，感兴趣区域配对R01的包围盒B11具有对角线长度d1，1，感兴趣区域配对R01的包围盒B21具有对角线长度d2，1，感兴趣区域配对R02的包围盒B12具有对角线长度d1，2，感兴趣区域配对R02的包围盒B22具有对角线长度d2，2。
尺寸相似度分析器153根据对角线长度d1，1、d1,2、d2,1、d2，2，获得感兴趣区域配对R01与感兴趣区域配对R02的尺寸相似程度simsize。尺寸相似程度simsize例如是以下式(3)计算。
Figure BDA0002405517650000081
也就是说，倘若包围盒B11与包围盒B21的尺寸相当接近，且包围盒B12与包围盒B22的尺寸相当接近时，尺寸相似程度simsize会相当接近于1。反之，倘若包围盒B11与包围盒B21的尺寸差异较大，且包围盒B12与包围盒B22的尺寸差异较大时，尺寸相似程度simsize会接近于0。
请参照图11～12，其绘示根据一实施例的步骤S154的示意图。在步骤S154中，轮廓相似度分析器154分析各个感兴趣区域配对R01、R02的语意分割区块S11、S12、S21、S22的轮廓，以获得感兴趣区域配对R01、R02的轮廓相似程度simcon。如图11所示，轮廓相似度分析器154将感兴趣区域配对R01的语意分割区块S11的轮廓与语意分割区块S21的轮廓调整成一致尺寸的轮廓T11与轮廓T21，接着再分析轮廓T11与轮廓T21的轮廓差异CT01。
如图12所示，轮廓相似度分析器154将感兴趣区域配对R02的语意分割区块S12的轮廓与语意分割区块S22的轮廓调整成一致尺寸的轮廓T12与轮廓T22，接着再分析轮廓T12与轮廓T22的轮廓差异CT02。然后，轮廓相似度分析器154再根据轮廓差异CT01与轮廓差异CT02获得感兴趣区域配对R01、R02的轮廓相似程度simcon(标示于图2)。
接着，进入步骤S155。如图2所示，分数计算器155加权平均感兴趣区域配对R01、R02的位置相似程度simpos、感兴趣区域配对的角度相似程度simorie、感兴趣区域配对的尺寸相似程度simsize及感兴趣区域配对的轮廓相似程度simcon，以获得画面F1、F2的相似度sim。
根据上述实施例，跨领域的画面比较系统100及跨领域的画面比较方法可以利用语意分割/语义分割技术将跨领域的影像的复杂度降低，并且取出感兴趣区域配对，以进行分析与比较，进而获得相似度。如此一来，跨领域的影片能够顺利分析出相似度，协助进行行车模拟、舞蹈训练、体操训练等各种应用。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (20)

1.一种跨领域的画面比较方法，包括：
获得跨领域的二影片，该些影片由不同类型的二装置产生；
对各该影片的画面取得多个语意分割区块；
依据该些语意分割区块于该些影片的变化路径，分析出感兴趣区域配对；
分析该感兴趣区域配对的二包围盒及二中心点；以及
至少依据该些包围盒及该些中心点，分析该些画面的相似度。
2.根据权利要求1所述的跨领域的画面比较方法，其中该些影片的其中的一个由摄影机所拍摄，该些影片的其中的另一个为计算机所绘制。
3.根据权利要求1所述的跨领域的画面比较方法，其中在取得该些语意分割区块的步骤中，利用语意分割网络模型取得该些语意分割区块，该语意分割网络模型为全卷积式神经网络模型、U-net模型或Enet模型。
4.根据权利要求1所述的跨领域的画面比较方法，其中分析该些画面的该相似度的步骤包括：
加权平均该感兴趣区域配对的位置相似程度、该感兴趣区域配对的角度相似程度、该感兴趣区域配对的尺寸相似程度及该感兴趣区域配对的轮廓相似程度，以获得该些画面的该相似度。
5.根据权利要求4所述的跨领域的画面比较方法，其中分析该些画面的该相似度的步骤还包括：
分析该些中心点的欧几里德距离，以获得该感兴趣区域配对的该位置相似程度。
6.根据权利要求4所述的跨领域的画面比较方法，其中分析该些画面的该相似度的步骤还包括：
分析该些包围盒的相对角度，以获得该感兴趣区域配对的该角度相似程度。
7.根据权利要求4所述的跨领域的画面比较方法，其中分析该些画面的该相似度的步骤还包括：
分析各该包围盒的对角线长度，以获得该感兴趣区域配对的该尺寸相似程度。
8.根据权利要求4所述的跨领域的画面比较方法，其中分析该些画面的该相似度的步骤还包括：
分析该感兴趣区域配对的该些语意分割区块的二轮廓，以获得该感兴趣区域配对的该轮廓相似程度。
9.根据权利要求8所述的跨领域的画面比较方法，其中该些轮廓被调整为相同尺寸。
10.根据权利要求1所述的跨领域的画面比较方法，其中对应于该感兴趣区域配对的两个该些语意分割区块来自于不同的两个该些影片。
11.一种跨领域的画面比较系统，包括：
输入单元，用以获得跨领域的二影片，该些影片由不同类型的二装置产生；
语意分割单元，用以对各该影片的画面取得多个语意分割区块；
感兴趣区域分析单元，用以依据该些语意分割区块于该些影片的变化路径，分析出感兴趣区域配对；
包围盒分析单元，用以分析该感兴趣区域配对的二包围盒及二中心点；以及
相似度分析单元，用以至少依据该些包围盒及该些中心点，分析该些画面的相似度。
12.根据权利要求11所述的跨领域的画面比较系统，其中该些影片的其中的一个由摄影机所拍摄，该些影片的其中的另一个为计算机所绘制。
13.根据权利要求11所述的跨领域的画面比较系统，其中该语意分割单元利用语意分割网络模型取得该些语意分割区块，该语意分割网络模型为全卷积式神经网络模型、U-net模型或Enet模型。
14.根据权利要求11所述的跨领域的画面比较系统，其中该相似度分析单元包括：
分数计算器，用以加权平均该感兴趣区域配对的位置相似程度、该感兴趣区域配对的角度相似程度、该感兴趣区域配对的尺寸相似程度及该感兴趣区域配对的轮廓相似程度，以获得该些画面的该相似度。
15.根据权利要求14所述的跨领域的画面比较系统，其中该相似度分析单元还包括：
位置相似度分析器，用以分析该些中心点的欧几里德距离，以获得该感兴趣区域配对的该位置相似程度。
16.根据权利要求14所述的跨领域的画面比较系统，其中该相似度分析单元还包括：
角度相似度分析器，用以分析该些包围盒的相对角度，以获得该感兴趣区域配对的该角度相似程度。
17.根据权利要求14所述的跨领域的画面比较系统，其中该相似度分析单元还包括：
尺寸相似度分析器，用以分析各该包围盒的对角线长度，以获得该感兴趣区域配对的该尺寸相似程度。
18.根据权利要求14所述的跨领域的画面比较系统，其中该相似度分析单元还包括：
轮廓相似度分析器，用以分析各感兴趣区域配对的该些语意分割区块的二轮廓，以获得该感兴趣区域配对的该轮廓相似程度。
19.根据权利要求18所述的跨领域的画面比较系统，其中该轮廓相似度分析器将该些轮廓调整为相同尺寸。
20.根据权利要求11所述的跨领域的画面比较系统，其中对应于该感兴趣区域配对的两个该些语意分割区块来自于不同的两个该些影片。
CN202010159690.0A 2019-12-30 2020-03-10 跨领域的画面比较方法与系统 Pending CN113128498A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/730,145 2019-12-30
US16/730,145 US11610391B2 (en) 2019-12-30 2019-12-30 Cross-domain image comparison method and system using semantic segmentation

Publications (1)

Publication Number Publication Date
CN113128498A true CN113128498A (zh) 2021-07-16

Family

ID=76545492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010159690.0A Pending CN113128498A (zh) 2019-12-30 2020-03-10 跨领域的画面比较方法与系统

Country Status (3)

Country Link
US (1) US11610391B2 (zh)
CN (1) CN113128498A (zh)
TW (1) TWI797420B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050002568A1 (en) * 2003-07-01 2005-01-06 Bertrand Chupeau Method and device for measuring visual similarity
CN102542593A (zh) * 2011-09-30 2012-07-04 中山大学 一种基于视频解译的交互式视频风格化渲染方法
CN105657547A (zh) * 2015-12-31 2016-06-08 北京奇艺世纪科技有限公司 一种相似视频和盗版视频的检测方法及装置
CN109118519A (zh) * 2018-07-26 2019-01-01 北京纵目安驰智能科技有限公司 基于实例分割的目标Re-ID方法、系统、终端和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055138A2 (en) * 2003-11-26 2005-06-16 Yesvideo, Inc. Statical modeling of a visual image for use in determining similarity between visual images
US8326046B2 (en) 2009-02-11 2012-12-04 Ecole De Technologie Superieure Method and system for determining structural similarity between images
TWI427545B (zh) 2009-11-16 2014-02-21 Univ Nat Cheng Kung 以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方法
US8712156B2 (en) 2010-01-10 2014-04-29 Bronstein Bronstein Kimmel Technologies Ltd. Comparison of visual information
EP2668618B1 (en) 2011-01-25 2017-03-15 Telecom Italia S.p.A. Method for keypoint matching
CN103218810B (zh) 2013-03-27 2016-04-20 华北电力大学 一种电力塔杆图像语意分割方法
CN104023192B (zh) 2014-06-27 2016-04-13 努比亚技术有限公司 一种录制视频的方法和装置
US10297142B2 (en) 2015-01-30 2019-05-21 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for alert message detection in low latency systems
CN106203242B (zh) 2015-05-07 2019-12-24 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备
US10192117B2 (en) * 2015-06-25 2019-01-29 Kodak Alaris Inc. Graph-based framework for video object segmentation and extraction in feature space
CN105857547B (zh) 2016-05-19 2018-08-21 哈尔滨工程大学 一种uuv防渔网缠绕装置
CN107092870B (zh) 2017-04-05 2019-11-26 武汉大学 一种高分辨率影像语义信息提取方法
US20200174490A1 (en) * 2017-07-27 2020-06-04 Waymo Llc Neural networks for vehicle trajectory planning
TWI762562B (zh) 2018-01-26 2022-05-01 國立中央大學 影像辨識方法及影像辨識裝置
US11361500B2 (en) * 2018-12-21 2022-06-14 The Regents Of The University Of Michigan Reconstructing 3D video using particle filtering to aggregate crowd responses
CN109670555B (zh) 2018-12-27 2023-07-07 吉林大学 基于深度学习的实例级行人检测和行人重识别系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050002568A1 (en) * 2003-07-01 2005-01-06 Bertrand Chupeau Method and device for measuring visual similarity
CN102542593A (zh) * 2011-09-30 2012-07-04 中山大学 一种基于视频解译的交互式视频风格化渲染方法
CN105657547A (zh) * 2015-12-31 2016-06-08 北京奇艺世纪科技有限公司 一种相似视频和盗版视频的检测方法及装置
CN109118519A (zh) * 2018-07-26 2019-01-01 北京纵目安驰智能科技有限公司 基于实例分割的目标Re-ID方法、系统、终端和存储介质

Also Published As

Publication number Publication date
US11610391B2 (en) 2023-03-21
TW202125407A (zh) 2021-07-01
TWI797420B (zh) 2023-04-01
US20210201093A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US11720798B2 (en) Foreground-background-aware atrous multiscale network for disparity estimation
Lee et al. Simultaneous traffic sign detection and boundary estimation using convolutional neural network
Dewi et al. Robust detection method for improving small traffic sign recognition based on spatial pyramid pooling
US9224189B2 (en) Method and apparatus for combining panoramic image
US20060029276A1 (en) Object image detecting apparatus, face image detecting program and face image detecting method
US11551388B2 (en) Image modification using detected symmetry
JP2007183949A (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
CN108182457B (zh) 用于生成信息的方法和装置
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
Zhang et al. Objective quality assessment of image retargeting by incorporating fidelity measures and inconsistency detection
CN112348885A (zh) 视觉特征库的构建方法、视觉定位方法、装置和存储介质
CN109657538B (zh) 基于上下文信息指导的场景分割方法和系统
CN110689020A (zh) 一种矿物浮选泡沫图像的分割方法及电子设备
CN111339884A (zh) 图像识别方法以及相关设备、装置
Jabar et al. Objective assessment of perceived geometric distortions in viewport rendering of 360° images
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
Yammine et al. Novel similarity-invariant line descriptor and matching algorithm for global motion estimation
Zhu et al. Large-scale architectural asset extraction from panoramic imagery
CN110309790B (zh) 一种用于道路目标检测的场景建模方法和装置
CN113128498A (zh) 跨领域的画面比较方法与系统
US20230196718A1 (en) Image augmentation device and method
CN112001247B (zh) 多目标检测方法、设备及存储装置
CN113112531B (zh) 一种图像匹配方法及装置
CN112651351B (zh) 一种数据处理的方法和装置
US20210034915A1 (en) Method and apparatus for object re-identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination