CN112166456A - 图像处理方法及图像处理装置 - Google Patents
图像处理方法及图像处理装置 Download PDFInfo
- Publication number
- CN112166456A CN112166456A CN201980035307.6A CN201980035307A CN112166456A CN 112166456 A CN112166456 A CN 112166456A CN 201980035307 A CN201980035307 A CN 201980035307A CN 112166456 A CN112166456 A CN 112166456A
- Authority
- CN
- China
- Prior art keywords
- captured image
- image
- feature points
- captured
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 36
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 description 14
- 238000010191 image analysis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19127—Extracting features by transforming the feature space, e.g. multidimensional scaling; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/422—Technical drawings; Geographical maps
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Auxiliary Devices For Music (AREA)
- Character Discrimination (AREA)
Abstract
适当地确定乐谱等文档内的拍摄图像的位置。图像处理装置(100)具有：提取部(21)，其从由拍摄装置(13)依次生成的拍摄图像提取特征点；判定部(23)，其对从拍摄图像提取出的特征点的个数是否超过阈值进行判定；以及解析部(24)，其在从拍摄图像提取出的特征点的个数低于阈值的情况下，对拍摄图像相对于与拍摄图像相比之前生成的基准图像的位置进行确定。
Description
技术领域
本发明涉及对乐谱或者书籍等书面进行拍摄得到的图像进行解析的技术。
背景技术
以往提出了对利用者所期望的乐曲进行检索的技术。例如在专利文献1中公开了下述技术，即，从多个候选对包含由利用者依次指定出的音符的时间序列的乐曲进行检索。
专利文献1：日本特开平6－110945号公报
发明内容
通过将由拍摄装置对由多页构成的乐谱进行拍摄得到的图像(以下称为“拍摄图像”)与表示该乐谱内的不同页的多个候选图像分别进行对比，由此能够对乐谱内的拍摄图像的位置(例如页编号)进行确定。但是，在拍摄装置的拍摄倍率充分高的状态(例如拍摄装置与乐谱的纸面充分地接近的状态)下，会对将拍摄图像和候选图像适当地对比造成妨碍。因此，难以高精度地对乐谱内的拍摄图像的位置进行推定。此外，在以上的说明中，例示出对乐谱进行拍摄的拍摄图像，但例如在对拍摄小说等文档得到的图像进行解析的情况下也可能发生相同的问题。考虑到以上的情况，本发明的方式的目的在于，能够适当地确定乐谱或者书籍等文档内的拍摄图像的位置。
为了解决以上的课题，本发明的方式所涉及的图像处理方法是从由拍摄装置依次生成的拍摄图像提取特征点，对从第1拍摄图像提取出的特征点的个数是否超过阈值进行判定，在从所述第1拍摄图像提取出的特征点的个数低于所述阈值的情况下，对所述第1拍摄图像相对于与所述第1拍摄图像相比之前生成的第2拍摄图像的位置进行确定。
本发明的方式所涉及的图像处理装置具有：提取部，其从由拍摄装置依次生成的拍摄图像提取特征点；判定部，其对从第1拍摄图像提取出的特征点的个数是否超过阈值进行判定；以及解析部，其在从所述第1拍摄图像提取出的特征点的个数低于所述阈值的情况下，对所述第1拍摄图像相对于与所述第1拍摄图像相比之前生成的第2拍摄图像的位置进行确定。
附图说明
图1是表示第1实施方式所涉及的图像处理装置的结构的框图。
图2是例示拍摄装置的拍摄倍率和拍摄图像的范围之间的关系的示意图。
图3是特征点的个数超过阈值的情况下的显示装置的显示例。
图4是特征点的个数超过阈值的情况下的显示装置的显示例。
图5是例示由控制装置执行的处理的具体顺序的流程图。
图6是构成乐谱的谱表的说明图。
图7是解析数据的说明图。
图8是第2实施方式中的图像解析处理的流程图。
具体实施方式
＜第1实施方式＞
图1是例示第1实施方式所涉及的图像处理装置100的结构的框图。如图1中例示那样，第1实施方式的图像处理装置100是通过具有控制装置11、存储装置12、拍摄装置13和显示装置14的计算机系统而实现的。例如移动电话机或者智能手机等移动式的信息终端、或者个人计算机等移动式或者固定式的信息终端可被利用为图像处理装置100。
拍摄装置13是生成对被摄体进行拍摄得到的图像(以下称为“拍摄图像”)的图像输入设备。具体地说，拍摄装置13具有对与拍摄透镜等光学系统的视场角相对应的拍摄范围内的被摄体进行拍摄的拍摄元件。拍摄图像通过任意形式的图像数据进行表现。第1实施方式的拍摄装置13以规定的周期依次生成拍摄图像。即，生成按照多个拍摄图像的时间序列构成的动态图像。此外，在第1实施方式中例示出拍摄装置13搭载于图像处理装置100的结构，但也可以将与图像处理装置100分体的拍摄装置13通过有线或者无线而与图像处理装置100连接。即，也可以从图像处理装置100省略拍摄装置13。
利用者利用拍摄装置13对任意的乐曲的乐谱进行拍摄。利用者能够使拍摄装置13相对于乐谱的纸面任意地接近或者分离。即，如图2中例示那样，乐谱中的拍摄图像所表示的范围历时地变化。在图2中，在使拍摄装置13相对于乐谱的纸面逐渐地接近的过程中由拍摄装置13依次生成的拍摄图像的时间序列从附图的左方朝向右方排列。如图2中例示那样，拍摄装置13越接近乐谱的纸面，则拍摄倍率越增加而乐谱内的拍摄范围越缩小。此外，拍摄装置13的拍摄倍率也能够通过对拍摄透镜等光学系统进行操作而光学地调整。另外，也可以通过针对拍摄图像的图像数据的图像处理而电子地对拍摄倍率进行调整。
控制装置11例如是CPU(Central Processing Unit)等处理电路，集中地控制图像处理装置100的各要素。第1实施方式的控制装置11通过对由拍摄装置13依次生成的拍摄图像进行解析，从而对乐谱信息和页编号进行确定。乐谱信息是用于对拍摄图像所表示的乐谱进行识别的信息。例如乐谱所表示的乐曲的名称、或者对乐谱唯一地赋予的识别编号被利用为乐谱信息。页编号是构成乐谱的多页中的拍摄图像所表示的页的编号。即，页编号表示在乐谱内拍摄图像所表示的部分的位置。
存储装置12对由控制装置11执行的程序和由控制装置11使用的各种数据进行存储。作为存储装置12能够任意地采用例如半导体记录介质及磁记录介质等公知的记录介质、或者多种记录介质的组合。
第1实施方式的存储装置12针对事先准备的多个图像(以下称为“候选图像”)分别存储参照数据R。多个候选图像各自是表示乐谱信息和页编号已知的乐谱的1页对应量的图像。与不同的候选图像相对应的多个参照数据R针对多个乐曲分别存储于存储装置12。与任意的1个候选图像相对应的参照数据R包含表示该候选图像的图像数据C和与该候选图像相关的附属数据D而构成。各候选图像的附属数据D对该候选图像所表示的乐谱的乐谱信息和页编号进行指定。
显示装置14基于由控制装置11进行的控制而对各种图像进行显示。例如将液晶显示面板或者有机EL(Electroluminescence)显示面板适合利用为显示装置14。第1实施方式的显示装置14如图3中例示那样，将由拍摄装置13依次生成的拍摄图像与通过拍摄装置13进行的拍摄并行地按照实际时间进行显示。即，执行拍摄图像的实时取景显示。另外，显示装置14与拍摄图像一起显示信息区域Q。信息区域Q包含拍摄图像所表示的乐谱的乐谱信息(Book)和与该拍摄图像相对应的页编号(Page)。
在存储装置12中存储有参照数据R的多个候选图像中的、与拍摄图像相对应的1个候选图像的附属数据D所表示的乐谱信息及页编号显示于信息区域Q。与拍摄图像相对应的候选图像例如是包含与拍摄图像相似的部分的候选图像。利用者通过对显示装置14的信息区域Q进行视觉识别，从而能够掌握拍摄装置13当前正在拍摄的乐谱的乐谱信息和页编号。
如图1中例示那样，第1实施方式的控制装置11实现用于对由拍摄装置13依次生成的拍摄图像进行解析的多个功能(提取部21、确定部22、判定部23、解析部24、显示控制部25)。此外，可以将控制装置11的功能通过多个装置的集合(即系统)而实现，也可以将控制装置11的功能的一部分或者全部通过专用的电子电路而实现。
提取部21从由拍摄装置13依次生成的拍摄图像提取多个特征点。特征点是拍摄图像内的特征性地点。特征点的提取针对每个拍摄图像依次执行。在提取特征点时任意地采用SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)、KAZE(KAZE Features)或者AKAZE(Accelerated KAZE)等公知的图像解析技术。从各拍摄图像提取的特征点的个数N针对每个拍摄图像存在差异。具体地说，如图2中例示那样，具有下述倾向，即，拍摄装置13的拍摄倍率越增加(即，乐谱内的拍摄范围越缩小)，则特征点的个数N越减少。
确定部22对多个候选图像中的与拍摄图像相对应的候选图像进行确定。具体地说，确定部22通过针对多个候选图像分别将该候选图像和拍摄图像进行对比而对相似指标进行计算，对多个候选图像中的相似指标成为最大的候选图像进行确定。相似指标是表示候选图像和拍摄图像的相似程度的指标。例如，对表示候选图像的特征点的分布和拍摄图像的特征点的分布之间的相似程度的相似指标进行计算。在候选图像和拍摄图像的对比时任意地采用公知的图像处理技术。通过对与拍摄图像相对应的候选图像(例如包含与拍摄图像相似的部分的候选图像)进行确定，从而将由该候选图像的附属数据D指定的乐谱信息及页编号确定为该拍摄图像的乐谱信息及页编号。如根据以上的说明所理解那样，确定部22作为对拍摄图像的乐谱信息及页编号进行确定的要素起作用。
如前所述，拍摄装置13的拍摄倍率越增加则特征点的个数N越减少。在特征点的个数N少的状态下，难以将拍摄图像和各候选图像适当地对比。即，难以对适当地表现拍摄图像和候选图像之间的相似程度的相似指标进行计算。考虑以上的情况，在第1实施方式中，与拍摄图像的特征点的个数N相应地，对有无拍摄图像和各候选图像的对比进行控制。
图1的判定部23对从拍摄图像提取出的特征点的个数N是否超过规定的阈值Nth进行判定。阈值Nth是以使超过能够与候选图像适当地对比的候选图像的特征点的个数的最小值的方式通过统计或者实验的方式设定的。确定部22在拍摄图像的特征点的个数N超过阈值Nth的情况下，执行该拍摄图像和各候选图像的对比。另一方面，在特征点的个数N低于阈值Nth的情况下，确定部22不执行拍摄图像和各候选图像的对比。即，不对拍摄图像的乐谱信息及页编号进行确定。
解析部24在从拍摄图像提取出的特征点的个数N低于阈值Nth的情况下，对该拍摄图像相对于特定的基准图像的位置进行确定。基准图像例如是与拍摄图像相比之前(过去)由拍摄装置13生成的拍摄图像(第2拍摄图像的例示)。具体地说，特征点的个数N超过阈值Nth的最近(即最新)的拍摄图像被利用为基准图像。如图2中例示那样，由于拍摄倍率的增加(即乐谱的放大)，特征点的个数N减少，因此特征点的个数N低于阈值Nth的拍摄图像相当于基准图像的一部分。第1实施方式的解析部24生成表示拍摄图像相对于基准图像的位置的位置信息。位置信息是表示拍摄图像相对于基准图像的相对位置的信息，例如通过设定有相互正交的2轴的坐标平面内的坐标进行表现。
显示控制部25使显示装置14显示各种图像。第1实施方式的显示控制部25将由拍摄装置13依次生成的拍摄图像和与该拍摄图像相关的信息区域Q与通过拍摄装置13进行的拍摄并行地显示于显示装置14。具体地说，关于特征点的个数N超过阈值Nth的拍摄图像，如图3的例示那样，包含通过与各候选图像的对比而由确定部22确定出的乐谱信息和页编号在内的参照信息显示于显示装置14。另一方面，关于特征点的个数N低于阈值Nth的拍摄图像，如图4中例示那样，显示针对基准图像而确定出的乐谱信息及页编号和针对该拍摄图像由解析部24生成的位置信息(具体地说X坐标及Y坐标)。因此，利用者即使在拍摄装置13所涉及的拍摄倍率充分高的状态(例如拍摄装置13与乐谱的纸面充分地接近的状态)下，也能够掌握拍摄图像的位置。
图5是例示由图像处理装置100执行的处理(图像处理方法的例示)的具体顺序的流程图。针对拍摄装置13的拍摄图像的每次拍摄而执行图5的处理。如果开始图5的处理，则提取部21从拍摄图像(第1拍摄图像的例示)提取特征点(Sa1)。判定部23对特征点的个数N是否超过阈值Nth进行判定(Sa2)。
在判定部23判定为个数N超过阈值Nth的情况下(Sa2：YES)，确定部22对多个候选图像中的与拍摄图像相对应的拍摄图像进行确定(Sa3)。具体地说，确定部22通过将多个候选图像分别与拍摄图像对比而针对每个候选图像计算相似指标，对多个候选图像中的相似指标成为最大的候选图像进行确定。显示控制部25将与拍摄图像相对应的候选图像的附属数据D所指定的乐谱信息及页编号作为拍摄图像的乐谱信息及页编号显示于信息区域Q(Sa4)。
另外，在个数N超过阈值Nth的情况下，确定部22将在存储装置12中存储的基准图像更新为本次的拍摄图像(Sa5)。即，在每次拍摄到特征点的个数N超过阈值Nth的拍摄图像时对基准图像进行更新。如根据以上的说明所理解那样，将特征点的个数N超过阈值Nth的最新的拍摄图像作为基准图像进行存储。
另一方面，在判定部23判定为个数N低于阈值Nth的情况下(Sa2：NO)，解析部24对拍摄图像相对于在存储装置12中存储的基准图像的位置进行确定(Sa6)。即，生成表示拍摄图像相对于基准图像的位置的位置信息。显示控制部25将包含相对于基准图像而确定出的乐谱信息及页编号和当前时刻的拍摄图像的位置信息在内的信息区域Q显示于显示装置14(Sa7)。此外，在个数N等于阈值Nth的情况下，也可以执行候选图像的检索(Sa3)及位置信息的生成(Sa6)中的任意者。
如以上说明所述，在第1实施方式中，在从拍摄图像提取出的特征点的个数N超过阈值Nth的情况下，即，在能够适当地对比拍摄图像和各候选图像的情况下，对多个候选图像中的与拍摄图像相对应的候选图像进行确定。另一方面，在从拍摄图像提取出的特征点的个数N低于阈值Nth的情况下，即，在由于拍摄装置13的拍摄倍率充分高而无法适当地对比拍摄图像和各候选图像的情况下，对该拍摄图像相对于与拍摄图像相比之前生成的基准图像的位置进行确定。因此，利用者能够适当地掌握拍摄图像的位置。
另外，将特征点的个数N超过阈值Nth的拍摄图像，即，能够与各候选图像适当地对比的过去的拍摄图像作为基准图像，对拍摄图像相对于该基准图像的位置进行确定。因此，具有利用者能够适当地掌握乐谱内的拍摄图像的位置这样的优点。在第1实施方式中，特别地将特征点的个数N超过阈值Nth的最近的拍摄图像利用为基准图像。因此，与生成拍摄图像的时刻和生成基准图像的时刻在时间轴上乖离的结构相比较，具有能够适当地确定乐谱内的拍摄图像的位置这样的优点。
＜第2实施方式＞
对本发明的第2实施方式进行说明。此外，在下面的各例示中针对功能与第1实施方式相同的要素沿用在第1实施方式的说明中使用的标号而适当地省略各自详细的说明。
通过拍摄装置13拍摄的乐谱由多页构成。如图6中例示那样，乐谱的各页包含相互地隔开间隔在纵方向排列的多个谱表F。多个谱表F各自由表示不同的音高的横向的多个直线构成。具体地说，各谱表F是由5条直线构成的五线谱。包含高音记号或者中音记号等音部记号和音符或者休止符等标号在内的多个乐谱要素相对于多个谱表F分别配置。
图7是用于对第2实施方式中的候选图像的图像数据C进行说明的示意图。在图7中图示出了从候选图像提取出的多个特征点Pa和沿构成该候选图像的谱表F的多个直线L的基准线Lref。图7的射影点Pb是将1个特征点Pa向基准线Lref射影(详细地说是正射影)的地点。即，射影点Pb是经过1个特征点Pa的基准线Lref的垂线和该基准线Lref之间的交点(垂足)。第2实施方式中的各候选图像的图像数据C包含与候选图像的不同的谱表F相对应的多个解析数据Z而构成。与候选图像内的任意的1个谱表F相对应的解析数据Z是表示将候选图像的多个特征点Pa相对于与该谱表F相对应的基准线Lref而分别射影的多个射影点Pb的集合的矢量数据。
第2实施方式的确定部22通过对由拍摄装置13拍摄到的拍摄图像进行解析而生成解析数据Z，关于不同的候选图像将在存储装置12中存储的多个解析数据Z各自和拍摄图像的解析数据Z相互地对比，由此对与拍摄图像相对应的候选图像进行确定。
图8是例示第2实施方式的控制装置11对与拍摄图像相对应的候选图像进行确定的处理(以下称为“图像解析处理”)的具体顺序的流程图。在图5的步骤Sa3中执行图8的图像解析处理。如果开始图像解析处理，则确定部22通过拍摄图像的解析而生成解析数据Z(Sb1～Sb4)。
确定部22针对拍摄图像设定基准线Lref(Sb1)。具体地说，确定部22从拍摄图像对构成谱表F的各直线L进行提取，设定与多个直线L平行的基准线Lref。例如，确定部22将从拍摄图像提取出的横向的多个直线L针对每个谱表F进行划分(聚类)，对经过纵方向上的谱表F的中点并且沿该谱表F的各直线L横向地延伸的基准线Lref进行设定。
确定部22将从拍摄图像在步骤Sa1提取出的多个特征点Pa针对每个谱表F划分为多个集合(簇)(Sb2)。在划分多个特征点Pa时任意地采用公知的聚类技术。此外，在拍摄图像中仅包含1个谱表F的情况下，可以省略步骤Sb2的处理。
确定部22针对拍摄图像所包含的每个谱表F，通过将多个特征点Pa射影至基准线Lref而对多个射影点Pb进行确定(Sb3)。即，确定部22将从任意的1个谱表F的附近提取出的多个特征点Pa分别正射影至基准线Lref，从而对多个射影点Pb进行确定。确定部22生成表示通过以上的处理而确定出的多个射影点Pb的解析数据Z(Sb4)。此外，各候选图像的解析数据Z是针对候选图像执行以上例示出的处理(Sb1～Sb4)而生成并储存于存储装置12。
如果通过以上的处理而生成拍摄图像的解析数据Z，则确定部22将针对不同的候选图像而在存储装置12中存储的多个解析数据Z分别与拍摄图像的解析数据Z相互地对比，由此对与拍摄图像相对应的候选图像进行确定(Sc1～Sc4)。具体的处理顺序如下面所述。
确定部22选择多个候选图像的任意者(Sc1)，在该候选图像的解析数据Z和拍摄图像的解析数据Z之间对相似指标进行计算(Sc2)。例如，表示候选图像的解析数据Z和拍摄图像的解析数据Z之间的距离或者相关性的任意指标适合作为相似指标。在下面的说明中，设想为下述情况，即，候选图像的解析数据Z和拍摄图像的解析数据Z越相似，则相似指标成为越大的数值。
确定部22对是否针对全部的候选图像计算了与拍摄图像之间的相似指标进行判定(Sc3)。在存在没有对相似指标进行计算的候选图像的情况下(Sc3：NO)，确定部22对未选择的候选图像重新进行选择后，计算该候选图像的解析数据Z和拍摄图像的解析数据Z的相似指标(Sc2)。
如果通过反复进行以上例示出的处理而针对全部的候选图像计算出相似指标(Sc3：YES)，则确定部22对多个候选图像中的相似指标成为最大的候选图像进行确定(Sc4)。即，对多个候选图像中的与拍摄图像相对应的候选图像进行确定。图像解析处理的具体顺序如以上所述。
在第2实施方式中也实现与第1实施方式相同的效果。在第2实施方式中，将表示使从拍摄图像提取出的多个特征点Pa射影至基准线Lref的结果的解析数据Z、和与不同的候选图像对应的多个解析数据Z分别进行对比。因此，能够高精度地对与拍摄图像相对应的候选图像进行确定。另外，对与拍摄图像所包含的直线L相对应的基准线Lref进行设定，因此例如还具有利用者无需对基准线Lref进行设定这样的优点。但是，利用者也可以对基准线Lref进行指定。此外，对与拍摄图像相对应的候选图像进行确定的方法并不限定于第2实施方式的图像解析处理。
＜变形例＞
下面，例示对以上例示出的各方式附加的具体的变形方式。可以将从下面的例示中任意地选择出的2个以上的方式在不相互矛盾的范围适当地合并。
(1)在前述的各方式中，将特征点的个数N超过阈值Nth的最近的拍摄图像利用为基准图像，但基准图像并不限定于以上的例示。例如，也可以将在利用者针对图像处理装置100的输入装置(省略图示)赋予了规定的操作的时刻由拍摄装置13拍摄到的拍摄图像利用为基准图像。
(2)例如可以通过经由互联网等通信网与终端装置(例如移动电话或者智能手机)进行通信的服务器装置而实现图像处理装置100。例如，图像处理装置100从终端装置接收拍摄图像，将通过该拍摄图像的解析而确定出的位置信息发送至终端装置。
(3)在前述的各方式中，例示出拍摄装置13对乐谱进行拍摄的情况，但拍摄图像所表示的被摄体并不限定于乐谱。例如，为了从对书籍等文档进行拍摄得到的拍摄图像确定候选图像(例如文档的1页对应量)，也可以应用本发明。如根据以上的说明所理解那样，本发明的一个方式是通过对形成为平面状的被摄体(例如乐谱或者文档)进行拍摄得到的拍摄图像进行解析，从而对多个候选图像中的与该拍摄图像相对应的候选图像进行确定的图像处理方法。
(4)前述的各方式所涉及的图像处理装置100如各方式的例示那样，是通过控制装置11和程序的协同动作而实现的。前述的各方式所涉及的程序能够通过储存于计算机可读取的记录介质的方式被提供而安装于计算机。记录介质例如是非易失性(non-transitory)的记录介质，优选为CD-ROM等光学式记录介质(光盘)，但也可包含半导体记录介质或者磁记录介质等公知的任意形式的记录介质。此外，非易失性的记录介质包含除了暂时性的传输信号(transitory,propagating signal)以外的任意的记录介质，并不是将易失性的记录介质排除在外。另外，也能够通过经由通信网的传送的方式将程序提供给计算机。
(5)根据以上例示出的方式，例如掌握下面的结构。
本发明的方式(第1方式)所涉及的图像处理方法，从由拍摄装置依次生成的拍摄图像提取特征点，对从第1拍摄图像提取出的特征点的个数是否超过阈值进行判定，在从所述第1拍摄图像提取出的特征点的个数低于所述阈值的情况下，对所述第1拍摄图像相对于与所述第1拍摄图像相比之前生成的第2拍摄图像的位置进行确定。在以上的方式中，在从第1拍摄图像提取出的特征点的个数低于阈值的情况下，即，例如在由于拍摄装置与被摄体充分地接近，因此无法将第1拍摄图像和各候选图像适当地对比的情况下，对第1拍摄图像相对于与第1拍摄图像相比之前生成的第2拍摄图像的位置进行确定。因此，能够适当地确定乐谱等文档内的拍摄图像的位置。
在第1方式中，可以在从所述第1拍摄图像提取出的特征点的个数超过所述阈值的情况下，对多个候选图像中的与所述第1拍摄图像相对应的候选图像进行确定。在以上的方式中，在从第1拍摄图像提取出的特征点的个数超过阈值的情况下，即，例如在能够将第1拍摄图像和各候选图像适当地对比的情况下，对多个候选图像中的与第1拍摄图像相对应的候选图像进行确定。因此，能够适当地确定乐谱等文档内的拍摄图像的位置。
在第1方式中，所述第2拍摄图像可以是所述特征点的个数超过所述阈值的拍摄图像。在以上的方式中，对第1拍摄图像相对于提取出超过阈值的个数的特征点的第2拍摄图像、即相对于能够与候选图像适当地对比的过去的拍摄图像的位置进行确定。因此，能够适当地确定乐谱等文档内的拍摄图像的位置。
在第1方式中，所述第2拍摄图像可以是所述特征点的个数超过所述阈值的、紧随所述第1拍摄图像之前的拍摄图像。在以上的方式中，将提取出超过阈值的个数的特征点、且紧随第1拍摄图像之前的过去的拍摄图像作为第2拍摄图像，对第1拍摄图像相对于该第2拍摄图像的位置进行确定。因此，与生成第1拍摄图像的时刻和生成第2拍摄图像的时刻在时间轴上乖离的结构相比较，能够适当地确定乐谱等文档内的拍摄图像的位置。
作为执行以上例示出的各方式的图像处理方法的图像处理装置、或者使计算机执行以上例示出的各方式的图像处理方法的程序，也能够实现本发明的方式。
本申请基于在2018年5月30日提出的日本专利申请即特愿2018－103440，在此作为参照而引入其内容。
标号的说明
100…图像处理装置，11…控制装置，12…存储装置，13…拍摄装置，14…显示装置，21…提取部，22…确定部，23…判定部，24…解析部，25…显示控制部，F…谱表，Lref…基准线，Pa…特征点，Pb…射影点。
Claims (14)
1.一种图像处理方法，其由计算机实现，
从由拍摄装置依次生成的拍摄图像提取特征点，
对从第1拍摄图像提取出的特征点的个数是否超过阈值进行判定，
在从所述第1拍摄图像提取出的特征点的个数低于所述阈值的情况下，对所述第1拍摄图像相对于与所述第1拍摄图像相比之前生成的第2拍摄图像的位置进行确定。
2.根据权利要求1所述的图像处理方法，其中，
在从所述第1拍摄图像提取出的特征点的个数超过所述阈值的情况下，对多个候选图像中的与所述第1拍摄图像相对应的候选图像进行确定。
3.根据权利要求1或2所述的图像处理方法，其中，
所述第2拍摄图像是所述特征点的个数超过所述阈值的拍摄图像。
4.根据权利要求3所述的图像处理方法，其中，
所述第2拍摄图像是所述特征点的个数超过所述阈值的、紧随所述第1拍摄图像之前的拍摄图像。
5.根据权利要求1至4中任一项所述的图像处理方法，其中，
所述第2拍摄图像是表示所述第1拍摄图像的一部分的图像。
6.根据权利要求2所述的图像处理方法，其中，
通过对包含将所述第1拍摄图像内的所述特征点射影至基准线得到的射影点的解析数据和包含将所述多个候选图像内的各个特征点射影至基准线得到的射影点的解析数据进行比较，从而对与所述第1拍摄图像相对应的所述候选图像进行确定。
7.根据权利要求1至6中任一项所述的图像处理方法，其中，
将表示所述第1拍摄图像相对于所述第2拍摄图像的位置的位置信息显示于显示装置。
8.一种图像处理装置，其具有：
提取部，其从由拍摄装置依次生成的拍摄图像提取特征点；
判定部，其对从第1拍摄图像提取出的特征点的个数是否超过阈值进行判定；以及
解析部，其在从所述第1拍摄图像提取出的特征点的个数低于所述阈值的情况下，对所述第1拍摄图像相对于与所述第1拍摄图像相比之前生成的第2拍摄图像的位置进行确定。
9.根据权利要求8所述的图像处理装置，其中，
还具有确定部，该确定部在从所述第1拍摄图像提取出的特征点的个数超过所述阈值的情况下，对多个候选图像中的与所述第1拍摄图像相对应的候选图像进行确定。
10.根据权利要求8或9所述的图像处理装置，其中，
所述第2拍摄图像是所述特征点的个数超过所述阈值的拍摄图像。
11.根据权利要求10所述的图像处理装置，其中，
所述第2拍摄图像是所述特征点的个数超过所述阈值的、紧随所述第1拍摄图像之前的拍摄图像。
12.根据权利要求8至11中任一项所述的图像处理装置，其中，
所述第2拍摄图像是表示所述第1拍摄图像的一部分的图像。
13.根据权利要求9所述的图像处理装置，其中，
所述确定部通过对包含将所述第1拍摄图像内的所述特征点射影至基准线得到的射影点的解析数据和包含将所述多个候选图像内的各个特征点射影至基准线得到的射影点的解析数据进行比较，从而对与所述第1拍摄图像相对应的所述候选图像进行确定。
14.根据权利要求8至13中任一项所述的图像处理装置，其中，
还具有显示装置，该显示装置对表示所述第1拍摄图像相对于所述第2拍摄图像的位置的位置信息进行显示。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-103440 | 2018-05-30 | ||
| JP2018103440A JP7087681B2 (ja) | 2018-05-30 | 2018-05-30 | 画像処理方法、画像処理装置およびプログラム |
| PCT/JP2019/020683 WO2019230593A1 (ja) | 2018-05-30 | 2019-05-24 | 画像処理方法および画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112166456A true CN112166456A (zh) | 2021-01-01 |
Family
ID=68698186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980035307.6A Pending CN112166456A (zh) | 2018-05-30 | 2019-05-24 | 图像处理方法及图像处理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11508174B2 (zh) |
| JP (1) | JP7087681B2 (zh) |
| CN (1) | CN112166456A (zh) |
| WO (1) | WO2019230593A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7197263B2 (ja) * | 2017-10-18 | 2022-12-27 | ヤマハ株式会社 | 画像解析方法およびプログラム |
| CN112257788B (zh) * | 2020-10-23 | 2023-08-04 | 广东博智林机器人有限公司 | 拼缝作业点的确定方法及装置 |
| CN113537295B (zh) * | 2021-06-22 | 2023-10-24 | 北京航空航天大学 | 基于离群点引导的视线估计跨场景适配方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685362A (zh) * | 2011-03-15 | 2012-09-19 | 卡西欧计算机株式会社 | 记录拍摄图像的图像记录装置、图像记录方法 |
| CN103329166A (zh) * | 2011-01-25 | 2013-09-25 | 三菱电机株式会社 | 图像检索装置和方法、图像处理装置和方法 |
| JP2014123916A (ja) * | 2012-12-21 | 2014-07-03 | Casio Comput Co Ltd | 画像合成装置、画像合成方法及びプログラム |
| JP2014164384A (ja) * | 2013-02-22 | 2014-09-08 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
| JP2015041188A (ja) * | 2013-08-21 | 2015-03-02 | 沖電気工業株式会社 | 画像分析装置および画像分析方法 |
| JP2016181051A (ja) * | 2015-03-23 | 2016-10-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06110945A (ja) | 1992-09-29 | 1994-04-22 | Fujitsu Ltd | 音楽データベース作成装置及びその検索装置 |
| US7702673B2 (en) * | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
| JP2009153067A (ja) * | 2007-12-21 | 2009-07-09 | Canon Inc | 画像処理方法及び画像処理装置 |
| JP5109922B2 (ja) * | 2008-10-16 | 2012-12-26 | 株式会社デンソー | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム |
| JP2010122840A (ja) | 2008-11-19 | 2010-06-03 | Nippon Telegr & Teleph Corp <Ntt> | 物体領域検出方法、物体領域検出装置、物体領域検出プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US10713428B2 (en) * | 2015-11-02 | 2020-07-14 | Microsoft Technology Licensing, Llc | Images associated with cells in spreadsheets |
| JP6840973B2 (ja) * | 2016-09-23 | 2021-03-10 | 富士通株式会社 | 照合方法、照合装置、照合プログラム |
-
2018
- 2018-05-30 JP JP2018103440A patent/JP7087681B2/ja active Active
-
2019
- 2019-05-24 WO PCT/JP2019/020683 patent/WO2019230593A1/ja active Application Filing
- 2019-05-24 CN CN201980035307.6A patent/CN112166456A/zh active Pending
-
2020
- 2020-11-10 US US17/094,404 patent/US11508174B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103329166A (zh) * | 2011-01-25 | 2013-09-25 | 三菱电机株式会社 | 图像检索装置和方法、图像处理装置和方法 |
| CN102685362A (zh) * | 2011-03-15 | 2012-09-19 | 卡西欧计算机株式会社 | 记录拍摄图像的图像记录装置、图像记录方法 |
| US20120236176A1 (en) * | 2011-03-15 | 2012-09-20 | Casio Computer Co., Ltd. | Image recording apparatus, image recording method, and storage medium storing program, for use in recording shot images |
| JP2014123916A (ja) * | 2012-12-21 | 2014-07-03 | Casio Comput Co Ltd | 画像合成装置、画像合成方法及びプログラム |
| JP2014164384A (ja) * | 2013-02-22 | 2014-09-08 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
| JP2015041188A (ja) * | 2013-08-21 | 2015-03-02 | 沖電気工業株式会社 | 画像分析装置および画像分析方法 |
| JP2016181051A (ja) * | 2015-03-23 | 2016-10-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11508174B2 (en) | 2022-11-22 |
| JP2019207614A (ja) | 2019-12-05 |
| WO2019230593A1 (ja) | 2019-12-05 |
| US20210056303A1 (en) | 2021-02-25 |
| JP7087681B2 (ja) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102117050B1 (ko) | 이미지 내 휴먼 분리를 위한 전자 장치 및 방법 | |
| US10943106B2 (en) | Recognizing text in image data | |
| US11508174B2 (en) | Image processing method and image processing device | |
| KR101300400B1 (ko) | 적응적인 제스처 분석을 위한 방법, 장치 및 컴퓨터-독출가능 저장 매체 | |
| KR101725478B1 (ko) | 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템 | |
| Chen et al. | Building book inventories using smartphones | |
| US11323577B2 (en) | Image processing device for creating an album | |
| CN103208008A (zh) | 基于机器视觉的交通视频监控目标检测快速适应方法 | |
| JP2011008752A (ja) | ドキュメント操作システム、ドキュメント操作方法およびそのためのプログラム | |
| JP2004297223A (ja) | 撮影装置 | |
| CN111859002B (zh) | 兴趣点名称生成方法及装置、电子设备和介质 | |
| JP2022153394A (ja) | 画像解析方法、画像解析装置およびプログラム | |
| US9418284B1 (en) | Method, system and computer program for locating mobile devices based on imaging | |
| JP6943183B2 (ja) | 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置 | |
| US10650242B2 (en) | Information processing apparatus, method, and storage medium storing a program that obtain a feature amount from a frame in accordance with a specified priority order | |
| CN106934339B (zh) | 一种目标跟踪、跟踪目标识别特征的提取方法和装置 | |
| US11069084B2 (en) | Object identification method and device | |
| CN109799905B (zh) | 一种手部跟踪方法和广告机 | |
| JP4550768B2 (ja) | 画像検出方法および画像検出装置 | |
| JP2015118644A (ja) | 情報処理装置、画像探索方法、及びプログラム | |
| JP2021026723A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| WO2018123900A1 (ja) | 情報処理装置、システム、情報処理方法、及び、記憶媒体 | |
| JP2014232373A (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム | |
| KR20140070059A (ko) | 제스처 인식 장치 및 그 방법 | |
| KR20140104789A (ko) | 정지영상의 식별자 생성 방법 및 이를 수행하는 영상 처리 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |