CN113646800A - 物体状况判断系统、物体状况判断方法以及程序 - Google Patents

物体状况判断系统、物体状况判断方法以及程序 Download PDF

Info

Publication number
CN113646800A
CN113646800A CN201880099698.3A CN201880099698A CN113646800A CN 113646800 A CN113646800 A CN 113646800A CN 201880099698 A CN201880099698 A CN 201880099698A CN 113646800 A CN113646800 A CN 113646800A
Authority
CN
China
Prior art keywords
image
situation
learning
data
component analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880099698.3A
Other languages
English (en)
Inventor
菅谷俊二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of CN113646800A publication Critical patent/CN113646800A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种能节省准备大量的图像的工夫来高效地进行学习，并基于该学习结果来推测新的图像内的物体的状况的物体状况判断系统、物体状况判断方法以及程序。所述物体状况判断系统具备：构成要素解析模块(111)，提取图像内的特征点，对与图像内拍摄到的物体、该物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个有关的构成要素进行解析；状况获取模块(112)，从图像检索计算机获取物体处于什么状况的状况数据，所述图像检索计算机获取文字并检索与该文字相关联的图像；学习模块(113)，将构成要素的组合与获取到的状况数据关联起来学习；以及物体状况推测模块(114)，在通过构成要素解析模块(111)对规定的图像进行解析的结果与构成要素的组合类似或相同的情况下，基于状况数据的学习结果来推测所述物体的状况。

Description

物体状况判断系统、物体状况判断方法以及程序
技术领域
本发明涉及一种能推测图像内的物体的状况的物体状况判断系统、物体状况判断方法以及程序。
背景技术
提出了一种提供监视装置的方法，所述监视装置通过从整体图像检测头部候选区域来监视正在移动的人物、车辆等多个移动物体或群众(专利文献1)。
此外，作为用于供人工智能进行图像解析的机械学习方法，监督学习(SupervisedLearning)是众所周知的方法，还提出了一种符合目的学习完成模型的生成方法(专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2007-209008
专利文献2：日本特许6216024
发明内容
发明所要解决的问题
然而，在专利文献1的方法中，能宏观地监视多个移动物体或群众，但无法具体推测图像内的物体处于什么状况。此外，在专利文献2的方法中，在为了图像解析而进行监督学习的情况下，需要在准备大量的图像并对图像附加正确的指导数据之后，使用于对图像进行分类的分类器、神经网络等进行学习来制作学习完成模型，问题在于需要准备用于学习的图像的工夫。
针对该问题，本发明人着眼于以下这点：能将提取图像内的物体的特征点并解析构成要素的结果与该物体的状况数据的组合关联起来，从图像检索计算机获取与状况数据相关联的图像，将获取到的图像和状况数据作为指导数据自动地学习图像的构成要素的组合，从而节省准备图像的工夫，并且高精度地推测图像内的物体的状况。
本发明的目的在于提供一种能将图像内的物体的构成要素与该物体的状况数据的组合关联起来自动地进行学习，从而基于学习结果来推测图像内的物体的状况的物体状况判断系统、物体状况判断方法以及程序。
用于解决问题的方案
在本发明中，提供如下所述的解决方案。
第一特征的技术方案提供一种物体状况判断系统，其特征在于，具备：
构成要素解析单元，提取图像内的特征点，对与所述图像内拍摄到的物体、该物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个有关的构成要素进行解析；
状况获取单元，从图像检索计算机获取所述物体处于什么状况的状况数据，所述图像检索计算机获取文字并检索与该文字相关联的图像；
学习单元，将获取到的所述状况数据与所述构成要素的组合关联起来进行学习；以及
物体状况推测单元，在通过所述构成要素解析单元对规定的图像进行解析的结果与所述构成要素的组合类似或相同的情况下，基于所述状况数据的学习结果来推测所述物体的状况。
根据第一特征的技术方案，物体状况判断系统中具备：构成要素解析单元，提取图像内的特征点，对与所述图像内拍摄到的物体、该物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个有关的构成要素进行解析；状况获取单元，从图像检索计算机获取所述物体处于什么状况的状况数据，所述图像检索计算机获取文字并检索与此文字相关联的图像；学习单元，将获取到的所述状况数据与所述构成要素的组合关联起来进行学习；以及物体状况推测单元，在通过所述构成要素解析单元对规定的图像进行解析的结果与所述构成要素的组合类似或相同的情况下，基于所述状况数据的学习结果来推测所述物体的状况。
第一特征的技术方案是物体状况判断系统的类别，但作为物体状况判断方法以及程序也起到相同的作用、效果。
第二特征的技术方案提供一种作为第一特征的技术方案的物体状况判断系统，其特征在于，
在所述图像内拍摄到多个物体的情况下，
所述构成要素解析单元分别对多个物体进行图像解析，提取所述图像内的特征点，对解析出的物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个进行解析，
所述物体状况判断单元判断所述多个物体作为整体在做什么。
根据第二特征的技术方案，在作为第一特征的技术方案的物体状况判断系统中，在所述图像内拍摄到多个物体的情况下，所述构成要素解析单元分别对多个物体进行图像解析，提取所述图像内的特征点，对解析出的物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个进行解析，所述物体状况判断单元判断所述多个物体作为整体在做什么。
第三特征的技术方案提供一种作为第一特征或第二特征的技术方案的物体状况判断系统，其特征在于，
在所述图像内拍摄有多个物体的情况下，
所述构成要素解析单元将物体的组合、物体间的相对位置、以及物体的部位的相对位置中的至少一个提取为构成要素并进行解析。
根据第三特征的技术方案，在作为第一特征或第二特征的技术方案的物体状况判断系统中，在所述图像内拍摄到多个物体的情况下，所述构成要素解析单元将物体的组合、物体间的相对位置、以及物体的部位的相对位置中的至少一个提取为构成要素并进行解析。
第四特征的技术方案提供一种作为第一特征至第三特征中的任一个技术方案的物体状况判断系统，其特征在于，
所述状况获取单元通过进行使用了所述图像的检索来获取所述文字。
根据第四特征的技术方案，在作为第一特征至第三特征中的任一个技术方案的物体状况判断系统中，所述状况获取单元通过进行使用了所述图像的检索来获取所述文字。
第五特征的技术方案提供一种物体状况判断方法，其特征在于，具有以下步骤：
在物体状况判断系统中，
提取图像内的特征点，对与所述图像内拍摄到的物体、该物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个有关的构成要素进行解析；
从图像检索计算机获取所述物体处于什么状况的状况数据，所述图像检索计算机获取文字并检索与该文字相关联的图像；
将获取到的所述状况数据与所述构成要素的组合关联起来进行学习；以及
在通过所述构成要素解析单元对规定的图像进行解析的结果与所述构成要素的组合类似或相同的情况下，基于所述状况数据的学习结果来推测所述物体的状况。
第六特征的技术方案提供一种用于使物体状况判断系统执行以下步骤的程序：
提取图像内的特征点，对与所述图像内拍摄到的物体、该物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个有关的构成要素进行解析；
从图像检索计算机获取所述物体处于什么状况的状况数据，所述图像检索计算机获取文字并检索与该文字相关联的图像；
将获取到的所述状况数据与所述构成要素的组合关联起来进行学习；以及
在通过所述构成要素解析单元对规定的图像进行解析的结果与所述构成要素的组合类似或相同的情况下，基于所述状况数据的学习结果来推测所述物体的状况。
发明效果
根据本发明，能提供一种能将图像内的物体的构成要素与此物体的状况数据的组合关联起来自动地进行学习，从而基于学习结果来推测图像内的物体的状况的物体状况判断系统、物体状况判断方法以及程序。
附图说明
图1是本发明的优选的实施方式的概要图。
图2是表示计算机100的功能块和各功能的关系的图。
图3是物体状况判断处理的流程图。
图4是构成要素解析处理的流程图。
图5是物体状况推测处理的流程图。
图6是图像的构成要素解析处理的一个例子。
图7是物体为多个的情况下的图像的构成要素解析处理的一个例子。
图8是物体状况判断系统的输出的画面的一个例子。
具体实施方式
以下，参照附图对用于实施本发明的最佳方式进行说明。需要说明的是，这仅是一个例子，本发明的技术范围并不限于此。
[物体状况判断系统的概要]
图1是本发明的优选的实施方式的概要图。基于该图1，对本发明的概要进行说明。物体状况判断系统1由计算机100构成。需要说明的是，在图1中，计算机100为一台，但也可以为多台。此外，并不限于实际存在的装置，也可以是假想的装置。
如图2所示，计算机100由控制部110、通信部120、存储部130、输入部140以及输出部150构成。控制部110与存储部130协作来实现构成要素解析模块111和学习模块113。此外，控制部110与通信部120、存储部130以及输入部140协作来实现状况获取模块112。此外，控制部110与通信部120、存储部130以及输出部150协作来实现物体状况推测模块114。通信部120能经由通信网来使计算机100与状况判断系统1的用户终端(未图示)进行通信。
计算机100是能运行物体状况判断系统1的计算装置。在此，作为例子图示了台式计算机，但除了移动电话、个人数字助理、平板电脑终端、个人电脑以外，也可以是上网本终端、薄板终端、电子书终端、便携式音乐播放器等电气化产品、智能眼镜、头戴式显示器等可穿戴终端等。此外，并不限于实际存在的装置，也可以是假想的装置。
在图1的物体状况判断系统1中，首先，计算机100为了学习接受图像和状况数据的输入(步骤S01)。在用于判断物体的状况的学习中，需要使显现有物体的图像和表示该物体处于什么状况的状况数据成为集合的指导数据。此处的状况数据用文字表示物体的状况。在此，输入了图6的图像601和“恋人”这一状况数据。此处的输入可以经由计算机100的输入部140来进行，也可以由其他计算机、终端经由通信部120来进行。
接着，计算机100的构成要素解析模块111对已输入的图像的构成要素进行解析(步骤S02)。在此，作为用于解析构成要素的方法，通过提取图像内的特征点来检测图像内拍摄到的物体。而且，还对检测出的物体的姿态、形状、方向、表情以及物体的部位的种类、位置进行细致的解析。此外，也同样根据图像内的特征点对拍摄到的图像的背景进行解析。在图像内拍摄到多个物体的情况下，分别对多个物体进行图像解析，之后，解析多个物体作为整体在做什么。此外，在存在多个物体的情况下，还与构成要素一同对物体的组合、物体间的相对位置、以及物体的部位的相对位置进行解析。构成要素的解析结果与状况数据建立关联地存储于存储部130。
图6是图像的构成要素解析处理的一个例子。示出了在输入了图像601和“恋人”这一状况数据的情况下，构成要素解析模块111如何解析构成要素的一个例子。构成要素解析模块111通过提取图像601的特征点，检测物体610为物体X。根据此特征，物体X是“(人：女性)”。此外，作为此物体X的部位，对部位1(图6的部位611)、部位2(图6的部位612)、以及部位3(图6的部位613)进行检测。根据各个特征，对物体X的部位1是“(面部：正面)”、物体X的部位2是“(手臂：右手)”、物体X的部位3是“(身体：正面)”这一种类进行解析。而且，还对检测出的物体的姿态、形状、方向、表情、以及物体的部位的种类、位置进行详细解析。在图6的例子中，示出了作为物体X的部位1(面部)的解析结果621是“位置：部位3(身体)的上部、方向：正面、看向相机、表情：微笑”、作为物体X的部位2(手臂)的解析结果622是“位置：部位3(身体)的跟前、方向：手掌向上、伸出”、作为物体X的部位3(身体)的解析结果623是“位置：部位1(面部)的下部、部位2(手)的里面、方向：正面、上半身向前弯曲”。此外，背景690解析为“海边”。
返回图1，计算机100的状况获取模块112获取状况数据的文字，检索并获取与该文字关联的类似的图像数据(步骤S03)。在此，通过“恋人”这一状况数据的文字，利用外部的检索引擎等图像检索计算机来进行检索，获取多个由“恋人”得到的检索结果的图像。通过利用外部的图像检索计算机等，能不费工夫地获取许多与状况数据匹配的图像。
接着，计算机100的学习模块113将获取到的多个图像与进行了检索的状况数据的文字关联起来作为指导数据进行学习(步骤S04)。在图1的例子中，在状况数据为“恋人”时，学习各图像的构成要素和组合处于什么状态。获取到的图像的构成要素解析与在步骤S02中进行的相同，利用构成要素解析模块111。构成要素的解析结果与状况数据建立关联地存储于存储部130。
重复步骤S01至步骤S04，在进行了足够的关于状况数据的学习后，物体状况判断系统1能判断图像的物体的状况。在此，完成了足够的关于状况数据的学习。
当学习完成时，计算机100从物体状况判断系统1的用户接受想要进行状况判断的图像数据的输入(步骤S05)。此处的输入可以经由计算机100的输入部140来进行，也可以由用户所使用的其他计算机、终端经由通信部120来进行。
最后，计算机100的物体状况推测模块114推测并输出在步骤S05中输入的图像数据的物体的状况(步骤S06)。为了推测物体的状况，利用构成要素解析模块111对已输入的图像的构成要素进行解析，判定该构成要素的组合和解析结果是否分别与在步骤S04中进行的状况数据的学习的结果类似或相同。在类似或相同的情况下，输出对应的学习结果的状况数据作为物体的状况。在此，是否类似的判定可以判定是否在某个固定的阈值内。
如上所述，根据本发明，能提供一种能将提取图像内的物体的特征点并解析构成要素与该物体的状况数据的组合关联起来，从图像检索计算机获取与状况数据相关联的图像，将获取到的图像和状况数据作为指导数据自动地学习图像的构成要素的组合，从而节省准备图像的工夫，并且高精度地推测图像内的物体的状况的物体状况判断系统、物体状况判断方法以及程序。
[各功能的说明]
图2是表示计算机100的功能块和各功能的关系的图。计算机100由控制部110、通信部120、存储部130、输入部140、以及输出部150构成。控制部110与存储部130协作来实现构成要素解析模块111和学习模块113。此外，控制部110与通信部120、存储部130以及输入部140协作来实现状况获取模块112。此外，控制部110与通信部120、存储部130以及输出部150协作来实现物体状况推测模块114。通信部120能经由通信网来使计算机100与状况判断系统1的用户的终端(未图示)进行通信。
计算机100是能运行物体状况判断系统1的计算装置。在此，作为例子图示了台式计算机，但除了移动电话、个人数字助理、平板电脑终端、个人电脑以外，也可以是上网本终端、薄板终端、电子书终端、便携式音乐播放器等电气化产品、智能眼镜、头戴式显示器等可穿戴终端等。此外，并不限于实际存在的装置，也可以是假想的装置。
作为控制部110，具备CPU(Central Processing Unit：中央处理单元)、RAM(Random Access Memory：随机接入存储器)、ROM(Read Only Memory：只读存储器)等。控制部110与存储部130协作来实现构成要素解析模块111和学习模块113。此外，控制部110与通信部120、存储部130以及输入部140协作来实现状况获取模块112。此外，控制部110与通信部120、存储部130以及输出部150协作来实现物体状况推测模块114。
作为通信部120，具备用于能与其他设备进行通信的设备，例如遵循IEEE802.11的WiFi(Wireless Fidelity：无线保真)对应设备或第三代、第四代移动通信系统等遵循IMT-2000规格的无线设备等。也可以是由有线实现的LAN连接。此外，经由该通信部120，根据需要进行与状况判断系统1的用户的终端(未图示)的通信。
作为存储部130，具备由硬盘、半导体存储器实现的数据的存储部，存储图像数据、状况数据、构成要素解析结果等处理所需的数据等。此外，可以在存储部130中将学习完成的图像的构成要素解析结果与状况数据关联起来作为数据库来存储。
输入部140具备用于运行物体状况判断系统1所需的功能。作为用于实现输入的例子，可以具备实现触摸面板功能的液晶显示器、键盘、鼠标、绘图板、装置上的硬件按钮、用于进行声音识别的麦克风等。根据输入方法，本发明并不特别限定功能。
输出部150具备用于运行物体状况判断系统1所需的功能。作为用于实现输出的例子，可以考虑液晶显示器、PC的显示器、诸如对投影仪的投影之类的显示和声音输出等方式。根据输入方法，本发明并不特别限定功能。
[物体状况判断处理]
图3是物体状况判断处理的流程图。关于上述的各模块所执行的处理，在本处理中一并说明。
首先，计算机100为了学习接受图像和状况数据的输入(步骤S301)。在用于判断物体的状况的学习中，需要使显现有物体的图像和表示该物体处于什么状况的状况数据成为集合的指导数据。此处的状况数据用文字表示物体的状况。在此，输入了图6的图像601和“恋人”这一状况数据。此处的输入可以经由计算机100的输入部140来进行，也可以由其他计算机、终端经由通信部120来进行。
接着，计算机100的构成要素解析模块111对已输入的图像的构成要素进行解析(步骤S302)。在此，作为用于解析构成要素的方法，通过提取图像内的特征点，来检测图像内拍摄到的物体。而且，还对检测出的物体的姿态、形状、方向、表情以及物体的部位的种类、位置进行细致的解析。此外，也同样根据图像内的特征点对拍摄到的图像的背景进行解析。在图像内拍摄到多个物体的情况下，分别对多个物体进行图像解析，之后，解析多个物体作为整体在做什么。此外，在存在多个物体的情况下，还与构成要素一同对物体的组合、物体间的相对位置、以及物体的部位的相对位置进行解析。构成要素的解析结果与状况数据建立关联地存储于存储部130。构成要素解析处理的详情将在后文加以记述。
图6是图像的构成要素解析处理的一个例子。示出了在输入了图像601和“恋人”这一状况数据的情况下，构成要素解析模块111如何解析构成要素的一个例子。构成要素解析模块111通过提取图像601的特征点，检测物体610为物体X。根据此特征，物体X是“(人：女性)”。此外，作为此物体X的部位，对部位1(图6的部位611)、部位2(图6的部位612)、以及部位3(图6的部位613)进行检测。根据各个特征，对物体X的部位1是“(面部：正面)”、物体X的部位2是“(手臂：右手)”、物体X的部位3是“(身体：正面)”这一种类进行解析。而且，还对检测出的物体的姿态、形状、方向、表情、以及物体的部位的种类、位置进行详细解析。在图6的例子中，示出了作为物体X的部位1(面部)的解析结果621是“位置：部位3(身体)的上部、方向：正面、看向相机、表情：微笑”、作为物体X的部位2(手臂)的解析结果622是“位置：部位3(身体)的跟前、方向：手掌向上、伸出”、作为物体X的部位3(身体)的解析结果623是“位置：部位1(面部)的下部、部位2(手)的里面、方向：正面、上半身向前弯曲”。此外，背景690解析为“海边”。
计算机100的状况获取模块112获取状况数据的文字，检索并获取与该文字相关联的类似的图像数据(步骤S303)。在此，通过“恋人”这一状况数据的文字，利用外部的检索引擎等图像检索计算机来进行检索，获取多个根据“恋人”的检索结果的图像。通过利用外部的图像检索计算机等，能不费工夫地获取许多与状况数据匹配的图像。
接着，计算机100的学习模块113将获取到的多个图像与进行了检索的状况数据的文字关联起来作为指导数据进行学习(步骤S304)。在此，在状况数据为“恋人”时，学习各图像的构成要素和组合处于什么状态。获取到的图像的构成要素解析与在步骤S302中进行的相同，利用构成要素解析模块111。构成要素的解析结果与状况数据建立关联地存储于存储部130。
接着，计算机100确认是否是能由物体状况推测模块114推测物体状况的状态(步骤S305)。在该阶段中，重复多次步骤S301至步骤S304，若进行了充分的关于状况数据的学习，则能由物体状况推测模块114推测物体状况。若进行了充分的学习而能推测物体状况，则进入步骤S306，在未进行充分的学习的情况下，返回步骤S301重复处理。
在学习完成的情况下，计算机100从物体状况判断系统1的用户接受想要进行状况判断的图像数据的输入(步骤S306)。此处的输入可以经由计算机100的输入部140来进行，也可以由用户所使用的其他计算机、终端经由通信部120来进行。
计算机100的物体状况推测模块114推测在步骤S306中输入的图像数据的物体的状况(步骤S307)。为了推测物体的状况，利用构成要素解析模块111对已输入的图像的构成要素进行解析，判定该构成要素的组合和解析结果是否分别与在步骤S304中进行的状况数据的学习的结果类似或相同。在类似或相同的情况下，输出对应的学习结果的状况数据作为物体的状况。在此，是否类似的判定可以判定是否在某个固定的阈值内。关于物体状况推测处理的详情将在后文加以记述。
最后，计算机100的物体状况推测模块114输出步骤S307的推测结果(步骤S308)。此处的输出可以在计算机100的输出部150中进行，也可以经由通信部120，在用户所使用的其他计算机、终端的输出部中进行。
在此，示出了在步骤S301中，为了学习，接受图像和状况数据双方的输入的例子，但也可以是在步骤S301中仅接受图像的输入。在该情况下，状况获取模块112为了获取状况数据的文字，进行使用了已输入的图像的检索，从而能获取与图像相符的文字串。在使用了图像的检索中，可以使用外部的图像检索计算机。
如上所述，根据本发明，能提供一种能将提取图像内的物体的特征点并解析构成要素的结果与此物体的状况数据的组合关联起来，从图像检索计算机获取与状况数据相关联的图像，将获取到的图像和状况数据作为指导数据自动地学习图像的构成要素的组合，从而节省准备图像的工夫，并且高精度地推测图像内的物体的状况的物体状况判断系统、物体状况判断方法以及程序。
[构成要素解析处理]
图4是构成要素解析处理的流程图。与图3的步骤S302的处理对应。
作为构成要素解析处理，首先，构成要素解析模块111确认图像内的物体的个数(步骤S401)。在图像内的物体为多个的情况下进入步骤S402，在物体为单个的情况下进入步骤S403，在不存在物体的情况下结束处理。
首先，对物体为单个的情况的例子进行说明。在物体为单个的情况下，构成要素解析模块111对此物体的构成要素进行解析(步骤S403)。
图6是物体为单个的情况下的图像的构成要素解析处理的一个例子。示出了在输入了图像601和“恋人”这一状况数据的情况下，构成要素解析模块111如何解析构成要素的一个例子。构成要素解析模块111通过提取图像601的特征点，检测物体610为物体X。根据此特征，物体X为“(人：女性)”。此外，作为该物体X的部位，对部位1(图6的部位611)、部位2(图6的部位612)、以及部位3(图6的部位613)进行检测。根据各个特征，对物体X的部位1是“(面部：正面)”、物体X的部位2是“(手臂：右手)”、物体X的部位3是“(身体：正面)”这一种类进行解析。而且，还对检测出的物体的姿态、形状、方向、表情、以及物体的部位的种类、位置进行详细解析。在图6的例子中，示出了作为物体X的部位1(面部)的解析结果621是“位置：部位3(身体)的上部、方向：正面、看向相机、表情：微笑”、作为物体X的部位2(手臂)的解析结果622是“位置：部位3(身体)的跟前、方向：手掌向上、伸出”、作为物体X的部位3(身体)的解析结果623是“位置：部位1(面部)的下部、部位2(手)的里面、方向：正面、上半身向前弯曲”。此外，背景690解析为“海边”。
返回图4，构成要素解析模块111将在步骤S403中解析出的构成要素的组合与状况数据关联起来(步骤S406)。具体而言，在图6的例子中，作为状况数据“恋人”的数据，将物体X“(人：女性)”、物体X的部位1“(面部：正面)位置：部位3(身体)的上部、方向：正面、看向相机、表情：微笑”、物体X的部位2“(手臂：右手)位置：部位3(身体)的跟前、方向：手掌向上、伸出”、物体X的部位3“(身体：正面)位置：部位1(面部)的下部、部位2(手)的里面、方向：正面、上半身向前弯曲”、以及“背景：海边”的组合关联起来。在此，可以将所有的构成要素关联起来，也可以将一部分重要的构成要素关联起来。
最后，构成要素解析模块111将在步骤S406中关联起来的数据存储于存储部130(步骤S407)。以上是物体为单个的情况的处理流程。
接着，对物体为多个的情况的例子进行说明。
图7是物体为多个情况下的图像的构成要素解析处理的一个例子。示出了在输入了图像701和“恋人”这一状况数据的情况下，构成要素解析模块111如何解析构成要素的一个例子。在步骤S501中，构成要素解析模块111通过提取图像701的特征点，检测物体710为物体A。此外，检测物体720为物体B。因此，图像701的物体为多个。
返回图4的流程图，在物体为多个的情况下，构成要素解析模块111选择一个未选择的物体(步骤S402)。在图7中，首先选择物体A。
接着，构成要素解析模块111对选择出的物体A的构成要素进行解析(步骤S403)。根据该特征，图7的物体A为“(人：女性)”。此外，作为该物体A的部位，对部位1(图7的部位711)进行检测。而且，还对检测出的物体的姿态、形状、方向、表情、以及物体的部位的种类、位置进行详细解析，物体A的部位1为“(面部：右侧)”。此外，在此还对背景790进行解析。背景790解析为“海边”。
返回图4，构成要素解析模块111确认所有物体的解析是否结束(步骤S404)。在此，所有物体的解析尚未结束，因此返回步骤S402，选择物体B。
接着，构成要素解析模块111对选择出的物体B的构成要素进行解析(步骤S403)。根据该特征，图7的物体B为“(人：男性)”。此外，作为该物体B的部位，对部位1(图7的部位721)和部位2(图7的部位722)进行检测。而且，还对检测出的物体的姿态、形状、方向、表情、以及物体的部位的种类、位置进行详细解析，物体B的部位1为“(面部：左侧)”，部位2为“手臂：左手”。
返回图4，构成要素解析模块111确认所有物体的解析是否结束(步骤S404)。在此，所有物体的解析结束，因此进入下一步骤S405。
构成要素解析模块111在多个物体间相对地解析图像701的构成要素(步骤S405)。具体而言，可以列举出物体的组合、物体间的相对位置、以及物体的部位的相对位置等。在图7的图像701的例子中，示出了关于物体A的部位1(面部)和物体B的部位1(面部)，作为解析结果731，解析为“位置：小于10cm、方向：面对面、表情：物体A：微笑、物体B：微笑”。
返回图4，构成要素解析模块111将在步骤S403中解析出的构成要素的组合、在步骤S405中解析出的构成要素的相对关系以及状况数据关联起来(步骤S406)。具体而言，在图7的例子中，作为状况数据“恋人”的数据，将物体A“(人：女性)”、物体A的部位1“(面部：右侧)”、物体B“(人：男性)”、物体B的部位1“(面部：左侧)”、物体B的部位2“(手臂：左手)”、物体A的部位1与物体B的部位1“位置：小于10cm、方向：面对面、表情：物体A：微笑、物体B：微笑”、以及“背景：海边”的组合关联起来。在此，可以将所有的构成要素关联起来，也可以将一部分重要的构成要素关联起来。
最后，构成要素解析模块111将在步骤S406中关联起来的数据存储于存储部130(步骤S407)。
如上所述，不管在物体为单个的情况还是多个的情况下，都能进行适当的构成要素的解析处理。
[物体状况推测处理]
图5是物体状况推测处理的流程图。与图3的步骤S307的处理对应。
物体状况推测处理的步骤S501至步骤S505相当于构成要素解析处理的步骤S401至步骤S405。关于这些处理，物体状况推测模块114可以利用构成要素解析模块111来进行。此外，处理的详情如前所述，因此省略。
物体状况推测模块114确认步骤S503和步骤S505的解析结果是否存在与存储部130中存储的学习完成数据相同或类似(步骤S506)的情况。在存在的情况下，进入步骤S507，在不存在的情况下，进入步骤S508。
在存在与存储部130中存储的学习完成数据相同或类似的解析结果的情况下，将相同或类似的状况数据作为已输入的图像的物体状况推测结果(步骤S507)。
在不存在与存储部130中存储的学习完成数据相同或类似的的情况时，无法进行已输入的图像的物体状况推测(步骤S508)。
如上所述，能将适于已输入的图像数据的状况数据作为物体状况的推测结果。
[物体状况判断结果的输出处理]
图8是物体状况判断系统1的输出的画面的一个例子。在图3的步骤S308中，可以在计算机100的输出部150或用户所利用的终端的输出部中显示这样的画面810。通过按钮806返回物体状况判断系统1的菜单画面，通过按钮807结束物体状况判断系统1。作为显示801，将输入图像的状况判断结果作为推测结果并用文字显示。在图8的例子中，推测结果为“恋人”。此外，作为显示802，显示推测结果的其他候选。在图5的流程图中，对对应的推测结果仅为一个的情况进行了说明，但例如也可以在类似的学习完成数据存在多个的情况等对应的推测结果存在多个的情况下，显示多个推测结果。此外，作为显示803，示出了接收来自用户的反馈的情况的例子。从用户接受推测是相符还是不相符的反馈，并将该结果作为指导数据重新进行学习，从而能进一步提高物体状况判断系统1的精度。通过单选按钮选择“满足(推测相符)”还是“不满足(推测结果不相符)”，在“不满足(推测结果不相符)”的情况下，在文本框804中输入正确的结果，通过按钮805发送反馈。物体状况判断系统1接收文字数据，将反馈来的文字作为状况数据，与输入图像组合进行图3的步骤S301至S304，从而能进行新的学习。
如上所述，根据本发明，能提供一种能通过接受来自用户的反馈来进一步提高判断精度的物体状况判断系统、物体状况判断方法以及程序。
上述的单元、功能通过由计算机(包括CPU、信息处理装置、各种终端)读取规定的程序并执行来实现。程序例如可以是从计算机经由网络而被提供(SaaS：Software as aService(软件即服务))的方式，也可以是以存储于软盘、CD(CD-ROM等)、DVD(DVD-ROM、DVD-RAM等)、紧凑型存储器等计算机可读记录介质的方式而被提供的方式。在该情况下，计算机从该记录介质读取程序并传输、存储至内部存储装置或外部存储装置来执行。此外，也可以将此程序预先存储于例如磁盘、光盘、光磁盘等存储装置(记录介质)，并从该存储装置经由通信线路提供至计算机。
以上，针对本发明的实施方式进行了说明，但本发明并不限于上述的这些实施方式。此外，本发明的实施方式中记载的效果只不过是列举出根据本发明产生的最优选的效果，根据本发明产生的效果并不限于本发明的实施方式中记载的效果。
附图标记说明：
1：物体状况判断系统
100：计算机。

Claims (6)

1.一种物体状况判断系统，其特征在于，具备：
构成要素解析单元，提取图像内的特征点，对与所述图像内拍摄到的物体、该物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个有关的构成要素进行解析；
状况获取单元，从图像检索计算机获取所述物体处于什么状况的状况数据，所述图像检索计算机获取文字并检索与该文字相关联的图像；
学习单元，将获取到的所述状况数据与所述构成要素的组合关联起来进行学习；以及
物体状况推测单元，在通过所述构成要素解析单元对规定的图像进行解析的结果与所述构成要素的组合类似或相同的情况下，基于所述状况数据的学习结果来推测所述物体的状况。
2.根据权利要求1所述的物体状况判断系统，其特征在于，
在所述图像内拍摄到多个物体的情况下，
所述构成要素解析单元分别对多个物体进行图像解析，提取所述图像内的特征点，对解析出的物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个进行解析，
所述物体状况判断单元判断所述多个物体作为整体在做什么。
3.根据权利要求1或2所述的物体状况判断系统，其特征在于，
在所述图像内拍摄到多个物体的情况下，
所述构成要素解析单元将物体的组合、物体间的相对位置、以及物体的部位的相对位置中的至少一个提取为构成要素并进行解析。
4.根据权利要求1至3中任一项所述的物体状况判断系统，其特征在于，
所述状况获取单元通过进行使用了所述图像的检索，获取所述文字。
5.一种物体状况判断方法，其特征在于，具有以下步骤：
在物体状况判断系统中，
提取图像内的特征点，对与所述图像内拍摄到的物体、该物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个有关的构成要素进行解析；
从图像检索计算机获取所述物体处于什么状况的状况数据，所述图像检索计算机获取文字并检索与该文字相关联的图像；
将获取到的所述状况数据与所述构成要素的组合关联起来进行学习；以及
在通过所述构成要素解析单元对规定的图像进行解析的结果与所述构成要素的组合类似或相同的情况下，基于所述状况数据的学习结果来推测所述物体的状况。
6.一种用于使物体状况判断系统执行以下步骤的程序：
提取图像内的特征点，对与所述图像内拍摄到的物体、该物体的姿态、形状、方向、表情、该物体的部位的种类、位置、以及拍摄到的图像的背景中的至少两个有关的构成要素进行解析；
从图像检索计算机获取所述物体处于什么状况的状况数据，所述图像检索计算机获取文字并检索与该文字相关联的图像；
将获取到的所述状况数据与所述构成要素的组合关联起来进行学习；以及
在通过所述构成要素解析单元对规定的图像进行解析的结果与所述构成要素的组合类似或相同的情况下，基于所述状况数据的学习结果来推测所述物体的状况。
CN201880099698.3A 2018-09-27 2018-09-27 物体状况判断系统、物体状况判断方法以及程序 Pending CN113646800A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/036000 WO2020065839A1 (ja) 2018-09-27 2018-09-27 物体状況判断システム、物体状況判断方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN113646800A true CN113646800A (zh) 2021-11-12

Family

ID=69950517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099698.3A Pending CN113646800A (zh) 2018-09-27 2018-09-27 物体状况判断系统、物体状况判断方法以及程序

Country Status (4)

Country Link
US (1) US11210335B2 (zh)
JP (1) JP6963352B2 (zh)
CN (1) CN113646800A (zh)
WO (1) WO2020065839A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100122A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2007041762A (ja) * 2005-08-02 2007-02-15 Seiko Epson Corp 画像認識装置
CN101714212A (zh) * 2008-10-07 2010-05-26 索尼株式会社 信息处理设备和方法、程序以及记录介质
CN102298604A (zh) * 2011-05-27 2011-12-28 中国科学院自动化研究所 基于多媒体分析的视频事件检测方法
JP2012022419A (ja) * 2010-07-13 2012-02-02 Yahoo Japan Corp 学習データ作成装置、学習データ作成方法及びプログラム
CN102422286A (zh) * 2009-03-11 2012-04-18 香港浸会大学 利用图像获取参数和元数据自动和半自动的图像分类、注释和标签
CN102549603A (zh) * 2009-08-24 2012-07-04 谷歌公司 基于相关性的图像选择
CN106886580A (zh) * 2017-01-23 2017-06-23 北京工业大学 一种基于深度学习的图片情感极性分析方法
CN107251045A (zh) * 2015-03-05 2017-10-13 欧姆龙株式会社 物体识别装置、物体识别方法及程序
CN107562742A (zh) * 2016-06-30 2018-01-09 苏宁云商集团股份有限公司 一种图像数据处理方法及装置
CN108021865A (zh) * 2017-11-03 2018-05-11 阿里巴巴集团控股有限公司 无人值守场景中非法行为的识别方法和装置
CN108268510A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 一种图像标注方法和装置
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007209008A (ja) 2003-10-21 2007-08-16 Matsushita Electric Ind Co Ltd 監視装置
KR101833359B1 (ko) * 2016-03-22 2018-02-28 고려대학교 산학협력단 차량의 외부 영상 빅데이터를 이용한 교통 정보 수집 방법 및 장치
JP6216024B1 (ja) 2016-11-15 2017-10-18 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習済モデル生成方法及び信号データ判別装置
US10540554B2 (en) * 2018-03-29 2020-01-21 Toyota Jidosha Kabushiki Kaisha Real-time detection of traffic situation

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100122A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2007041762A (ja) * 2005-08-02 2007-02-15 Seiko Epson Corp 画像認識装置
CN101714212A (zh) * 2008-10-07 2010-05-26 索尼株式会社 信息处理设备和方法、程序以及记录介质
CN102422286A (zh) * 2009-03-11 2012-04-18 香港浸会大学 利用图像获取参数和元数据自动和半自动的图像分类、注释和标签
CN102549603A (zh) * 2009-08-24 2012-07-04 谷歌公司 基于相关性的图像选择
JP2012022419A (ja) * 2010-07-13 2012-02-02 Yahoo Japan Corp 学習データ作成装置、学習データ作成方法及びプログラム
CN102298604A (zh) * 2011-05-27 2011-12-28 中国科学院自动化研究所 基于多媒体分析的视频事件检测方法
CN107251045A (zh) * 2015-03-05 2017-10-13 欧姆龙株式会社 物体识别装置、物体识别方法及程序
CN107562742A (zh) * 2016-06-30 2018-01-09 苏宁云商集团股份有限公司 一种图像数据处理方法及装置
CN108268510A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 一种图像标注方法和装置
CN106886580A (zh) * 2017-01-23 2017-06-23 北京工业大学 一种基于深度学习的图片情感极性分析方法
CN108021865A (zh) * 2017-11-03 2018-05-11 阿里巴巴集团控股有限公司 无人值守场景中非法行为的识别方法和装置
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法

Also Published As

Publication number Publication date
US11210335B2 (en) 2021-12-28
JPWO2020065839A1 (ja) 2021-08-30
JP6963352B2 (ja) 2021-11-05
US20210311986A1 (en) 2021-10-07
WO2020065839A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
US20190392587A1 (en) System for predicting articulated object feature location
US11341770B2 (en) Facial image identification system, identifier generation device, identification device, image identification system, and identification system
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
CN111401318B (zh) 动作识别方法及装置
CN111783882B (zh) 关键点检测方法、装置、电子设备及存储介质
CN108229481B (zh) 屏幕内容分析方法、装置、计算设备及存储介质
JP5846552B2 (ja) 手話認識方法及びその装置
CN115205883A (zh) 基于ocr和nlp的资料审核方法、装置、设备、存储介质
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
US10755074B2 (en) Latent fingerprint pattern estimation
CN113033271A (zh) 利用人工智能模块学习脸部辨识的处理方法
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN113646800A (zh) 物体状况判断系统、物体状况判断方法以及程序
CN108596127A (zh) 一种指纹识别方法、身份验证方法及装置和身份核验机
KR20220079433A (ko) 태그 정보에 기초하여 스크린샷 이미지를 검색하는 방법 및 이를 수행하는 장치
CN113111206A (zh) 图搜方法、装置、电子设备以及存储介质
CN114821630A (zh) 静态手势识别方法及其系统和电子设备
CN112115740A (zh) 用于处理图像的方法和装置
CN111274856A (zh) 一种人脸识别方法、装置、计算设备及存储介质
US20230393873A1 (en) Value-Added Content Providing Method and Computer System thereof
KR102443330B1 (ko) 치아 기반 개인 식별 장치 및 방법
US20240087307A1 (en) Image management device, control method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination