CN115943430A - 图像分析方法、学习用图像或分析用图像生成方法、完成学习模型生成方法、图像分析装置及图像分析程序 - Google Patents

图像分析方法、学习用图像或分析用图像生成方法、完成学习模型生成方法、图像分析装置及图像分析程序 Download PDF

Info

Publication number
CN115943430A
CN115943430A CN202180044139.4A CN202180044139A CN115943430A CN 115943430 A CN115943430 A CN 115943430A CN 202180044139 A CN202180044139 A CN 202180044139A CN 115943430 A CN115943430 A CN 115943430A
Authority
CN
China
Prior art keywords
image
images
gradation information
composite image
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180044139.4A
Other languages
English (en)
Inventor
薮崎克己
篠原隆雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kowa Co Ltd
Original Assignee
Kowa Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kowa Co Ltd filed Critical Kowa Co Ltd
Publication of CN115943430A publication Critical patent/CN115943430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

为了根据在时间或者空间上具有连续性的多个图像精度良好的推测对象物的动作或属性，使得具有：图像获取部，其获取在时间或者空间上具有连续性的多个图像；通道分配部，其针对所述多个图像，根据规定的规则对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；合成图像生成部，其通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；推断部，其分析所述合成图像，对所述多个图像进行推断。

Description

图像分析方法、学习用图像或分析用图像生成方法、完成学习模型生成方法、图像分析装置及图像分析程序
技术领域
本发明涉及一种与在时间或者空间上具有连续性的多个图像相关的图像分析方法、学习用图像或分析用图像生成方法、完成学习模型生成方法、图像分析装置以及图像分析程序。
背景技术
以往，存在有以下这样的需求：想要使计算机执行从在各种各样的状况中获取的动态影像(Moving Image)或三维数据中提取期望的特征的分析处理。另外，希望通过所谓的人工智能执行分析处理这样的要求也在增加，所谓的人工智能是使神经网络学习期望的特征的提取且利用完成学习模型来执行。但是，动态影像数据或三维数据与二维的图像数据相比较，数据容量巨大，将这些数据直接输入到神经网络中来执行学习处理或实际的分析处理，从学习的收敛性或硬件的处理能力等的观点来看可以预想到在现阶段并不容易。
相对于此，例如专利文献1提出有利用基于构成动态影像的多帧图像而合成的合成图像来执行分析处理的方案。
专利文献1中公开有以下的技术：将对人体连续摄像而得到的多张图像重叠在一起，生成一张合成图像，利用完成学习的卷积神经网络(Convolutional Neural Network：CNN)分析合成图像来判别人体的关节位置。
现有技术文献
专利文献
专利文献1：JP特开2019-003565号公报。
发明内容
发明要解决的问题
根据上述的专利文献1中记载的图像分析手法，能够使得多帧部分的信息包含在一个合成图像中，但是在该专利文献1的技术中，由于是将多张图像的亮度值简单的相加来生成合成图像，因此合成图像中并不包含有用于把握图像中含有的对象物的动作在时间上的前后关系的信息。因此，存在有以下的问题：无法捕捉到关节位置以外的细微运动的特征，基于合成图像的行动类别的推测精度不充分。
本发明是鉴于上述问题点而完成的，其目的在于提供一种根据在时间或者空间上具有连续性的多个图像而能够精度良好且高速的推测对象物的动作或属性的图像分析方法、学习用图像或分析用图像生成方法、完成学习模型生成方法、图像分析装置以及图像分析程序。
用于解决问题的手段
本发明的图像分析方法，其特征是，包括：图像获取步骤，获取在时间或者空间上具有连续性的多个图像；通道(Channel)分配步骤，针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息(Gradation Information)以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；合成图像生成步骤，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；推断步骤，分析所述合成图像，对所述多个图像进行推断。
另外，在本发明的图像分析方法中，其特征是，进一步，在所述通道分配步骤中，将色调相互不同的颜色作为通道分配给所述多个图像的每一个，将与被分配的颜色对应的灰度信息作为分配了通道的灰度信息，在所述合成图像生成步骤中，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成与色调不同的颜色对应的灰度信息被合成的一个彩色合成图像。
另外，在本发明的图像分析方法中，其特征是，进一步，在所述推断步骤中，对完成学习模型输入在所述合成图像生成步骤中生成的所述合成图像，作为推断结果获得该完成学习模型的输出，该完成学习模型是根据从用于学习的多个样本图像生成的多个合成图像而预先进行了机器学习的模型。
另外，在本发明的图像分析方法中，其特征是，进一步，所述多个图像是从动态影像中以一定的时间间隔提取多个而构成的，所述动态影像是由通过对进行动作的规定的对象物进行动态影像拍摄而得到的在时间上具有连续性的多个图像构成，在所述推断步骤中，根据基于所述动态影像而生成的所述合成图像，执行与所述规定的对象物的动作模式相关的推断。
另外，在本发明的图像分析方法中，其特征是，进一步还包括有获取在所述图像获取步骤中获取多个图像时的所述对象物的位置信息的位置信息获取步骤，在将多个对象物作为分析对象的情况下，在所述图像获取步骤中，针对所述多个对象物的每一个获取所述多个图像，在所述位置信息获取步骤中，针对所述多个对象物的每一个获取所述位置信息，在所述通道分配步骤中，针对每个所述对象物，对获取的多个图像的每一个分配通道，在所述合成图像生成步骤中，针对每个所述对象物生成所述合成图像，在所述推断步骤中，将针对每个所述对象物生成的多个所述合成图像和多个对象物的每一个的所述位置信息作为输入，执行与所述多个对象物的动作模式相关的推断。
另外，在本发明的图像分析方法中，其特征是，进一步，所述多个图像是在通过所获取的多个断层图像在特定方向上的层叠来表现三维区域的情况下的在所述特定方向上具有连续性的多个断层图像，或者，是在通过能够任意提取断层图像的三维模型来表现三维区域的情况下以在特定方向上具有连续性的方式从三维模型中提取的多个断层图像，在所述推断步骤中，根据所述合成图像执行与所述三维区域相关的推断。
本发明的学习用图像或者分析用图像生成方法，其特征是，包括：图像获取步骤，获取在时间或者空间上具有连续性的多个图像；通道分配步骤，针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；合成图像生成步骤，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像。
本发明的完成学习模型生成方法，其特征是，包括：图像获取步骤，获取在时间或者空间上具有连续性的多个图像；通道分配步骤，针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；合成图像生成步骤，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；正确答案数据获取步骤，获取在对所述合成图像执行推断的情况下的正确答案数据；推断步骤，对由神经网络构成的模型输入所述合成图像并执行推断而输出推断结果；参数更新步骤，使用所述推断结果和正确答案数据更新所述模型的参数。
本发明的图像分析装置，其特征是，具有：图像获取部，其获取在时间或者空间上具有连续性的多个图像；通道分配部，其针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；合成图像生成部，其通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；推断部，其分析所述合成图像，对所述多个图像进行推断。
本发明的图像分析程序，其特征是，使计算机实现：图像获取功能，获取在时间或空间上具有连续性的多个图像；通道分配功能，针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；合成图像生成功能，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；推断功能，分析所述合成图像，对所述多个图像进行推断。
发明的效果
通过本申请的实施方式解决了一个或两个以上的不足。
附图说明
图1是示出与本发明的至少一个实施方式对应的图像分析装置的构成的一个例子的框图。
图2是示出与本发明的至少一个实施方式对应的图像分析装置所适用的环境的一个例子的框图。
图3是表示与本发明的至少一个实施方式对应的图像分析装置的合成图像生成的概念的说明图。
图4是示出与本发明的至少一个实施方式对应的图像分析处理的流程的一个例子的流程图。
图5是示出与本发明的至少一个实施方式对应的学习处理的流程的一个例子的流程图。
图6是表示为了强迫游泳实验中的老鼠的动作分析而适用图像分析装置10A的情况下的合成图像生成的情况的说明图。
图7是更示意性的表示图6所示的合成图像生成的情况的说明图。
图8是示出与本发明的至少一个实施方式对应的图像分析装置的构成的一个例子的框图。
图9是示出与本发明的至少一个实施方式对应的图像分析处理的流程的一个例子的流程图。
图10是表示在社会互动实验(Social Interaction Test)中成为分析对象的老鼠的社会性行为的例子的说明图。
图11是表示提取在社会互动实验中成为分析对象的老鼠的位置的方法的一个例子的说明图。
图12是表示针对一只老鼠的合成图像生成的情况的说明图。
图13是表示用于实现多模态学习(Multi-modal Learning)的模型整体的构成的一个例子的框图。
图14是示出与本发明的至少一个实施方式对应的图像分析装置的构成的一个例子的框图。
图15是示出与本发明的至少一个实施方式对应的图像分析处理的流程的一个例子的流程图。
图16是表示利用图像分析装置10C执行根据由OCT(光学相干断层成像装置(Optical Coherence Tomography Apparatus))拍摄眼底时获取的体素数据(Voxel Data)来确定血管区域的图像分析处理的情况下的流程的说明图。
图17是表示与本发明的至少一个实施方式对应的图像分析装置的合成图像生成的其它的方法的说明图。
图18是表示作为与灰度信息相关的通道采用6色方式的情况下的各色与RGB值的关系的说明图。
图19是表示通过重写(Overwriting)而叠加的处理生成的合成图像的例子的说明图。
图20是示出与本发明的至少一个实施方式对应的图像分析装置的构成的一个例子的框图。
具体实施方式
以下，针对本发明的实施方式的例子参照附图进行说明。另外，以下说明的各实施方式的例子中的各种构成要素，在不产生矛盾等的范围内可适当组合。另外，针对作为某个实施方式的例子而说明过的内容，存在有在其它的实施方式中省略该说明的情况。另外，针对与各实施方式的特征部分没有关系的动作或处理，存在有省略该内容的情况。而且，以下说明的构成各种流程的各种处理的顺序，在处理内容不产生矛盾等的范围内可以顺序不同。
[第一实施方式]
以下，参照附图针对本发明的第一实施方式的图像分析装置的例子进行说明。图1是示出与本发明的至少一个实施方式对应的图像分析装置的构成的一个例子的框图。如图1所示，作为图像分析装置10的一个例子的图像分析装置10A具有图像获取部11、通道分配部12、合成图像生成部13、推断部14、存储部15。另外，图像分析装置10也可以是作为专用机器而设计的装置，但可以是由通常的计算机能够实现的设备。即，图像分析装置10至少具有通常的计算机通常具有的CPU(Central Processing Unit：中央运算处理装置)、存储器。另外，也可以具有GPU(Graphics Processing Unit：图像处理装置)。另外，也可以是鼠标、键盘等输入装置、打印机等输出装置、与通信网络连接用的通信装置经由总线而连接的构成。图像分析装置10的各部中的处理是通过从存储器中读取用于执行各部中的处理的程序并在作为控制电路(Processing circuit，Processing circuitry：处理电路)而发挥功能的CPU或GPU中执行来实现。换而言之，构成为，通过该程序的执行，处理器(处理电路)能够执行各装置的各处理。
图2是示出与本发明的至少一个实施方式对应的图像分析装置所适用的环境的一个例子的框图。图2中，构成为服务器装置、多个终端装置经由通信网络而能够相互连接。例如，也可以使图2中的服务器装置作为图像分析装置10来发挥功能，从多个终端装置中的任一个经由通信网络连接于作为图像分析装置10发挥功能的服务器装置而利用。此时，也可以是在终端装置中安装有用于利用图像分析装置的程序的构成，也可以是经由浏览器来利用服务器上的程序的构成。另外，例如使图2中的终端装置作为图像分析装置10来发挥功能，但在这种情况下，也可以构成为，使图像分析装置10的一部分功能由服务器装置具备，通过从终端装置经由通信网络来访问服务器装置从而利用该一部分功能。
另外，以下说明的图像分析装置10的构成要素不需要全部由同一个装置具备，也可以是以下的构成：使一部分构成由其它的装置具备，例如，使经由通信网络而能够连接的服务器装置和多个终端装置中的任一个分别具有一部分的构成，图像分析装置10一边进行通信一边利用其它的装置所具有的构成。另外，服务器装置并不限于是一台的情况，也可以是利用多个服务器装置的构成。另外，后述的完成学习模型除了存储在作为图像分析装置10来发挥功能的装置自身的情况之外，也可以是分散设置在作为其它的装置的服务器装置、多个终端装置等中，或者是每次经由通信网络连接于具有要利用的完成学习模型的装置来利用的构成。即，只要是能够利用由某些存储单元存储的完成学习模型即可，关于完成学习模型存储单元是在图像分析装置自身设置还是在其它的装置中设置，都是可以的。
图像获取部11具有获取在时间或者空间上具有连续性的多个图像的功能。在此，所谓的在时间上具有连续性的多个图像是指在时间上连续的获取的多个图像，例如从动态影像等中根据规定的规则获取的多个图像。另外，所谓的在空间上具有连续性的多个图像是指，在将规定范围的三维空间与规定平面相交叉的情况下的该平面上的三维空间的信息称为断层图像的情况下，以多个规定平面与一个方向平行而连续的方式在多个规定平面的每一个上获取断层图像而得到的多个图像，例如从表示利用OCT(光学相干断层成像装置)等得到的规定的三维区域的体素数据根据规定规则获取的多个图像。另外，在空间上具有连续性的多个图像可以是通过获取的多个断层图像在特定方向上的层叠来表现三维区域的情况下在特定方向上具有连续性的多个断层图像，也可以是在通过能够任意提取断层图像的三维模型来表现三维区域的情况下以在特定方向上具有连续性的方式从三维模型中提取的多个断层图像。
另外，多个图像只要是在时间或者空间上具有连续性即可，并不要求在获取时连续的获取。例如，并不要求必须选择在拍摄60fps的动态影像的情况下的连续的帧，例如，在每15帧获取1帧，1秒间获取4帧部分的图像这样的情况下也可以说在时间上具有连续性。
通道分配部12具有以下功能：针对多个图像，根据规定的规则对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道。在此，所谓的通道是指在合成多个图像的情况下为了将从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息(亮度信息)与其它的图像进行识别而被分配的识别用的信息。只要能够识别各图像的灰度信息，可以设定任何的通道，例如，可以针对多个图像的每一个，作为通道而分配相互色调不同的颜色，也可以将与被分配的颜色对应的灰度信息作为识别该图像的灰度信息。作为具体的例子，可考虑获取3张图像，针对该3张图像分别分配RGB的3色作为通道。在各图像中，仅将RGB的任意一色作为分配了通道的灰度信息来处理。
合成图像生成部13具有以下功能：通过从多个图像的每一个中提取分配了通道的灰度信息并进行合成，从而生成通过通道可识别各图像的至少一部分的灰度信息的一个合成图像。此处的图像合成的方法也可以是相应于通道的种类等而不同。例如，在获取3张图像，针对该3张图像将RGB的3色分别作为通道来分配的情况下，在各图像中提取仅RGB的任意一色的灰度信息，与在同一图像内根据RGB的灰度信息生成彩色图像的情况相同，根据从三个图像获取的RGB的灰度信息来生成彩色的合成图像。
推断部14具有以下功能：分析合成图像，对多个图像进行推断。此处的推断的内容根据处理的对象物而不同，可采用各种各样的推断。在推断部14，执行与图像分析相关的推断而得到推断结果。另外，推断部14的推断处理也可以是根据通过预先进行学习而得到的完成学习模型来执行。完成学习模型的学习处理例如也可以将学习用的合成图像和该合成图像的推断的正确答案数据作为组合来执行。完成学习模型只要是通过机器学习而进行学习的模型即可，各种各样的模型都能够适用，例如通过深层学习而使神经网络学习是适用的。进一步，作为一个例子，采用ResNet或VGG这样的已有的完成学习的卷积神经网络(CNN)，根据需要也可以采用进行了附加学习(转移学习)的结构。根据准备多个与推断对象相关的学习用合成图像而从零开始学习完成学习模型的方法，具有以下优点：得到能够进行与学习用合成图像的倾向良好的吻合的高精度的推断的完成学习模型。另一方面，采用已有的完成学习模型的方法具有以下优点：即使没有时间从零开始学习也能够立刻执行分类问题等的推断处理。
存储部15具有以下功能：存储图像分析装置10A中的各部的处理需要的信息，另外，存储在各部的处理中产生的各种的信息。另外在该存储部15中，也可存储完成学习模型。另外也可构成为，将完成学习模型存储在经由通信网络能够连接的服务器装置中，使得服务器装置具有推断部14的功能。
图3是表示与本发明的至少一个实施方式对应的图像分析装置中的合成图像生成的概念的说明图。如图3所示，在本实施方式中，从动态影像或体素数据等在时间或空间上连续的数据以规定间隔提取多个图像例如三个图像，在针对各图像分配了通道的基础上生成合成图像，使用该合成图像执行作为图像分析的推断。
接着，针对与本发明的至少一个实施方式对应的图像分析处理的流程进行说明。图4是示出与本发明的至少一个实施方式对应的图像分析处理的流程的一个例子的流程图。在图4中，图像分析处理是在图像分析装置10A中通过获取在时间或者空间上具有连续性的多个图像而开始(步骤S101)。接着，图像分析装置10A针对所获取的多个图像分配不同的通道(步骤S102)。接着，图像分析装置10A在多个图像的每一个中提取分配了通道的灰度信息并将它们合成为一个而生成合成图像(步骤S103)。然后，图像分析装置10A根据合成图像执行推断，获取与图像分析相关的推断结果(步骤S104)，图像分析处理结束。
上述的图像分析处理中的推断可以是任何的处理，而在使用完成学习模型进行推断的情况下，存在有需要预先学习的情况。因此，针对与本发明的至少一个实施方式对应的学习处理的流程，以学习对象是由神经网络构成的模型的情况为例进行说明。图5是示出与本发明的至少一个实施方式对应的学习处理的流程的一个例子的流程图。在图5中，学习处理在图像分析装置10A中，作为用于学习的数据，通过获取在时间或者空间上具有连续性的多个图像而开始(步骤S201)。接着，图像分析装置10A对所获取的多个图像分配不同的通道(步骤S202)。接着，图像分析装置10A在多个图像的每一个中提取分配了通道的灰度信息并将它们合成为一个而生成合成图像(步骤S203)。另外，图像分析装置10A获取与生成的合成图像相关的正确答案数据(步骤S204)。正确答案数据是表示与推断相关的正确答案的数据，通常通过人的手来注释(Annotation)。然后，图像分析装置10A将合成图像输入到学习对象的神经网络中来执行推断，获取与图像分析相关的推断结果(步骤S205)。然后，使用所得到的推断结果和正确答案数据来更新神经网络的参数，学习处理结束。在图5所示的流程图中，作为直到根据一个合成图像更新一次神经网络的参数为止的学习处理进行了说明，但实际上为了提高推断精度而需要根据多个合成图像按顺序更新参数。参数的更新可以考虑以下这样的方法：例如，根据损失函数执行推断结果的损失的计算，向着损失变小的方向更新参数。
在此，针对适用本发明的第一实施方式的图像分析装置10A而进行的图像分析的具体例子进行说明。本发明的第一实施方式的图像分析装置10A适用于在时间上具有连续性的多个图像，即，以作为动态影像而拍摄的图像为对象，可以说拍摄的对象物相应于时间经过而动作的状况为适用对象。具体而言，图像分析装置10A能够适用于对以老鼠这样的运动的动物为对象物而拍摄的动态影像进行分析。
作为有关老鼠的动作的实验，存在有强迫游泳实验这样的实验。该实验例如是为了调查用于抑郁症的药物或用于精神分裂症的药物的药效而对老鼠给药，作为药物的影响的调查实验而进行的。根据在强迫游泳实验中进行主动性的行为的时间(活动的时间：Mobility)和不动时间(没有动作的时间：Immobility)来确定因药物的影响是否产生老鼠的积极性的减退等变化。例如，不动时间的长度等用于药效的指标。在针对强迫游泳实验的动作分析中的难点在于，例如，老鼠在箱体的壁边仅后肢进行浅打水(单侧腿)的行为，虽然老鼠自身在活动但需要确定为无积极性的不动时间，尽管是这样的动作中的老鼠但仍确定为不动时间的判定，在仅仅基于动作的有无的计算机分析中成为判定错误。因此，为了与强迫游泳实验中的老鼠的动作相关的高精度的分析，适用图像分析装置10A。
图6是表示为了强迫游泳实验中的老鼠的动作分析而适用图像分析装置10A的情况下的合成图像生成的情况的说明图。从拍摄强迫游泳实验中的老鼠而得到的动态影像中以规定间隔提取3帧部分的图像，对提取的3帧分配RGB的通道。从各个图像中仅提取根据分配的颜色的灰度信息。三个图像分别为仅R的灰度信息的图像、仅G的灰度信息的图像、仅B的灰度信息的图像，通过将它们合成而得到合成图像。使用这样生成的合成图像来执行推断。
图7是更示意性的表示图6所示的合成图像生成的情况的说明图。该图7中的三个图像，相当于老鼠的躯干的椭圆部位没有运动，仅相当于老鼠的脚的长方形部位进行运动而变化。当针对该三个图像分配RGB的通道，提取被分配的颜色的灰度信息而生成合成图像时，由于没有运动的椭圆部位的RGB的灰度信息齐全而被合成，因此以与原图像相同的方式来表示，但是有运动的长方形部位，由于仅表示各自的灰度信息，因此分别以RGB的单色来表示(以至少与原彩色不同的颜色来表示)。像这样，在所选择的三个图像之间存在有运动的部位的情况下，即使是以目视确认合成图像也能够识别运动的部位。
像这样，针对老鼠的强迫游泳实验中的老鼠的各种动作，使用此时的合成图像和正确答案数据例如进行神经网络的学习而得到完成学习模型，通过使用完成学习模型，从而能够将例如在壁边仅后肢进行浅打水(单侧脚)的行动适当的判定为不动时间。
如以上所述，作为第一实施方式的一个侧面，由于具有：图像获取部，其获取在时间或者空间上具有连续性的多个图像；通道分配部，其针对多个图像，根据规定的规则对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；合成图像生成部，其通过从多个图像的每一个中提取分配了通道的灰度信息并进行合成，从而生成通过通道能够识别各图像的至少一部分的灰度信息的一个合成图像；推断部，其分析合成图像，对多个图像进行推断；因此，能够根据在时间或者空间上具有连续性的多个图像精度良好的推测对象物的动作或属性。
即，用于推断的合成图像与作为在时间或者空间上具有连续性的多个图像的动态影像或三维数据不同，是二维图像，因此能够期待输入于神经网络而执行学习处理或实际的分析处理的情况下的学习的收敛性，可以说硬件的处理能力也可以利用现在在市场上销售的计算机能够进行充分的处理。该合成图像是二维图像且包含有多个图像的信息，因此使用从单一图像无法获知的对象物的运动或空间的相关的信息能够进行高精度的推断。
[第二实施方式]
以下，参照附图针对本发明的第二实施方式的图像分析装置的例子进行说明。在该第二实施方式中，作为分析对象设想有多个对象物，针对多个对象物的位置关系也影响分析结果这样的状况适用本发明的图像分析装置，针对此情况进行说明。具体而言，以针对多个老鼠进行的社会性行为的分析适用本发明的图像分析装置的情况为例进行说明。
图8是示出与本发明的至少一个实施方式对应的图像分析装置的构成的一个例子的框图。如图8所示，作为图像分析装置10的一个例子的图像分析装置10B具有图像获取部11、通道分配部12、合成图像生成部13、位置信息获取部16、推断部14、存储部15。关于赋予与第一实施方式相同的附图标记的构成，具有与第一实施方式中说明的构成相同的功能，针对相同的功能省略详细的说明，在该第二实施方式中，设想多个对象物同时被拍摄的状况，在此情况下，对每个对象物执行图像获取以及合成图像生成这一点，与第一实施方式不同。
图像获取部11获取在时间或者空间上具有连续性的多个图像，但还具有以下功能：确定所获取的各图像中包含的多个对象物出现的部位，从各图像中分别获取各对象物出现的规定范围的图像。
通道分配部12具有以下功能：针对每个对象物，对所获取的多个图像中的每一个分配通道。针对每个对象物获取多个该对象物出现的规定范围的图像，对该多个图像，针对每个对象物分配通道。
合成图像生成部13具有针对每个对象物生成合成图像的功能。在动态影像中出现两个对象物的情况下，生成两个合成图像。
位置信息获取部16具有获取在获取多个图像时的对象物的位置信息的功能。虽然是从拍摄多个对象物而得到的动态影像中获取多个图像，但是是获取各图像中的多个对象物各自的位置信息。位置信息例如可以是坐标数据。在获取多个图像的情况下，也可以是获取所有的图像中的对象物的位置信息，也可以是获取最初的图像和最后的图像中的位置信息，至少是获取一个图像中的对象物的位置信息。
推断部14具有以下功能：输入针对每个对象物生成的多个合成图像和多个对象物各自的位置信息，执行与多个对象物的动作模式相关的推断。推断可以采用各种各样的方法，作为一个例子，有使用预先对神经网络进行了学习的完成学习模型来进行推断的方法，在采用该方法的情况下，为了实现像本例那样将针对多个对象物的合成图像和多个对象物各自的位置信息这样的相互不同的要素作为输入来使用的模型，优选构成用于执行多模态学习的神经网络。
接着，针对与本发明的至少一个实施方式对应的图像分析处理的流程进行说明。图9是示出与本发明的至少一个实施方式对应的图像分析处理的流程的一个例子的流程图。在图9中，图像分析处理是在图像分析装置10B中，通过从拍摄多个对象物得到的动态影像中提取在时间上具有连续性的多帧而开始(步骤S301)。接着，图像分析装置10B通过从各帧中提取与各对象物的区域相应的图像，从而针对每个对象物获取多个图像(步骤S302)。接着，获取至少任意1帧中的各对象物的位置信息(步骤S303)。接着，图像分析装置10B针对每个对象物，对所获取的多个图像分配不同的通道(步骤S304)。接着，图像分析装置10B针对每个对象物，在多个图像的每一个中提取分配了通道的灰度信息，并将它们合成为一个而生成合成图像(步骤S305)。然后，图像分析装置10B根据针对每个对象物生成的合成图像以及各对象物的位置信息而执行推断，获取与图像分析相关的推断结果(步骤S306)，图像分析处理结束。
在此，针对适用本发明第二实施方式的图像分析装置10B而进行的图像分析的具体例进行说明。本发明第二实施方式的图像分析装置10B是以在时间上具有连续性的多个图像，即，作为拍摄为动态影像的对象而包含有多个对象物的状况为适用对象。具体而言在将多个老鼠一起放入同一个笼子中进行行为观察时分析老鼠的社会性行为的情况中能够适用图像分析装置10B。
作为调查老鼠的社会性的实验，存在有社会互动实验这样的实验。是以下这样的试验：将两只老鼠放入到同一个笼子之中，观察在规定时间内进行了多少社会性行为(Sociability)。例如，存在有以下情况：为了调查抑郁症用的药物或精神分裂症用的药物的药效而对老鼠给药，作为药物的影响的调查实验而进行社会互动实验。呈现出与抑郁症或精神分裂症类似的病状的老鼠有减少社会性行为的倾向，为了判断药效有利用社会互动实验来进行社会性行为的分析的情况。
图10是表示在社会互动实验中成为分析对象的老鼠的社会性行为的例子的说明图。如图10所示，老鼠的社会性行为中有闻嗅对方的身体的“闻嗅”、跟随对方的“跟随”、梳理对方的身体的“梳理”等，根据一方的老鼠相对于另一方的老鼠的行为的推移来确定。即使是二维图像上的两只的位置关系或身体的朝向等接近于“闻嗅”，由于也有可能存在有仅偶尔成为这种位置关系而实际上并没有进行闻嗅对方的身体的行为的情况，因此仅以静止画面来高精度的判定社会性行为是困难的。因此，针对拍摄社会互动实验的情况得到的动态影像适用图像分析装置10B。
图11是表示提取在社会互动实验中成为分析对象的老鼠的位置的方法的一个例子的说明图。图11所示的是，准备从上部拍摄放入有两只老鼠的笼子而得到的(A)拍摄图像和针对相同的拍摄范围没有老鼠的状态的(B)背景图像，是计算它们的差并进行二值化处理得到的(C)二值图像。(C)的二值图像中的白色部位表示老鼠的位置。也可以根据这样的二值图像来提取位置信息。
图12是表示关于一只老鼠的合成图像生成的情况的说明图。通过图11所示那样的方法提取两只老鼠的位置，分别仅将包含老鼠的区域作为图像来提取。当从3帧的每一个中提取包含有两只老鼠的区域时，针对每只老鼠，获取图12所示那样的三个图像。针对这三个图像，例如分配RGB的通道，从各个图像中仅提取被分配的颜色的灰度信息。三个图像分别成为仅R的灰度信息的图像、仅G的灰度信息的图像、仅B的灰度信息的图像，通过将它们合成而得到合成图像。针对每个老鼠进行这样的合成图像的生成。
图13是表示实现多模态学习用的模型整体的构成的一例的框图。作为输入数据，准备关于老鼠1的合成图像、关于老鼠2的合成图像以及老鼠1、2的位置信息，并且设置将这些数据的每一个都输入的神经网络部分。关于输入合成图像的部分的神经网络，例如可适用VGG16这样的事先完成学习的神经网络。然后，在与输入的每一个对应的三个神经网络部分的后段，设置结合层及分类层，得到推断结果。推断可构成为，例如作为社会性行为的示例，根据在图10中示出的四个行为，以与哪个相对应的方式进行分类并输出。
如以上所述，作为第二实施方式的一个侧面，还具有获取在图像获取部获取多个图像时的对象物的位置信息的位置信息获取部，在将多个对象物作为分析对象的情况下，在图像获取部，针对多个对象物的每一个获取多个图像，在位置信息获取部，针对多个对象物的每一个获取位置信息，在通道分配部，针对每个对象物，对所获取的多个图像的每一个分配通道，在合成图像生成部，针对每个对象物生成合成图像，在推断部，将针对每个对象物生成的多个合成图像和多个对象物的每一个的位置信息作为输入，执行与多个对象物的动作模式相关的推断，因此，根据与多个对象物相关的在时间上具有连续性的多个图像，能够精度良好的推测对象物的动作或属性。
[第三实施方式]
以下，参照附图针对本发明的第三实施方式的图像分析装置的例子进行说明。在该第三实施方式中，对能够提取在空间上具有连续性的多个图像的三维数据适用图像分析装置。
图14是示出与本发明的至少一个实施方式对应的图像分析装置的构成的一个例子的框图。如图14所示，作为图像分析装置10的一个例子的图像分析装置10C具有图像获取部11、通道分配部12、合成图像生成部13、区域分切部17、推断部14、存储部15。关于赋予与第一实施方式相同的附图标记的构成，具有与在第一实施方式中说明的构成相同的功能，针对相同的功能省略详细的说明。
区域分切部17具有以下功能：将合成图像分切为预先设定的尺寸的多个区域。区域的尺寸优选相应于想要通过图像分析来确定的特征而决定。在此被分切的各个区域成为推断部14的推断的对象。
接着，针对与本发明的至少一个实施方式对应的图像分析处理的流程进行说明。图15是示出与本发明的至少一个实施方式对应的图像分析处理的流程的一个例子的流程图。在图15中，图像分析处理在图像分析装置10C中，通过获取在空间上具有连续性的多个图像而开始(步骤S401)。接着，图像分析装置10C对所获取的多个图像分配不同的通道(步骤S402)。接着，图像分析装置10C在多个图像的每一个中提取分配了通道的灰度信息，并将它们合成为一个而生成合成图像(步骤S403)。接着，图像分析装置10C将合成图像分切为多个区域(步骤S404)。然后，图像分析装置10C针对合成图像的每个区域执行推断，针对每个区域获取与图像分析相关的推断结果(步骤S405)。对区域进行切换而按顺序执行推断，在针对合成图像的所有的区域获取了推断结果的时刻，图像分析处理结束。
在此，针对适用本发明的第三实施方式的图像分析装置10C而进行的图像分析的具体例子进行说明。本发明的第三实施方式的图像分析装置10C是以在空间上具有连续性的多个图像，即，以对根据三维数据而平行且连续的获取的断层图像等进行的分析处理为适用对象。具体而言，在对表示利用OCT(光学相干断层成像装置)等得到的规定的三维区域的体素数据进行的分析中能够适用图像分析装置10C。
图16是表示利用图像分析装置10C执行根据体素数据确定血管区域的图像分析处理的情况下的流程的说明图，其中该体素数据是在利用OCT(光学相干断层成像装置)拍摄眼底的情况下得到的。首先如图16所示，将体素数据转换为例如300切片的栅格数据，从300切片的栅格数据中每次提取3个切片，根据该3个切片的图像生成合成图像。接着将合成图像分切为多个区域。此时的区域的尺寸优选适于适当确定血管区域的尺寸。然后，针对每个区域执行推断，针对所有的区域得到是否对应于血管区域的推断结果，从而确定合成图像中的血管区域。针对其它的栅格数据的组合也反复执行同样的处理。然后，在针对所有的合成图像的推断处理结束的阶段，利用最终确定的血管区域组重建体数据，从而能够得到与体素数据对应的3D血管模型。
另外，也可以针对每个栅格数据确定血管区域，相比于针对每1个切片进行图像分析，在利用多个切片例如3个切片生成合成图像之后进行图像分析，使得对空间上的血管的延伸方向等的把握变得容易，因此形成合成图像之后再进行图像分析能够得到提高血管区域的确定精度这样的效果。
如以上所述，作为第三实施方式的一个侧面，多个图像是在通过所获取的多个断层图像在特定方向上的层叠来表现三维区域的情况下的特定方向上具有连续性的多个断层图像，或者，在通过能够任意提取断层图像的三维模型来表现三维区域的情况下以在特定方向上具有连续性的方式从三维模型中提取的多个断层图像，在推断部中，根据合成图像执行与三维区域相关的推断，因此根据在空间上具有连续性的多个图像能够精度良好的推测三维区域的特性、属性等。
[第四实施方式]
在第一至第三实施方式中，作为对由图像获取部11获取的一个图像分配一个通道的构成进行了说明，但并不限定于此。在第四实施方式中，关于对将两个图像合成后的图像分配一个通道的例子进行说明。图17是表示与本发明的至少一个实施方式对应的图像分析装置中的合成图像生成的其它的方法的说明图。如图17所示，也可以是将分配通道之前的两个图像，例如利用明暗比较等进行合成，对该合成后的图像分配通道。所谓的利用明暗进行合成是指，例如，在用256灰度表现各颜色的灰度信息的情况下，两个图像中的其中一个图像转换为颜色的灰度收敛在0～127的范围内，其中另一方的图像转换为颜色的灰度收敛在128～255的范围内，通过将这两个图像合成，相对于与特定的1色对应的1通道能够分配两个图像。通过使用这样的方法，能够增加合成图像中包含的信息量。通过采用该方法，例如在使用RGB的3通道的情况下，能够分别将两个图像利用明暗进行合成之后分配给RGB的3通道，能够使得一个合成图像中包含有六个图像的信息。
[第五实施方式]
在第一至第三实施方式中，作为生成合成图像用的通道的分配的一个例子，针对将RGB的3色作为通道来使用的情况进行了说明，而在第五实施方式中，作为能够设定为通道的各种各样的灰度信息的一个例子，针对提取亮度信息的方法进行说明。
(1)从彩色图像生成亮度图像的方法
[前提条件]
在影像由黑白相机拍摄的情况下，在影像以灰度保存时，由于只含有单一通道，因此将该图像作为亮度图像。另一方面，由于灰度图像作为彩色图像来保存的情况也很多，因此在这种情况下只要利用任意的通道即可。
[单一通道的利用]
利用RGB中的任一个的彩色通道的图像。此时，可以相应于对象物的颜色选择最佳的通道。或者，也可以在彩色图像中利用最能反映亮度信息的G通道的图像。
[多个通道的加工]
将RGB通道的各图像以任意的比例混合而生成亮度图像(并不是简单的提取，而是进行加工获得亮度图像，这一点是不同的)。也可以利用简单的分别相加之后除以3而得到的亮度图像，也可以以考虑到了人眼的波长灵敏度特性的比率进行混合。例如，作为将NTSC标准彩色系统的彩色图像转换为灰度的方法，已知有利用算式Y＝0.299R+0.587g+0.114B而计算出各像素的亮度Y的方法。
[所提取的亮度图像的加工]
对所提取的图像实施用于使得图像的背景和关注物体的亮度的关系更加明确的加工也是有效的。例如，在拍摄背景暗的白色物体(相当于实施例的白色老鼠)或者拍摄明亮的背景下的黑色物体(黑色老鼠在实验中也经常使用)的情况下，根据需要进行亮度的反转也是有效的。另外，在所提取的图像的背景是灰色而在此呈现出的关注物体是比背景稍微明亮的灰色的情况下，为了提高预测精度，以使得背景变黑而关注物体变白的方式进行亮度补偿是非常有效的。
(2)从彩色图像提取或者加工亮度以外的信息，并将其作为亮度图像加以利用的方法
[预备信息]
通过RGB的3通道的彩色(RGB颜色空间)得到的图像与由色调(Hue)、饱和度(Saturation)、亮度(Value/Luminance)构成的颜色空间(HSV颜色空间或者与此几乎同等的的HLS颜色空间)能够相互转换。
[将色调作为亮度图像来利用]
由于HSV颜色空间的色调(Hue)不包含图像的亮度，因此即使有阴影也能够将物体的颜色作为信息来提取。这意味着相对于照明不均或阴影反射，坚固性很高。另外，通过提取规定的范围的色调，能够提取关注物体，能够设想比单纯的亮度图像有用性高的情况。具体而言，通过提取红色附近的色调，能够容易的提取人体的皮肤的部分(手掌或脸面)。若将其扩展，则在多个色调不同的关注物体存在于图像内的情况下，能够将色调的不同作为亮度图像来利用(一般的色调由色调环这种从红色开始按照黄色、绿色、浅蓝色、蓝色、紫色的顺序前进且返回到红色的环状结构示出，而通过以红色为0，对上述的各个颜色赋予每次增加60的数值，从而能够使色调数值化)，因此，也可以进行物体的识别、提取。色调也可以根据需要使颜色改变或者进行补偿等，能够提高预测精度。
[将色调以外作为亮度图像来利用]
与色调同样也可以利用饱和度或明度(Value)。由于饱和度表示颜色的鲜艳度，因此无论颜色的种类如何，都能够在关注于鲜艳的区域的情况下来利用。但是，饱和度与色调不同，容易受到照明或阴影反射的影响，因此饱和度的使用被限定为这样的影响低且关注于鲜艳度是最佳的情况。另一方面，明度一般使用在各像素中成为最大值的通道的亮度[V＝max(R,G,B)]，因此虽然有些不同，但是能够得到与在上述的多个通道的加工中描述的那样的外观上自然的灰度图像类似的结果。对于这些，也能够进行亮度补偿。
[第六实施方式]
在第一至第三实施方式中，作为生成合成图像用的通道的分配的一个例子，针对将RGB的3色作为通道来使用的情况进行了说明，但并不限定于此，也可以将4色以上的颜色的灰度信息作为通道来采用。
作为与灰度信息相关的通道设定的具体例子，例如，在4色以下的情况下，能够采用RGB(A)方式或者CMYK方式。另外，在第五实施方式中，在色调的说明中进行了6色(红、黄、绿、浅蓝、蓝、紫)的示例，但也可以将通道设定设定为6色。而且，也可以分开使用多个颜色，而被分配于各通道的颜色优选上述6色那样采用明确且容易区别的颜色。
在此，作为影像、图像的记录方法，目前最普及的方法是利用了RGB颜色空间的处理，在CMYK方式或6色(红、黄、绿、浅蓝、蓝、紫)的方式等包含RGB以外的颜色表现的通道设定中，产生在合成时不能正确表现重叠的部分的颜色这样的问题。
图18是表示作为与灰度信息相关的通道采用6色方式的情况下的各颜色与RGB值的关系的说明图。其中，图18中的(a)是表示在采用红、黄、绿、浅蓝、蓝、紫的6色方式的情况下的各颜色与RGB值的关系(无限制)的说明图。图18中的(a)是在用8位分辨率(以0～255的亮度等级表现)表示目前最普及红、黄、绿、浅蓝、蓝、紫的6色的RGB的各通道的情况下表示RGB的各值的上限值。例如，若关注黄色，则R与G的值为255，B为0。这是与红色和绿色重叠的部分相同的值，因此图像中的黄色的区域作为合成的结果是红色和绿色重叠的部分还是黄色单独的部分，并不能区分。另外，多个图像重叠的结果，在RGB的值超过了255的情况下，该颜色饱和而不能反映更大的值而被舍入到255，因此会产生无法表示正确的层的重叠的情况。
图18中的(b)是表示为了在合成时不破坏图像而进行了上限设定的情况下的6色的各颜色与RGB值的关系的说明图。如无限制的情况下的图18中的(a)所示，可知即使是合成了所有的颜色的通道，RGB的通道无论任何要素其值停留在最大3次的多层(255×3)。据此，若使使用于层的RGB的各值为85(＝255÷3)，则即使是所有的层都有重叠的情况下，能够将像素的各通道的亮度值保留为最大255。由此，能够保持层的所有的重叠的组合的颜色。
[第七实施方式]
在第一至第三实施方式中，说明了对多个图像设定不同的通道，在各图像中提取与各个通道对应的灰度信息，合成所提取的灰度信息而生成一个合成图像，且进行了以下说明：在生成合成图像之际，在各像素中合成多个灰度信息来决定各像素的灰度信息、亮度信息，但是并不限定于此。例如，也可以是采用按照时间顺序的新的图像或者旧的图像的像素值作为各像素的灰度信息、亮度信息的值。同样，也可以是采用在空间上连续的情况下的进深侧的图像或者眼前侧的图像的像素值作为各像素的灰度信息、亮度信息的值。即，也可以并不进行合成，而是采用进行重写而重叠的处理来得到合成图像。
图19是表示通过进行重写而重叠的处理从而生成的合成图像的例子的说明图。在图19中，作为通道采用6色的灰度信息，对在时间上具有连续性的六个图像分配不同的颜色的通道。然后，在合成六个图像之际，像在时间上最旧的图像上重写第二旧的图像这样，以在时间上新的图像在上重叠的方式进行合成。此时，需要决定各图像中的有效区域。例如，在想要分析老鼠的活动的情况下，也可以提取老鼠的轮廓并将轮廓的内侧确定为有效的区域。有效区域内的像素的信息是在旧的图像上进行重写。有效区域外的信息也可以采用最旧的图像的信息，或者也可以执行与第一至第三实施方式相同的合成处理。像这样，当一边针对在时间上旧的图像按顺序进行重写一边执行重叠时，如图19所示，具有以下这样的效果：在对象物进行移动的情况下，移动的轨迹更加容易把握。
另外，在图19的例子中执行重写有效区域内的所有的像素而进行叠加的处理，但也可以将以规定的像素的厚度仅提取各图像的有效区域的轮廓得到的轮廓线与图19同样的进行叠加。通过该方法也与图19同样的获得更加容易的把握对象物的移动的轨迹这样的效果。
[第八实施方式]
在第一至第三实施方式中，在推断部14的推断中，以存在有通过预先进行了学习的完成学习模型来执行推断处理的情况这样的前提进行了说明。针对这种情况下的生成完成学习模型的主体并没有明确记载，但是毫无疑问也可以是图像分析装置10具有学习部的构成。
图20是示出与本发明的至少一个实施方式对应的图像分析装置的构成的一个例子的框图。图20表示在通过第一实施方式说明的图像分析装置10A中还具有学习部18的图像分析装置10D。学习部18具有以下功能：将合成图像和关于该合成图像的分析结果的正确答案数据作为组合而执行学习处理，执行神经网络的参数的更新。即，通过设置学习部18，可以在自身装置中执行在图像分析装置10D中采用的完成学习模型的学习处理，也可以对所获得的完成学习模型进一步执行附加的学习处理。另外，学习处理通过与图5相同的流程来执行。
虽然通过第一至第八实施方式针对本发明的各种各样的实施方式进行了说明，但是并不限定与此，能够适用于各种各样的用途。当然也可以考虑到例如来自监视摄像机的人的个体识别或异常行为检测、来自道路监视摄像机的车的异常行驶检测、来自体育直播动态影像的行为分类、来自内脏器官3D数据的异常部位检测这样的实施方式。
附图标记的说明
10             图像分析装置
11             图像获取部
12             提取部
13             预测部
14             推断部
15             存储部
16             位置信息获取部
17             区域分切部

Claims (10)

1.一种图像分析方法，包括：
图像获取步骤，获取在时间或者空间上具有连续性的多个图像；
通道分配步骤，针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；
合成图像生成步骤，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；
推断步骤，分析所述合成图像，对所述多个图像进行推断。
2.根据权利要求1所述的图像分析方法，其中，在所述通道分配步骤中，将色调相互不同的颜色作为通道分配给所述多个图像的每一个，将与被分配的颜色对应的灰度信息作为分配了通道的灰度信息，
在所述合成图像生成步骤中，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成一个彩色合成图像且该一个彩色合成图像合成了与色调不同的颜色对应的灰度信息。
3.根据权利要求1或2所述的图像分析方法，其中，在所述推断步骤中，对完成学习模型输入在所述合成图像生成步骤中生成的所述合成图像，作为推断结果而获得该完成学习模型的输出，该完成学习模型是根据从用于学习的多个样本图像生成的多个合成图像而预先进行了机器学习的模型。
4.根据权利要求1～3中任一项所述的图像分析方法，其中，所述多个图像是从动态影像中以一定的时间间隔提取多个而构成的，所述动态影像是由通过对进行动作的规定的对象物进行动态影像拍摄而得到的在时间上具有连续性的多个图像构成，
在所述推断步骤中，根据基于所述动态影像而生成的所述合成图像，执行与所述规定的对象物的动作模式相关的推断。
5.根据权利要求4所述的图像分析方法，其中，还包含有获取在所述图像获取步骤中获取多个图像时的所述对象物的位置信息的位置信息获取步骤，
在将多个对象物作为分析对象的情况下，
在所述图像获取步骤中，针对所述多个对象物的每一个获取所述多个图像，
在所述位置信息获取步骤中，针对所述多个对象物的每一个获取所述位置信息，
在所述通道分配步骤中，针对每个所述对象物，对所获取的多个图像的每一个分配通道，
在所述合成图像生成步骤中，针对每个所述对象物生成所述合成图像，
在所述推断步骤中，将针对每个所述对象物生成的多个所述合成图像和多个对象物的每一个的所述位置信息作为输入，执行与所述多个对象物的动作模式相关的推断。
6.根据权利要求1～3中任一项所述的图像分析方法，其中，所述多个图像是在通过所获取的多个断层图像在特定方向上的层叠来表现三维区域的情况下的在所述特定方向上具有连续性的多个断层图像，或者，是在通过能够任意提取断层图像的三维模型来表现三维区域的情况下以在特定方向上具有连续性的方式从三维模型提取的多个断层图像，
在所述推断步骤中，根据所述合成图像执行与所述三维区域相关的推断。
7.一种学习用图像或者分析用图像生成方法，包括：
图像获取步骤，获取在时间或者空间上具有连续性的多个图像；
通道分配步骤，针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；
合成图像生成步骤，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像。
8.一种完成学习模型生成方法，包括：
图像获取步骤，获取在时间或者空间上具有连续性的多个图像；
通道分配步骤，针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；
合成图像生成步骤，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；
正确答案数据获取步骤，获取在对所述合成图像执行推断的情况下的正确答案数据；
推断步骤，对由神经网络构成的模型输入所述合成图像并执行推断而输出推断结果；
参数更新步骤，使用所述推断结果和正确答案数据更新所述模型的参数。
9.一种图像分析装置，具有：
图像获取部，其获取在时间或者空间上具有连续性的多个图像；
通道分配部，其针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；
合成图像生成部，其通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；
推断部，其分析所述合成图像，对所述多个图像进行推断。
10.一种图像分析程序，使计算机实现以下功能，包括：
图像获取功能，获取在时间或者空间上具有连续性的多个图像；
通道分配功能，针对所述多个图像，根据规定的规则，对从各图像能够获取的颜色的灰度信息以及/或者亮度的灰度信息中的至少一部分分配相互不同的通道；
合成图像生成功能，通过从所述多个图像的每一个中提取分配了所述通道的灰度信息并进行合成，从而生成通过所述通道能够识别各图像的至少一部分的灰度信息的一个合成图像；
推断功能，分析所述合成图像，对所述多个图像进行推断。
CN202180044139.4A 2020-06-25 2021-06-24 图像分析方法、学习用图像或分析用图像生成方法、完成学习模型生成方法、图像分析装置及图像分析程序 Pending CN115943430A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-109810 2020-06-25
JP2020109810 2020-06-25
PCT/JP2021/023916 WO2021261547A1 (ja) 2020-06-25 2021-06-24 画像解析方法、学習用画像又は解析用画像生成方法、学習済モデル生成方法、画像解析装置及び画像解析プログラム

Publications (1)

Publication Number Publication Date
CN115943430A true CN115943430A (zh) 2023-04-07

Family

ID=79281248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180044139.4A Pending CN115943430A (zh) 2020-06-25 2021-06-24 图像分析方法、学习用图像或分析用图像生成方法、完成学习模型生成方法、图像分析装置及图像分析程序

Country Status (5)

Country Link
US (1) US20230171369A1 (zh)
EP (1) EP4174763A1 (zh)
JP (1) JPWO2021261547A1 (zh)
CN (1) CN115943430A (zh)
WO (1) WO2021261547A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022138187A (ja) * 2021-03-10 2022-09-26 富士通株式会社 画像分割プログラム、画像分割装置、及びモデル生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4131929B2 (ja) * 2002-12-03 2008-08-13 株式会社東芝 オブジェクト画像合成方法
JP6433190B2 (ja) * 2014-08-11 2018-12-05 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2019003565A (ja) 2017-06-19 2019-01-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
EP4174763A1 (en) 2023-05-03
WO2021261547A1 (ja) 2021-12-30
US20230171369A1 (en) 2023-06-01
JPWO2021261547A1 (zh) 2021-12-30

Similar Documents

Publication Publication Date Title
US20210133473A1 (en) Learning apparatus and learning method
Yue et al. Blind quality assessment for screen content images via convolutional neural network
CN103065282A (zh) 一种基于稀疏线性系统的图像融合方法
Salvi et al. DermoCC-GAN: A new approach for standardizing dermatological images using generative adversarial networks
Bosse et al. Estimation of distortion sensitivity for visual quality prediction using a convolutional neural network
CN107392904A (zh) 一种基于数学形态学的医学图像的分割算法
WO2020064676A1 (en) Method for simulating the rendering of a make-up product on a body area
CN107533765A (zh) 跟踪光学物体的装置，方法和系统
CN115943430A (zh) 图像分析方法、学习用图像或分析用图像生成方法、完成学习模型生成方法、图像分析装置及图像分析程序
JP2004030007A (ja) 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体
CN110473176B (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
JP7171549B2 (ja) 画像解析評価方法、コンピュータプログラム、画像解析評価装置
WO2021132307A1 (ja) 眼科画像処理方法、眼科画像処理装置及び眼科画像処理プログラム
CN110648336A (zh) 一种舌质和舌苔的分割方法及装置
Piórkowski et al. Automatic detection of game engine artifacts using full reference image quality metrics
CN115797276A (zh) 用于内窥镜的病灶图像处理方法、装置、电子设备及介质
US20180116582A1 (en) Elasticity evaluation apparatus, elasticity evaluation method, and elasticity evaluation program
CN112529002B (zh) 舌体图片分类方法、装置、计算机设备及存储介质
Attia et al. Realistic hair simulator for skin lesion images using conditional generative adversarial network
CN113781330A (zh) 图像处理方法、装置及电子系统
JP2006053692A (ja) 動画像における画像処理装置、画像処理方法、画像処理プログラム、および該プログラムを記録した記録媒体
WO2015144563A1 (en) Image processing system and method
US7426289B2 (en) Overlay of tinted images for visualizing change in serial radiologic images
Devi et al. Active facial tracking
US20230401698A1 (en) Image processing method and image processing apparatus using same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40085797

Country of ref document: HK