CN102208102A - 图像处理装置以及图像处理方法 - Google Patents
图像处理装置以及图像处理方法 Download PDFInfo
- Publication number
- CN102208102A CN102208102A CN2011100818007A CN201110081800A CN102208102A CN 102208102 A CN102208102 A CN 102208102A CN 2011100818007 A CN2011100818007 A CN 2011100818007A CN 201110081800 A CN201110081800 A CN 201110081800A CN 102208102 A CN102208102 A CN 102208102A
- Authority
- CN
- China
- Prior art keywords
- image
- composograph
- unit
- moving
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims description 79
- 238000005520 cutting process Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 15
- 238000002386 leaching Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 abstract description 28
- 239000002131 composite material Substances 0.000 abstract 4
- 238000013500 data storage Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 239000004973 liquid crystal related substance Substances 0.000 description 13
- 239000004744 fabric Substances 0.000 description 9
- 230000001052 transient effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 230000009897 systematic effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 241000222712 Kinetoplastida Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Abstract
本发明提供一种图像处理装置以及图像处理方法。在图像处理装置中，当分别从连续图像裁剪相同位置的区域时，不需要一幅一幅地对各图像进行区域指定来裁剪，而能够一起裁剪。对连续图像(Ga1～Ga9)进行对位，并且生成将从该对位后的连续图像(Ga1～Ga9)提取的动点图像(b1～b9)与背景图像(GB)重叠来生成的合成图像(Gac)。并且，当对该合成图像(Gac)指定包含所述动点图像(b1～b9)的矩形区域(R)作为分析对象的区域时，生成从所述对位后的各图像(Ga1～Ga9)中以与对所述合成图像(Gac)所指定的矩形区域(R)相同位置/大小/范围的矩形区域裁剪出的多幅分析对象图像(RGa1～RGa9)。
Description
技术领域
本发明涉及从连续图像等多个图像生成用于分析该图像的对象图像的图像处理装置、图像处理方法。
背景技术
以往，例如在基于包含移动的物体的连续图像，对该物体的移动轨迹进行数学上分析时，用户必须一边每次一个图像地指定相同区域的位置，一边裁剪作为连续图像的各图像的分析对象区域。
从作为相同位置的区域而被裁剪的连续图像中提取共同的背景图像，并且提取各图像间的动体图像，在该提取出的背景图像上叠加各动体图像来进行合成。由此，认为例如在日本特开2006-005452号公报中公开了能够容易地掌握被拍摄对象的运动轨迹或运动形式(form)的转移等的图像合成系统。
以往，为了分别从连续图像中裁剪相同位置的区域，用户需要一幅一幅地对各图像在相同位置进行区域指定并裁剪，作业非常麻烦并且效率低下。
发明内容
本发明的课题在于提供一种在分别从连续图像裁剪相同位置的区域时，不需要一幅一幅地对各图像进行区域指定并裁剪，而是能够一起裁剪的图像处理装置、图像处理方法。
根据本发明的第一方式，提供一种图像处理装置，其特征在于，具备：图像存储单元，其存储多个图像；合成图像生成单元，其对通过该图像存储单元存储的多个图像进行合成来生成合成图像；合成图像显示单元，其显示通过该合成图像生成单元生成的合成图像；区域设定单元，其对通过该合成图像显示单元显示的合成图像设定裁剪区域；以及图像裁剪单元，其从通过所述合成图像生成单元生成合成图像之前的各图像中裁剪与通过所述区域设定单元设定的裁剪区域相同区域的图像并存储。
根据本发明的第二方式，提供一种图像处理装置，其中，具备：图像存储单元，其存储多个图像；动点提取单元，其基于通过该图像存储单元存储的各图像，提取该图像中的动点；近似曲线计算单元，其计算与通过该动点提取单元提取出的动点对应的近似曲线；对象判断单元，其判断在通过所述图像存储单元存储的图像中的所述近似曲线上是否存在对象；以及区域设定单元，其在通过该对象判断单元判断为存在对象的情况下，设定包含通过所述动点提取单元提取出的动点和该对象的裁剪区域，在通过所述对象判断单元判断为不存在对象的情况下，设定包含通过所述动点提取单元提取出的动点的裁剪区域。
根据本发明的第三方式，提供一种具备显示部和显示多个图像的存储器的计算机中的图像处理方法，其中，包括以下过程：合成图像生成过程，其对所述存储器中存储的多个图像进行合成来生成合成图像；合成图像显示过程，其在所述显示部中显示在该合成图像生成过程中生成的合成图像；区域设定过程，其对在该合成图像显示过程中显示的合成图像设定裁剪区域；以及图像裁剪过程，其从在所述合成图像生成过程中生成合成图像之前的各图像中裁剪与在所述区域设定过程中设定的裁剪区域相同区域的图像并存储在存储器中。
根据本发明的第四方式，提供一种具备存储多个图像的存储器的计算机中的图像处理方法，其中，包括以下过程：动点提取过程，其基于在所述存储器中存储的各图像，提取该图像中的动点；近似曲线计算过程，其计算与在该动点提取过程中提取出的动点对应的近似曲线；对象判断过程，其判断在所述存储器中存储的图像中的所述近似曲线上是否存在对象；以及区域设定过程，其在通过该对象判断过程判断为存在对象的情况下，设定包含在所述动点提取过程中提取出的动点和该对象的裁剪区域，在所述对象判断过程中判断为不存在对象的情况下，设定包含在所述动点提取过程中提取出的动点的裁剪区域。
附图说明
图1是表示本发明的图像处理装置的实施方式的图像处理/分析系统的外观结构的图。
图2是表示所述图像处理/分析系统的PC10以及曲线图函数电子计算器20的电路的结构的框图。
图3是表示通过所述图像处理/分析系统的PC10执行的分析图像生成处理的整个流程的流程图。
图4是表示伴随通过所述PC10执行的分析图像生成处理而进行的多个图像的分组处理(SA)的流程图。
图5是伴随所述多个图像的分组处理(SA)，在彩色显示部16中显示的分组图像的识别画面P1的图。
图6是伴随通过所述PC10执行的分析图像生成处理的多个图像→合成图像生成处理(SC)的流程图。
图7是表示伴随所述多个图像→合成图像生成处理(SC)，在彩色显示部16中显示的多个图像→合成图像生成画面P2的图。
图8是表示伴随通过所述PC10执行的分析图像生成处理而进行的裁剪区域检测处理(SE)的流程图。
图9A～图9D是表示伴随所述裁剪区域检测处理(SE)的图像的显示动作和图像处理的内容的图。
图10是表示通过所述图像处理/分析系统的曲线图函数电子计算器20执行的动点轨迹分析处理的流程图。
图11A～图11D是表示伴随所述曲线图函数电子计算器20根据单个图像进行的动点轨迹分析处理的彩色液晶显示部25的显示动作的图。
图12A～图12D是表示伴随所述曲线图函数电子计算器20根据多个图像进行的动点轨迹分析处理的彩色液晶显示部25的显示动作的图。
具体实施方式
下面根据附图对本发明的实施方式进行说明。
图1是表示本发明的图像处理装置的实施方式的图像处理/分析系统的外观结构的图。
图2是表示所述图像处理/分析系统的PC10以及曲线图函数电子计算器20的电路的结构的框图。
该图像处理/分析系统通过组合作为图像处理装置而工作的个人计算机(PC)10和作为图像分析装置而工作的曲线图函数电子计算器20而构成。
在该图像处理/分析系统中，PC10至少具有下述功能：取入通过数码照相机等拍摄的连续图像(Ga1～Ga9)的功能、生成将从该连续图像(Ga1～Ga9)中提取的动点图像(b1～b9)重叠到背景图像(GB)上来合成的合成图像(Gac)的功能、生成从该合成图像(Gac)裁剪了分析对象的区域(R)的分析对象图像(RGac)(参照图9D)的功能。
此外，曲线图函数电子计算器20至少具有利用外部存储介质13等来取入通过所述PC10生成的分析对象图像(RGac)的功能、分析该分析对象图像(RGac)并显示其分析结果的功能。
PC10具备作为计算机的处理器(CPU)11。
处理器(CPU)11按照预先存储在HDD等辅助存储部12中的PC控制程序、或从存储卡等外部存储介质13读入到辅助存储部12的PC控制程序、或从通信网络上的Web服务器(程序服务器)下载并读入到所述辅助存储部12的PC控制程序，将RAM等暂时存储部14作为作业用存储器来控制电路各部的动作。
而且，存储在所述辅助存储部12中的PC控制程序，根据伴随来自输入部15的用户操作的输入信号而启动。
在所述处理器(CPU)11上除了连接所述辅助存储部12、暂时存储部14、输入部15之外，还连接彩色显示部16。
在辅助存储部12中存储各种处理程序12a，该各种处理程序12a包括：掌控本PC10的全体的动作的PC控制程序、用于执行与用户操作对应的各种处理的应用程序、用于执行以连续图像(Ga1～Ga9)为基础的分析对象图像(RGac)的生成处理的图像处理程序等。
此外，在辅助存储部12中确保生成图像数据存储区域12b。在该生成图像数据存储区域12b中确保合成图像存储区域12b1和多图像存储区域12b2。
在合成图像存储区域12b1中，存储从将所述连续图像(Ga1～Ga9)等多幅图像进行对位来合成的合成图像(Gac)中指定分析对象的区域(R)并裁剪而得的合成图像的分析对象图像(RGac)。
在多图像存储区域12b2中，与对所述合成图像(Gac)指定的分析对象的区域(R)相对应地，存储从所述对位后的各图像(Ga1～Ga9)裁剪了该分析对象的区域(R)的多幅分析对象图像(RGa1～RGa9)(参照图12A～图12D)。
在暂时存储部14中确保图像数据存储区域14a、分组信息存储区域14b、图像调整位置数据存储区域14c、裁剪区域检测用数据存储区域14d等。
成为通过所述图像处理程序进行处理的对象的所述连续图像(Ga1～Ga9)等各种图像数据，经过与外部设备的通信或从外部存储介质13被取入并存储在图像数据存储区域14a中。
用于对存储在所述图像数据存储区域14a中的各种图像数据按相同种类的图像进行分组的识别信息，与该各种图像数据相对应地存储在分组信息存储区域14b中。
在根据所述分组的识别信息以用户任意选择的相同种类的连续图像(Ga1～Ga9)为对象对各图像数据进行了对位处理时，将在二维或三维方向上调整了该各图像的位置后的调整位置数据存储在图像调整位置数据存储区域14c中。
伴随着通过手动或自动从对所述连续图像(Ga1～Ga9)进行对位来合成的合成图像(Gac)中检测分析对象的区域(R)的处理，将必要的各种作业数据暂时存储在裁剪区域检测用数据存储区域14d中。
在输入部15中设有与一般的PC同样的键盘15a、鼠标/手写板(tablet)15b等输入设备。
另外，在所述生成图像数据存储区域12b的合成图像存储区域12b1中存储的合成图像的分析对象图像(RGac)或多图像存储区域12b2中存储的多幅分析对象图像(RGa1～RGa9)(参照图12A～12D)能够存储在USB存储器等外部存储介质13中并取出，能由曲线图函数电子计算器20读入。
曲线图函数电子计算器20具备作为计算机的处理器(CPU)21。
处理器(CPU)21按照在ROM22中预先存储的电子计算器控制程序、或从存储卡等外部存储介质13读入到ROM22中的电子计算器控制程序、或从通信网络上的Web服务器(程序服务器)下载并读入到所述ROM22的电子计算器控制程序，将RAM23作为作业用存储器来控制电路各部的动作。
而且，存储在所述ROM22中的电子计算器控制程序，根据伴随来自输入部24的用户操作的输入信号而启动。
在所述处理器(CPU)21上除了连接所述ROM22、RAM23、输入部24之外，还连接点阵型的彩色液晶显示部25。
在ROM22中存储各种处理程序22a，该各种处理程序22a包括：掌控本曲线图函数电子计算器20的全体的动作的电子计算器控制程序、用于执行与用户操作对应的各种运算处理的运算处理程序、对通过所述PC20生成的分析对象图像(RGac)(RGa1～RGa9(参照图12A～图12D))进行分析并显示其分析结果的图像分析处理程序等。
此外，在ROM22中确保取入图像数据存储区域22b。在该取入图像数据存储区域22b中确保：用于存储从所述PC10利用外部存储介质13读入的合成图像的分析对象图像(RGac)的合成图像存储区域22b1、和用于对利用该外部存储介质13读入的多幅分析对象图像(RGa1～RGa9)(参照图12A～图12D)进行存储的多图像存储区域22b2。
在RAM23中确保图像数据存储区域23a、标绘点信息存储区域23b等。
从所述取入图像数据存储区域22b的合成图像存储区域22b1或多图像存储区域22b2读入成为通过所述图像分析处理程序进行处理的对象的图像数据，并存储在图像数据存储区域23a中。
在通过所述图像分析处理程序进行图像分析处理时，例如图11A～图11D所示对所述合成图像的分析对象图像(RGac)中含有的动点(b1～b9)进行了标绘的标绘点(PT1～PT9)的坐标信息、或例如图12A～图12D所示将所述多幅分析对象图像(RGa1～RGa9)中分别含有的各动点(b1～b9)依次进行了标绘的标绘点(PT1～PT9)的坐标信息被存储在标绘点信息存储区域23b中。
在输入部24中具备键盘24a和触摸屏24b，该键盘24a具备数字/文字的输入键、各种函数/标记的输入键、各种功能的切换/设定键、执行键、光标键等，该触摸屏24b重叠设置在所述彩色液晶显示部25上，并由用于检测与显示画面上的用户触摸位置对应的坐标信息的透明手写板(tablet)构成。
然后，说明基于所述结构的图像处理/分析系统的动作。
(PC10的分析图像生成功能)
图3是表示通过所述图像处理/分析系统的PC10执行的分析图像生成处理的整个流程的流程图。
图4是表示伴随通过所述PC10执行的分析图像生成处理而进行的多个图像的分组处理(SA)的流程图。
图5是表示伴随所述多个图像的分组处理(SA)，在彩色显示部16中显示的分组图像的识别画面P1的图。
在图像处理程序启动时，首先开始图4中的多个图像的分组处理(SA)，对于在暂时存储部14内的图像数据存储区域14a中存储的各图像Ga1、Ga2、...、Gb1、Gb2、...，检测图像的全体或图像内的预定位置的色调(步骤A1)。
然后，比较所述各图像Ga1、Ga2、...、Gb1、Gb2、...的色调来判断其近似性(步骤A2)。这里，色调的近似性的判断能够使用公知技术来实现，例如专利文献：日本特开2009-86762号公报中记载的技术，即可以使用2个彩色图像的类似度的计算来实现。
于是，对于色调的近似性高的图像进行分组，并且与所述图像数据存储区域14a内的各图像Ga1、Ga2、...、Gb1、Gb2、...相对应地，在分组信息存储区域14b中存储相应于该分组的识别信息(步骤A3)。这里，色调的近似性高的图像的分组，在使用例如专利文献：日本特开2009-86762号公报中记载的技术的情况下，对于各图像分别计算任意的2个图像的类似度，如果类似度在一定值以上，则分类为同一组，如果不到一定值则分类为不同的组。
于是，按照与在所述分组信息存储区域14b中存储的各图像Ga1、Ga2、...、Gb1、Gb2、...对应的分组的识别信息，例如如图5所示，以蓝色对拍摄投篮而得的连续图像Ga1、Ga2、...的组进行识别显示HB，并且以红色对摄影飞鸟而得的连续图像Gb1、Gb2、...的组进行识别显示HR的识别画面P1显示在彩色显示部16中(步骤A4)。
在该进行了分组的图像的识别画面P1中，在根据用户操作选择了想作为分析对象的图像的组时(步骤SB)，以该选择的组的各图像(Ga1、Ga2、...、或Gb1、Gb2、...)为对象，执行图6中的多个图像→合成图像生成处理(步骤SC)。
这里，说明在所述识别画面P1中选择了以蓝色识别显示HB的篮球的连续图像Ga1、Ga2、...的情况。
图6是表示伴随通过所述PC10执行的分析图像生成处理的多个图像→合成图像生成处理(SC)的流程图。
图7是表示伴随所述多个图像→合成图像生成处理(SC)，在彩色显示部16中显示的多个图像→合成图像生成画面P2的图。
在开始该多个图像→合成图像生成处理(SC)时，从所述暂时存储部14内的画像数据存储区域14a取入由用户选择的篮球的连续图像Ga1～Ga9，如图7所示，排列显示在多个图像→合成图像生成画面P2的下部(步骤C1)。
于是，针对该连续图像Ga1～Ga9，检测出在各图像间相同的多个固定的图像部分(例如门柱的角部的2～3个位置)，在二维或三维方向上调整该各图像的位置，使得以该检测出的多个图像部分为基准点，各图像Ga1～Ga9的位置吻合。然后，与所述各图像Ga1～Ga9对应的调整位置数据存储在图像调整位置数据存储区域14c中(步骤C2)。
然后，通过所述各图像Ga1～Ga9之间的差分检测法或运动矢量检测法等提取该各图像Ga1～Ga9中的动点图像(球)b1～b9，与该各图像Ga1～Ga9内的动点图像b1～b9的位置信息一起存储在暂时存储部14中(步骤C3)。
此外，从所述各图像Ga1～Ga9中的一幅图像(例如Ga1)中提取未作为所述动点图像b1被提取的部分作为背景图像BG，存储在暂时存储部14中(步骤C4)。
于是，生成合成图像Gac并存储在暂时存储部14中，该合成图像Gac是对于在所述步骤C4中提取/存储的背景图像BG重叠在所述步骤C3中提取/存储的各动点图像b1～b9而合成的合成图像(步骤C5)。
然后，在所述步骤C5中生成/存储的合成图像Gac如图7所示，被显示在多个图像→合成图像生成画面P2的上部(步骤C6)。
这样，对于按照所述多个图像→合成图像生成处理(步骤SC)生成的合成图像Gac，根据用户操作来设定是“自动”还是“手动”进行想作为分析对象的区域的裁剪(步骤SD)。
这里，在判断出被设定为“自动”时(步骤SD(自动))，执行图8中的裁剪区域检测处理(步骤SE)。
图8是表示伴随通过所述PC10执行的分析图像生成处理而进行的裁剪区域检测处理(SE)的流程图。
图9A～图9D是表示伴随所述裁剪区域检测处理(SE)的图像的显示动作和图像处理的内容的图。
在开始该裁剪区域检测处理(SE)时，首先如图9A所示，按照所述多个图像→合成图像生成处理(SC)生成/存储的合成图像Gac显示在彩色显示部16中。
然后，如在图9B中以图像表示内部处理那样，提取出伴随所述多个图像→合成图像生成处理(SC)中的步骤C3而存储的各动点图像b1～b9的位置信息M1～M9(步骤E1)，如图9C所示，计算出在合成图像Gac上连接该各动点的位置M1～M9的近似曲线Y(步骤E2)。
此时，限定于例如在学校学习的范围的简单的种类的曲线(二次曲线[Y＝ax2+b]、三次曲线[Y＝ax3+bx2+c]、三角函数曲线[Y＝sin x][Y＝cos x]、对数函数曲线[Y＝log x]、双曲线等)来计算所述近似曲线Y，不计算除此以外的复杂的种类的曲线。
于是，通过图像分析来判断物体、人、动物等对象是否存在于从所述合成图像Gac中的各动点的位置M1～M9离开的近似曲线Y上(步骤E3)。
这里，如图9D所示，在判断为人或物体的对象OB1、OB2存在于从合成图像Gac中的各动点的位置M1～M9远离的近似曲线Y上时(步骤E3(是))，以蓝色来识别显示R1、R2包围该对象OB1、OB2的矩形区域，检测包含所有的动点的位置M1～M9和对象OB1、OB2的区域(R1、R2)的矩形区域(R)(步骤E4)。
然后，包含在所述合成图像Gac中检测出的全部动点的位置M1～M9和对象OB1、OB2的区域(R1、R2)的矩形区域(R)，作为分析对象图像RGac的裁剪区域，通过红框R来识别显示(步骤E6)。
另一方面，如果判断为在从合成图像Gac中的各动点的位置M1～M9离开的近似曲线Y上不存在对象(步骤E3(否))，则检测包含全部动点的位置M1～M9的矩形区域(R)(步骤E5)。
然后，包含在所述合成图像Gac中检测出的全部动点的位置M1～M9的矩形区域(R)，作为分析对象图像RGac的裁剪区域，通过红框R来识别显示(步骤E6)。
另外，也可以不进行所述图9D中的动点提取位置M1～M9的识别显示、近似曲线Y的显示、包围对象OBn的矩形区域的蓝色识别显示Rn，而仅通过红框R来识别显示所检测出的分析对象图像RGac的裁剪区域。
另一方面，在所述步骤SD中判断出被设定为“手动”时(步骤SD(手动))，检测根据用户操作对在所述显示部16中显示的合成图像Gac指定的区域，通过红框R来识别显示该检测出的分析对象图像RGac的裁剪区域(步骤SF)。
这样，在检测出所述合成图像Gac中的分析对象图像RGac的裁剪区域(R)时(步骤SD→SE(SF))，通过与用户操作相对应的设定来判断是将分析对象图像作为合成图像来生成取得，还是作为合成前的图像来生成取得(步骤SG)。
这里，在判断为将分析对象图像作为合成图像来生成取得时(步骤SG(是))，在所述合成图像Gac中裁剪通过所述步骤SE或SF检测出并以红框R识别显示的区域，作为合成图像的分析对象图像RGac存储在生成图像数据存储区域12b中的合成图像存储区域12b1中(步骤SH)。
另一方面，在判断为将分析对象图像作为合成前的各图像来生成取得时(步骤SG(否))，调用在所述合成图像生成处理(SC)中的图像位置调整处理(C2)中进行了对位的各图像Ga1～Ga9(步骤SI)。
然后，从所述对位调整后的各图像Ga1～Ga9中裁剪与通过所述步骤SE或SF检测出并以红框R识别显示的区域相同位置/大小/范围的区域，作为多幅分析对象图像(RGa1～RGa9)(参照图12A～图12D)存储在生成图像数据存储区域12b中的多图像存储区域12b2中(步骤SJ)。
这样，按照所述PC10的分析图像生成处理生成、并在生成图像数据存储区域12b的合成图像存储区域12b1中存储的合成图像的分析对象图像(RGac)或在多图像存储区域12b2中存储的多幅分析对象图像(RGa1～RGa9)(参照图12A～图12D)被存储在USB存储器等外部存储介质13中并被取出，在曲线图函数电子计算器20中进行分析处理。
因此，根据基于所述结构的PC10的分析图像生成功能，对连续图像(Ga1～Ga9)进行对位并且生成合成图像(Gac)，该合成图像(Gac)是将从该对位后的连续图像(Ga1～Ga9)中提取出的动点图像(b1～b9)重叠到背景图像(GB)上来进行了合成的图像。而且，如果对该合成图像(Gac)指定例如包含所述动点图像(b1～b9)的矩形区域作为分析对象的区域(R)，则生成以该指定区域(R)裁剪的合成图像的分析对象图像(RGac)。此外，生成以与对所述合成图像(Gac)指定的区域(R)相同位置/大小/范围的矩形区域，从所述进行了对位的各图像(Ga1～Ga9)中裁剪的多幅分析对象图像(RGa1～RGa9)。
因此，在从连续图像(Ga1～Ga9)分别裁剪包含其动点图像(b1～b9)的相同位置的区域来作为分析对象图像(RGa1～RGa9)时，不需要将各图像(Ga1～Ga9)一枚一枚地进行区域指定来裁剪的麻烦，可以总体高效率地裁剪。
此外，根据基于所述结构的PC10的分析图像生成功能，对所述合成图像(Gac)指定的分析对象的区域(R)，在自动指定时，基于所述动点图像(b1～b9)的位置信息(M1～M9)，作为全部包含该动点图像(b1～b9)的矩形区域被检测出，或者是计算连接所述动点图像(b1～b9)的位置信息(M1～M9)的近似曲线Y，作为包含所述全部动点图像(b1～b9)和在所述近似曲线Y上存在的对象的矩形区域被检测出。
因此，能够容易地并且在准确的范围内检测例如作为动点轨迹的分析对象的区域(R)，生成所述合成图像的分析对象图像(RGac)或多幅分析对象图像(RGa1～RGa9)。
(曲线图函数电子计算器20的动点轨迹分析功能)
首先，从外部存储介质13中取入按照所述PC10的分析图像生成处理而生成的合成图像的分析对象图像(RGac)或多幅分析对象图像(RGa1～RGa9)，存储在曲线图函数电子计算器20的取入图像数据存储区域22b中。
图10是表示通过所述图像处理/分析系统的曲线图函数电子计算器20执行的动点轨迹分析处理的流程图。
在启动该动点轨迹分析处理时，打开在取入图像数据存储区域22b中存储的新的图像数据(步骤Q1)。
然后，判断从所述取入图像数据存储区域22b打开的新的图像数据的种类是单个图像还是多个图像，即是从合成图像存储区域22b1读出的合成图像的分析对象图像(RGac)，还是从多图像存储区域22b2读出的多幅分析对象图像(RGa1～RGa9)(步骤Q2)。
图11A～图11D是表示伴随所述曲线图函数计算器20根据单个图像进行的动点轨迹分析处理的彩色液晶显示部25的显示动作的图。
当判断出从所述取入图像数据存储区域22b打开的新的图像数据是从合成图像存储区域22b1读出的合成图像的分析对象图像RGac、即单个图像时(步骤Q2(单个))，如图11A所示，在设置了触摸屏24b的彩色液晶显示部25上显示该合成图像的分析对象图像RGac(步骤Q3)。
对于该显示的合成图像的分析对象图像RGac，如图11B、图11C所示，如果根据用户的触摸操作来顺次标绘想在该图像RGac上进行分析的动点图像b1～b9的位置，则在标绘点信息存储区域23b中按顺序存储该标绘的各点PT1～PT9的坐标(步骤Q4～Q6)。
于是，与在所述标绘点信息存储区域23b中存储的所述各动点图像b1～b9对应的各标绘点PT1～PT9的坐标如图11D所示，在彩色液晶显示部25中显示为动点分析坐标列表L(步骤Q7)。
由此，根据从所述PC10取入并在彩色液晶显示部25中显示的合成图像的分析对象图像RGac，能够不需要实施任何特别的图像处理地直接分析其动点轨迹并显示来进行学习。
图12A～图12D是表示伴随所述曲线图函数计算器20根据多个图像进行的动点轨迹分析处理的彩色液晶显示部25的显示动作的图。
当判断出从所述取入图像数据存储区域22b打开的新的图像数据是从多图像存储区域22b2读出的多幅分析对象图像RGa1～RGa9、即多个图像(步骤Q2(多个))时，如图12A所示，在设置了触摸屏24b的彩色液晶显示部25上显示该多幅分析对象图像RGa1～RGa9中的第一幅分析对象图像RGa1(步骤Q8)。
对于该显示的第一幅分析对象图像RGa1，如图12B所示，在根据用户的触摸操作来标绘该图像RGa1上的动点图像b1的位置(步骤Q9)时，在标绘点信息存储区域23b中存储该标绘的点PT1的坐标(步骤Q10)。
这里，在根据用户操作判断为指示了图像的切换时(步骤Q11(是))，如图12C所示，在彩色液晶显示部25中保留所述第一幅的标绘点PT1的显示的状态下，从第一幅切换到第二幅的分析对象图像RGa2并显示(步骤Q12)。
此后，如图12C、图12D所示，根据所述同样的用户操作，从第二幅分析对象图像RGa2到第九幅分析对象图像RGa9顺次切换显示，并且每次在标绘各动点图像b2～b9时，在所述标绘点信息存储区域23b中追加存储各对应的标绘点PT2～PT9的各坐标(步骤Q9～Q12)。
这样，与所述标绘点信息存储区域23b中存储的每个所述分析对象图像RGa1～RGa9的各动点图像b1～b9对应的各标绘点PT1～PT9的坐标如所述图11D所示，在彩色液晶显示部25中显示为动点分析坐标列表L(步骤Q7)。
由此，根据从所述PC10取入并在彩色液晶显示部25中切换显示的多幅分析对象图像RGa1～RGa9，能够不需要实施任何特别的图像处理地直接对其动点轨迹进行分析并显示来进行学习。
另外，在所述实施方式中记载的PC10的分析图像生成处理的动作方法、即图3的流程图中所示的分析图像生成处理、以及与其相伴的图4的流程图中所示的多个图像的分组处理、图6的流程图中所示的多个图像→合成图像生成处理、图8的流程图中所示的裁剪区域检测处理等方法，能够作为能使计算机执行的程序而存储在存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储介质(13)中来分发。并且，PC10的计算机(11)将存储在该外部存储介质(13)中的程序读入存储装置(12)，通过该读入的程序来控制动作，由此就能实现在所述实施方式中说明的基于连续图像(Ga1～Ga9)的分析图像生成功能，能执行与所述方法同样的处理。
此外，用于实现所述方法的程序的数据能够以程序代码的形式在通信网络(公共线路)上进行传送，通过连接在该通信网络上的通信装置将所述程序数据取入PC10的计算机(11)，也能够实现所述基于连续图像(Ga1～Ga9)的分析图像生成功能。
另外，本发明不限定于所述各实施方式，在实施阶段能够在不脱离其主旨的范围内进行各种变形。而且，在所述各实施方式中包含各种阶段的发明，可以通过所公开的多个构成要件中的适当的组合来提取出各种发明。例如，即使从各实施方式中所示的全部构成要件中删除若干个构成要件，或者将若干个构成要件以不同的方式进行组合，当能够解决在发明要解决的课题一栏中论述的课题，得到在发明的效果栏中论述的效果时，将该构成要件删除或组合后的结构能够作为发明而提取出来。
例如在辅助存储部12中预先存储近似曲线计算用的曲线的式子，步骤E2中的近似曲线的计算也可以通过在该预先存储的曲线中选择最佳近似的曲线来进行。
此外，在步骤SJ中存储的多幅分析对象图像(RGa1～RGa9)，可以作为针对每个图像而分别独立的文件，也可以针对全部图像作为一个文件。此时，多个图像是针对每个图像分别独立的文件时的、步骤Q2中的单个图像或是多个图像的判别，例如通过如果在步骤Q1中打开的文件是一个则是单个图像、如果在步骤Q1中打开的文件是多个则是多个图像来进行。此外，多个图像针对全部图像是一个文件时的、步骤Q2中的单个图像或是多个图像的判别，例如通过在生成由多个图像构成的文件时附加与由单个图像构成的文件的扩展名不同的扩展名并进行扩展名的比较来进行。
Claims (7)
1.一种图像处理装置，其特征在于，具备：
图像存储单元，其存储多个图像；
合成图像生成单元，其对通过该图像存储单元存储的多个图像进行合成来生成合成图像；
合成图像显示单元，其显示通过该合成图像生成单元生成的合成图像；
区域设定单元，其对通过该合成图像显示单元显示的合成图像设定裁剪区域；以及
图像裁剪单元，其从通过所述合成图像生成单元生成合成图像之前的各图像中裁剪与通过所述区域设定单元设定的裁剪区域相同区域的图像并存储。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述合成图像生成单元具有对通过所述图像存储单元存储的多个图像在该各图像间进行对位的图像位置调整单元，并且合成通过该图像位置调整单元进行了对位的多个图像来生成合成图像。
3.根据权利要求1所述的图像处理装置，其特征在于，具备：
多图像分组单元，其将通过所述图像存储单元存储的多个图像按照相同种类的图像进行分组；
图像组识别显示单元，其识别通过该多图像分组单元分组后的图像并显示；以及
图像组选择单元，其从通过该图像组识别显示单元进行分组显示的图像中选择与用户操作相对应的任意的组的图像，
所述合成图像生成单元具有取入通过所述图像组选择单元选择的组的多个图像的图像取入单元，并合成通过该图像取入单元取入的多个图像来生成合成图像。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述区域设定单元具有：
动点提取单元，其基于通过所述合成图像生成单元生成合成图像之前的各图像，提取通过该合成图像生成单元生成的合成图像中的动点；
近似曲线计算单元，其计算与通过该动点提取单元提取出的动点对应的近似曲线；以及
对象判断单元，其判断在通过所述合成图像生成单元生成的合成图像中的所述近似曲线上是否存在对象，
所述区域设定单元，在通过该对象判断单元判断为存在对象的情况下，设定包含通过所述动点提取单元提取出的动点和该对象的裁剪区域，在通过所述对象判断单元判断为不存在对象的情况下，设定包含通过所述动点提取单元提取出的动点的裁剪区域。
5.一种图像处理装置，其特征在于，具备：
图像存储单元，其存储多个图像；
动点提取单元，其基于通过该图像存储单元存储的各图像，提取该图像中的动点；
近似曲线计算单元，其计算与通过该动点提取单元提取出的动点对应的近似曲线；
对象判断单元，其判断在通过所述图像存储单元存储的图像中的所述近似曲线上是否存在对象；以及
区域设定单元，其在通过该对象判断单元判断为存在对象的情况下，设定包含通过所述动点提取单元提取出的动点和该对象的裁剪区域，在通过所述对象判断单元判断为不存在对象的情况下，设定包含通过所述动点提取单元提取出的动点的裁剪区域。
6.一种具备显示部和存储多个图像的存储器的计算机中的图像处理方法，其特征在于，包括以下过程：
合成图像生成过程，其对所述存储器中存储的多个图像进行合成来生成合成图像；
合成图像显示过程，其在所述显示部中显示在该合成图像生成过程中生成的合成图像；
区域设定过程，其对在该合成图像显示过程中显示的合成图像设定裁剪区域；以及
图像裁剪过程，其从在所述合成图像生成过程中生成合成图像之前的各图像中裁剪与在所述区域设定过程中设定的裁剪区域相同区域的图像并存储在存储器中。
7.一种具备存储多个图像的存储器的计算机中的图像处理方法，其特征在于，包括以下过程：
动点提取过程，其基于在所述存储器中存储的各图像，提取该图像中的动点；
近似曲线计算过程，其计算与在该动点提取过程中提取出的动点对应的近似曲线；
对象判断过程，其判断在所述存储器中存储的图像中的所述近似曲线上是否存在对象；以及
区域设定过程，其在通过该对象判断过程判断为存在对象的情况下，设定包含在所述动点提取过程中提取出的动点和该对象的裁剪区域，在所述对象判断过程中判断为不存在对象的情况下，设定包含在所述动点提取过程中提取出的动点的裁剪区域。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010079299A JP4973756B2 (ja) | 2010-03-30 | 2010-03-30 | 画像処理装置およびプログラム |
| JP2010-079299 | 2010-03-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102208102A true CN102208102A (zh) | 2011-10-05 |
Family
ID=44696917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011100818007A Pending CN102208102A (zh) | 2010-03-30 | 2011-03-29 | 图像处理装置以及图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20110242130A1 (zh) |
| JP (1) | JP4973756B2 (zh) |
| CN (1) | CN102208102A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973993A (zh) * | 2013-02-01 | 2014-08-06 | 宏达国际电子股份有限公司 | 影像合成装置及方法 |
| CN106170821A (zh) * | 2014-03-18 | 2016-11-30 | 株式会社Ｌｉｖｅ２Ｄ | 图像处理装置、图像处理方法以及程序 |
| CN106415626A (zh) * | 2014-05-23 | 2017-02-15 | 微软技术许可有限责任公司 | 从单个项目发起的组选择 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5914992B2 (ja) * | 2011-06-02 | 2016-05-11 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| US20140111640A1 (en) * | 2012-10-19 | 2014-04-24 | Candid Color Systems, Inc. | Method of sending and processing event images |
| US9324374B2 (en) * | 2013-11-11 | 2016-04-26 | Magisto Ltd. | Method and system for automatic generation of clips from a plurality of images based on an inter-objects relationship score |
| US10867635B2 (en) | 2013-11-11 | 2020-12-15 | Vimeo, Inc. | Method and system for generation of a variant video production from an edited video production |
| US9928877B2 (en) | 2013-11-11 | 2018-03-27 | Magisto Ltd. | Method and system for automatic generation of an animated message from one or more images |
| KR102375864B1 (ko) * | 2015-02-10 | 2022-03-18 | 한화테크윈 주식회사 | 요약 영상 브라우징 시스템 및 방법 |
| US10129464B1 (en) * | 2016-02-18 | 2018-11-13 | Gopro, Inc. | User interface for creating composite images |
| CN108055483A (zh) * | 2017-11-30 | 2018-05-18 | 努比亚技术有限公司 | 一种照片合成方法、移动终端及计算机可读存储介质 |
| JP7145440B2 (ja) * | 2020-03-26 | 2022-10-03 | パナソニックＩｐマネジメント株式会社 | 学習データ生成方法、学習データ生成装置、及び、プログラム |
| CN114520875B (zh) * | 2022-01-28 | 2024-04-02 | 西安维沃软件技术有限公司 | 视频处理方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040096085A1 (en) * | 2002-09-26 | 2004-05-20 | Nobuyuki Matsumoto | Image analysis method, apparatus and program |
| CN1615651A (zh) * | 2001-11-14 | 2005-05-11 | 荷兰应用科学研究会(Tno) | 确定图像序列中背景的运动 |
| JP2006005452A (ja) * | 2004-06-15 | 2006-01-05 | Nippon Hoso Kyokai <Nhk> | 画像合成装置及び画像合成システム |
| US20100039447A1 (en) * | 2008-08-18 | 2010-02-18 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP4441354B2 (ja) * | 2004-07-30 | 2010-03-31 | 日本放送協会 | 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6665342B1 (en) * | 1999-07-02 | 2003-12-16 | International Business Machines Corporation | System and method for producing a still image representation of a motion video |
| US7024054B2 (en) * | 2002-09-27 | 2006-04-04 | Eastman Kodak Company | Method and system for generating a foreground mask for a composite image |
| JP4307910B2 (ja) * | 2003-03-07 | 2009-08-05 | 富士フイルム株式会社 | 動画像切り出し装置および方法並びにプログラム |
| JP4820680B2 (ja) * | 2006-04-12 | 2011-11-24 | 株式会社東芝 | 医用画像表示装置 |
-
2010
- 2010-03-30 JP JP2010079299A patent/JP4973756B2/ja active Active
-
2011
- 2011-03-29 CN CN2011100818007A patent/CN102208102A/zh active Pending
- 2011-03-30 US US13/075,201 patent/US20110242130A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1615651A (zh) * | 2001-11-14 | 2005-05-11 | 荷兰应用科学研究会(Tno) | 确定图像序列中背景的运动 |
| US20040096085A1 (en) * | 2002-09-26 | 2004-05-20 | Nobuyuki Matsumoto | Image analysis method, apparatus and program |
| JP2006005452A (ja) * | 2004-06-15 | 2006-01-05 | Nippon Hoso Kyokai <Nhk> | 画像合成装置及び画像合成システム |
| JP4441354B2 (ja) * | 2004-07-30 | 2010-03-31 | 日本放送協会 | 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
| US20100039447A1 (en) * | 2008-08-18 | 2010-02-18 | Sony Corporation | Image processing apparatus, image processing method, and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103973993A (zh) * | 2013-02-01 | 2014-08-06 | 宏达国际电子股份有限公司 | 影像合成装置及方法 |
| CN106170821A (zh) * | 2014-03-18 | 2016-11-30 | 株式会社Ｌｉｖｅ２Ｄ | 图像处理装置、图像处理方法以及程序 |
| US10235785B2 (en) | 2014-03-18 | 2019-03-19 | Live2D Inc. | Image compositing device based on mask image, image compositing method based on mask image, and non-transitory computer-readable recording medium therefor |
| CN106415626A (zh) * | 2014-05-23 | 2017-02-15 | 微软技术许可有限责任公司 | 从单个项目发起的组选择 |
| US10409453B2 (en) | 2014-05-23 | 2019-09-10 | Microsoft Technology Licensing, Llc | Group selection initiated from a single item |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110242130A1 (en) | 2011-10-06 |
| JP2011211636A (ja) | 2011-10-20 |
| JP4973756B2 (ja) | 2012-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102208102A (zh) | 图像处理装置以及图像处理方法 | |
| JP5248696B1 (ja) | 電子機器、手書き文書作成方法、及び手書き文書作成プログラム | |
| US20160350137A1 (en) | Guide file creation program | |
| EP2458486A1 (en) | Information processing device, information processing method, and program | |
| EP3183640B1 (en) | Device and method of providing handwritten content in the same | |
| EP2814000B1 (en) | Image processing apparatus, image processing method, and program | |
| CN104036476A (zh) | 用于提供增强现实的方法以及便携式终端 | |
| KR102594951B1 (ko) | 전자 장치 및 그의 동작 방법 | |
| CN106462567A (zh) | 增强的数据视图 | |
| KR20180011794A (ko) | 오브젝트 시각화 방법 | |
| US10885689B2 (en) | System and method for augmented reality overlay | |
| CN105242825A (zh) | 终端控制方法及装置 | |
| CN110349212A (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| JP2014029656A (ja) | 画像処理装置および画像処理方法 | |
| WO2014122794A1 (ja) | 電子機器および手書き文書処理方法 | |
| CN107632811B (zh) | 图像拼接墙的标注方法及图像拼接墙系统 | |
| CN110737417B (zh) | 一种演示设备及其标注线的显示控制方法和装置 | |
| CN105242920A (zh) | 一种截图系统、截图方法以及电子设备 | |
| CN113703631A (zh) | 书写控制方法、装置、电子设备及存储介质 | |
| JP2018067298A (ja) | 手書き内容編集装置および手書き内容編集方法 | |
| KR102077203B1 (ko) | 전자 장치 및 그 제어 방법 | |
| CN108446693A (zh) | 待识别目标的便捷标记方法、系统、设备及存储介质 | |
| JP2015184986A (ja) | 複合現実感共有装置 | |
| Xue et al. | Learning-replay based automated robotic testing for mobile app | |
| CN112991514A (zh) | Ar数据展示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20111005 |