JP2019053791A - Image processing apparatus, image processing program, and image processing method - Google Patents
Image processing apparatus, image processing program, and image processing method Download PDFInfo
- Publication number
- JP2019053791A JP2019053791A JP2019004421A JP2019004421A JP2019053791A JP 2019053791 A JP2019053791 A JP 2019053791A JP 2019004421 A JP2019004421 A JP 2019004421A JP 2019004421 A JP2019004421 A JP 2019004421A JP 2019053791 A JP2019053791 A JP 2019053791A
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- image processing
- motion
- axial direction
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本技術は、分析対象物を経時的に撮像した動画像に対して画像解析を行う画像処理装置、画像処理プログラム及び画像処理方法に関する。 The present technology relates to an image processing apparatus, an image processing program, and an image processing method for performing image analysis on a moving image obtained by capturing an analysis target object over time.
創薬や再生医療に向けて細胞の機能評価が課題となっており、種々の分析手法が検討されている。分析手法の一つに、分析対象の細胞を経時的に撮像した動画像を解析することによって細胞の情報を得る画像解析がある。 Evaluation of cell functions has become an issue for drug discovery and regenerative medicine, and various analysis methods are being studied. One analysis method is image analysis in which cell information is obtained by analyzing a moving image obtained by imaging a cell to be analyzed over time.
例えば、特許文献１には、蛍光染色と画像処理を用いて神経細胞の突起伸張を解析する方法が開示されている。また、特許文献２には、画像解析により、神経細胞による神経回路網の評価を行う方法が開示されている。 For example, Patent Document 1 discloses a method of analyzing the extension of a neuronal process using fluorescent staining and image processing. Patent Document 2 discloses a method for evaluating a neural network using nerve cells by image analysis.
ここで、細胞の中には、画像において検出可能な動きを有するものがある。例えば、心筋細胞は収縮や弛緩を行い、神経細胞は軸索輸送や突起伸張等を行う。このような動きを画像解析によって検出することができれば、細胞の機能評価にとって有効である。 Here, some cells have a detectable motion in the image. For example, cardiomyocytes contract and relax, and neurons perform axonal transport and process extension. If such a movement can be detected by image analysis, it is effective for evaluating the function of the cell.
しかしながら、細胞の機能評価を行う上では、単に動きを抽出すればよいわけでない。
細胞の動きには、細胞自体の動き（伸縮等）もあれば、周囲の流体の流れ等よって動く場合もあるからである。また、細胞の動きであってもその方向が重要な場合がある。例えば心筋細胞であれば、心筋の伸縮方向に沿った動きが重要であり、機能評価のためにはその方向に沿った動きを抽出する必要がある。また、神経細胞であれば、細胞体の振動、軸索輸送あるいは突起伸張等の各種の動きがあり、それぞれ動きの方向や質が異なっている。
However, in evaluating the function of cells, it is not necessary to simply extract movement.
This is because cell movement includes movement of the cell itself (expansion and contraction, etc.) and movement due to the flow of surrounding fluid. Also, the direction of cell movement may be important. For example, in the case of cardiomyocytes, the movement along the direction of expansion and contraction of the myocardium is important, and it is necessary to extract the movement along that direction for function evaluation. In addition, in the case of a nerve cell, there are various movements such as cell body vibration, axonal transport or process extension, and the direction and quality of movement are different.
以上のような事情に鑑み、本技術の目的は、分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。 In view of the circumstances as described above, it is an object of the present technology to provide an image processing device, an image processing program, and an image processing method capable of evaluating the movement of an analysis object.
上記目的を達成するため、本技術の一形態に係る画像処理装置は、動き解析部と、軸方向設定部と、情報抽出部とを具備する。
上記動き解析部は、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する。
上記軸方向設定部は、上記分析対象動画像において、軸方向を設定する。
上記情報抽出部は、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する。
In order to achieve the above object, an image processing apparatus according to an embodiment of the present technology includes a motion analysis unit, an axial direction setting unit, and an information extraction unit.
The motion analysis unit calculates a motion vector in an analysis target moving image obtained by imaging the analysis target over time.
The axial direction setting unit sets an axial direction in the analysis target moving image.
The information extraction unit extracts movement information of the analysis target object in the analysis target moving image with respect to the axial direction based on the motion vector and the axial direction.
この構成によれば、動きベクトルから軸方向に対する動きの情報が抽出されるため、動きの量だけではなく動きの方向も含めた情報を提示することができ、ユーザは分析対象物の動きを、動きの方向も含めて評価することが可能となる。軸方向は、ユーザが任意で設定してもよく、画像処理装置が設定してもよい。 According to this configuration, since information on the motion in the axial direction is extracted from the motion vector, information including not only the amount of motion but also the direction of motion can be presented, and the user can analyze the motion of the analysis object, It is possible to evaluate including the direction of movement. The axial direction may be arbitrarily set by the user, or may be set by the image processing apparatus.
上記軸方向設定部は、上記動きベクトルに基づいて上記軸方向を設定してもよい。 The axial direction setting unit may set the axial direction based on the motion vector.
この構成によれば、分析対象物の動きに応じて軸方向が設定され、軸方向に対する分析対象物の動きの情報が抽出される。軸方向設定部は例えば、最も大きい動きベクトルの方向と同一方向を軸方向に設定することができる。 According to this configuration, the axial direction is set according to the movement of the analysis object, and information on the movement of the analysis object with respect to the axial direction is extracted. For example, the axial direction setting unit can set the same direction as the direction of the largest motion vector in the axial direction.
上記軸方向設定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記軸方向を設定してもよい。 The axial direction setting unit may perform image processing on the analysis target moving image and set the axial direction based on the processing result.
この構成によれば、分析対象物に対する画像処理結果に応じて軸方向が設定され、軸方向に対する分析対象物の動きの情報が抽出される。軸方向設定部は例えば、分析対象動画像において分析対象物を検出し、その延伸方向を軸方向に設定することができる。 According to this configuration, the axial direction is set according to the image processing result for the analysis object, and information on the movement of the analysis object with respect to the axial direction is extracted. For example, the axial direction setting unit can detect the analysis object in the analysis target moving image and set the extending direction to the axial direction.
上記情報抽出部は、上記軸方向に対する上記動きベクトルの角度を抽出してもよい。 The information extraction unit may extract an angle of the motion vector with respect to the axial direction.
この構成によれば、ユーザが軸方向に対する分析対象物の動きの方向を評価することが可能となる。 According to this configuration, the user can evaluate the direction of movement of the analysis object with respect to the axial direction.
上記情報抽出部は、上記動きベクトルを上記軸方向に投影し、上記軸方向に対する動き量を抽出してもよい。 The information extraction unit may project the motion vector in the axial direction and extract a motion amount with respect to the axial direction.
この構成によれば、動きベクトルの動き量が、軸方向に対する動き量に変換され、ユーザが軸方向に対する動き量を評価することが可能となる。 According to this configuration, the amount of motion of the motion vector is converted into the amount of motion in the axial direction, and the user can evaluate the amount of motion in the axial direction.
上記情報抽出部は、上記軸方向から所定角度内の上記動きベクトルから動き量を抽出してもよい。 The information extraction unit may extract a motion amount from the motion vector within a predetermined angle from the axial direction.
この構成によれば、軸方向から所定角度内の動きベクトルの動き量が抽出されるため、ユーザが軸方向及び軸方向に近い方向に対する動き量を評価することが可能となる。 According to this configuration, since the motion amount of the motion vector within a predetermined angle from the axial direction is extracted, the user can evaluate the motion amount in the axial direction and a direction close to the axial direction.
上記画像処理装置は、上記分析対象動画像において分析範囲を指定する範囲指定部をさらに具備し、
上記動き解析部は、上記分析範囲の区画毎に動きベクトルを算出し、
上記情報抽出部は、上記区画毎に算出された動きベクトルに基づいて上記分析範囲についての動きベクトルを算出し、上記分析範囲について算出された動きベクトルと上記軸方向に基づいて、上記情報を抽出してもよい。
The image processing apparatus further includes a range designating unit that designates an analysis range in the analysis target moving image,
The motion analysis unit calculates a motion vector for each section of the analysis range,
The information extraction unit calculates a motion vector for the analysis range based on the motion vector calculated for each section, and extracts the information based on the motion vector calculated for the analysis range and the axial direction. May be.
この構成によれば、分析範囲について動きベクトルが算出され、軸方向に他する動きの情報が抽出される。このため、ユーザは分析対象動画像において分析を所望する範囲を分析範囲に指定することにより、分析範囲についての情報を得ることができる。分析範囲の動きベクトルは、区画毎に算出された動きベクトルを加算した動きベクトル、あるいは区画毎に算出された動きベクトルのうち最大の動きベクトル等とすることができる。 According to this configuration, a motion vector is calculated for the analysis range, and information on other motion in the axial direction is extracted. For this reason, the user can obtain information about the analysis range by designating a range desired to be analyzed in the analysis target moving image as the analysis range. The motion vector in the analysis range can be a motion vector obtained by adding the motion vectors calculated for each section, or the maximum motion vector among the motion vectors calculated for each section.
上記範囲指定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記分析範囲を設定してもよい。 The range specifying unit may perform image processing on the analysis target moving image and set the analysis range based on the processing result.
この構成によれば範囲指定部によって、分析範囲が指定される。範囲指定部は、分析対象動画像に画像処理を施して、分析対象動画像に含まれる分析対象物を検出し、分析対象物が含まれる範囲を分析範囲に指定することができる。 According to this configuration, the analysis range is specified by the range specifying unit. The range specifying unit can perform image processing on the analysis target moving image, detect an analysis target included in the analysis target moving image, and specify a range including the analysis target as the analysis range.
上記範囲指定部は、上記分析範囲について算出された動きベクトルに基づいて上記分析範囲を移動させてもよい。 The range specifying unit may move the analysis range based on a motion vector calculated for the analysis range.
この構成によれば、分析範囲に含まれる分析対象物の動きに応じて分析範囲を分析対象物の動きに追随させることが可能となる。 According to this configuration, the analysis range can be made to follow the movement of the analysis object according to the movement of the analysis object included in the analysis range.
上記画像処理装置は、上記分析対象動画像に上記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部をさらに具備してもよい。 The image processing apparatus may further include a result output unit that generates an image in which the motion vector calculated for the analysis range is superimposed on the analysis target moving image.
この構成によれば、ユーザは、分析範囲について算出された動きベクトルを参照し、分析範囲に含まれる分析対象物の動きを評価することが可能となる。 According to this configuration, the user can evaluate the motion of the analysis object included in the analysis range with reference to the motion vector calculated for the analysis range.
上記画像処理装置は、上記分析対象動画像に対する画像処理結果に応じて、上記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部をさらに具備してもよい。 The image processing apparatus may further include a result output unit that generates an image in which a motion vector selected from the motion vectors calculated for each section is superimposed according to an image processing result for the analysis target moving image. Good.
この構成によれば、ユーザは、区画毎に算出された動きベクトルのうち、画像処理結果に応じて選択された動きベクトルを参照することが可能となる。結果出力部は、分析対象動画像における分析対象物の形状等に応じて動きベクトルを選択することができる。 According to this configuration, the user can refer to the motion vector selected according to the image processing result among the motion vectors calculated for each section. The result output unit can select a motion vector according to the shape of the analysis object in the analysis object moving image.
上記画像処理装置は、上記分析対象動画像に、上記分析対象動画像の所定フレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルと、上記分析対象動画像の上記所定フレームより前のフレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成してもよい。 The image processing apparatus includes a motion vector selected from motion vectors calculated for each of the sections in a predetermined frame of the analysis target moving image, and a frame before the predetermined frame of the analysis target moving image. An image in which a motion vector selected from the motion vectors calculated for each section in the frame is superimposed may be generated.
この構成によれば、ユーザは、フレーム間で選択された動きベクトルを比較することが可能となる。結果出力部は例えば、各フレームで最も大きい動きベクトルを選択することができる。 According to this configuration, the user can compare the motion vectors selected between frames. For example, the result output unit can select the largest motion vector in each frame.
上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
として画像処理装置を機能させる。
In order to achieve the above object, an image processing program according to an aspect of the present technology is provided.
A motion analysis unit that calculates a motion vector in an analysis target moving image obtained by imaging the analysis target over time;
In the analysis target moving image, an axial direction setting unit that sets an axial direction;
Based on the motion vector and the axial direction, the image processing apparatus functions as an information extracting unit that extracts information on the motion of the analysis target object in the analysis target moving image with respect to the axial direction.
上記目的を達成するため、本技術の一形態に係る画像処理方法は、
動き解析部が、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出し、
軸方向設定部が、上記分析対象動画像において、軸方向を設定し、
情報抽出部が、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する。
In order to achieve the above object, an image processing method according to an embodiment of the present technology includes:
The motion analysis unit calculates a motion vector in the analysis target moving image obtained by imaging the analysis target over time,
The axial direction setting unit sets the axial direction in the analysis target moving image,
The information extraction unit extracts information on the movement of the analysis target object in the analysis target moving image with respect to the axial direction based on the motion vector and the axial direction.
以上のように、本技術によれば、分析対象物の動きの評価が可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することが可能である。 As described above, according to the present technology, it is possible to provide an image processing device, an image processing program, and an image processing method capable of evaluating the motion of an analysis target.
本技術の実施形態に係る画像処理装置について説明する。 An image processing apparatus according to an embodiment of the present technology will be described.
[画像処理装置の機能的構成]
図１は、本実施形態に係る画像処理装置１０の機能的構成を示す模式図である。同図に示すように、画像処理装置１０は、動画像取得部１１、範囲指定部１２、動き解析部１３、軸方向設定部１４、情報抽出部１５及び結果出力部１６を有する。
[Functional configuration of image processing apparatus]
FIG. 1 is a schematic diagram illustrating a functional configuration of an image processing apparatus 10 according to the present embodiment. As illustrated in FIG. 1, the image processing apparatus 10 includes a moving image acquisition unit 11, a range specification unit 12, a motion analysis unit 13, an axial direction setting unit 14, an information extraction unit 15, and a result output unit 16.
動画像取得部１１は、「分析対象動画像」を取得する。分析対象動画像は、分析対象物を経時的に撮像した動画像であり、分析対象動画像は連続的に撮像された複数のフレームから構成される動画や、タイムラプス撮影により撮影された静止画を含む。分析対象物は、細胞や細胞群、あるいは生体組織等であり、動きを有するものであれば本実施形態を適用することができる。分析対象動画像の撮像速度は分析対象に応じて適宜決定することが可能である。 The moving image acquisition unit 11 acquires an “analysis target moving image”. The analysis target moving image is a moving image obtained by capturing the analysis target over time, and the analysis target moving image is a moving image composed of a plurality of continuously captured frames or a still image captured by time-lapse shooting. Including. The analysis object is a cell, a group of cells, a living tissue, or the like, and the present embodiment can be applied as long as it has movement. The imaging speed of the analysis target moving image can be appropriately determined according to the analysis target.
分析対象動画像は、明視野撮像、暗視野撮像、位相差撮像、蛍光撮像、共焦点撮像、多光子励起蛍光撮像、吸収光撮像、乱光撮像等の各種の光学的な撮像方法を利用して撮像された動画像であるものとすることができる。 The analysis target moving image uses various optical imaging methods such as bright field imaging, dark field imaging, phase difference imaging, fluorescence imaging, confocal imaging, multiphoton excitation fluorescence imaging, absorption light imaging, and irregular light imaging. It can be assumed that the moving image is captured in this manner.
図２は、分析対象動画像の例であり、神経細胞を含む動画像である。図３は、神経細胞の動きの例を示す模式図である。神経細胞は、図３のＡに示すような細胞体の振動、Ｂに示すような軸索輸送（軸索における細胞内小器官の輸送）、Ｃに示す軸索の伸張等といった種々の動きを含んでいる。この他にも神経細胞と同様に種々の動きを含む細胞がある。また、細胞自体が動いている場合もあれば、細胞外の環境（周囲の水流等）によって動いている場合もある。本実施形態では、これらの動きの判別が可能である。 FIG. 2 is an example of a moving image to be analyzed, which is a moving image including nerve cells. FIG. 3 is a schematic diagram illustrating an example of movement of a nerve cell. The nerve cell performs various movements such as vibration of the cell body as shown in FIG. 3A, axonal transport as shown in B (transport of intracellular organelles in the axon), axon extension as shown in C, and the like. Contains. In addition to this, there are cells including various movements similar to nerve cells. Further, the cell itself may be moving, or it may be moving due to the extracellular environment (such as the surrounding water flow). In the present embodiment, these movements can be discriminated.
動画像取得部１１は、図示しない撮像装置（顕微鏡撮像装置）から分析対象動画像を取得してもよく、ストレージに格納されている動画像やネットワークから供給された動画像を分析対象動画像として取得するものとすることも可能である。この際、動画像取得部１１は、予め撮像された動画像から、分析対象の種類に応じて所定の周期でサンプリングし、分析対象動画像を取得してもよい。 The moving image acquisition unit 11 may acquire an analysis target moving image from an imaging device (microscope imaging device) (not shown), and a moving image stored in a storage or a moving image supplied from a network is used as an analysis target moving image. It can also be obtained. At this time, the moving image acquisition unit 11 may acquire the analysis target moving image by sampling from a moving image captured in advance at a predetermined cycle according to the type of the analysis target.
範囲指定部１２は、分析対象動画像において分析範囲を指定する。図４は、分析範囲の例を示す模式図である。同図に示すように、範囲指定部１２は、分析対象動画像において分析範囲Ｒを指定する。分析範囲Ｒは、例えば一つの細胞や細胞群を含む範囲とすることができる。また、分析範囲Ｒは、分析対象動画像の全範囲であってもよい。 The range specifying unit 12 specifies an analysis range in the analysis target moving image. FIG. 4 is a schematic diagram illustrating an example of the analysis range. As shown in the figure, the range specifying unit 12 specifies the analysis range R in the analysis target moving image. The analysis range R can be set to a range including, for example, one cell or cell group. The analysis range R may be the entire range of the analysis target moving image.
範囲指定部１２は、ユーザによる操作入力によって指示された範囲を分析範囲Ｒとして指定してもよく、分析対象動画像に対する画像処理によって分析対象物を検出し、その存在する範囲を分析範囲Ｒに指定してもよい。 The range designation unit 12 may designate a range designated by an operation input by the user as the analysis range R, detect an analysis target object by image processing on the analysis target moving image, and set the existing range as the analysis range R. May be specified.
動き解析部１３は、分析範囲Ｒから動きベクトルを算出する。動き解析部１３は、分析範囲Ｒ内に複数の算出区画を設定する。図５は、算出区画の例を示す模式図である。同図に示すように動き解析部１３は、分析範囲Ｒを複数の算出区画Ｄに区画する。 The motion analysis unit 13 calculates a motion vector from the analysis range R. The motion analysis unit 13 sets a plurality of calculation sections within the analysis range R. FIG. 5 is a schematic diagram illustrating an example of calculation sections. As shown in the figure, the motion analysis unit 13 divides the analysis range R into a plurality of calculation sections D.
算出区画Ｄの数や大きさは任意であり、動き解析部１３はユーザによる指定や分析範囲Ｒの大きさに応じて算出区画Ｄを設定するものとすることができる。なお、動き解析部１３は、分析範囲Ｒの全体を一つの算出区画Ｄとしてもよい。 The number and size of the calculation sections D are arbitrary, and the motion analysis unit 13 can set the calculation sections D according to designation by the user and the size of the analysis range R. The motion analysis unit 13 may set the entire analysis range R as one calculation section D.
続いて動き解析部１３は、各算出区画Ｄの動きベクトルを算出する。動き解析部１３は、ブロックマッチングにより各算出区画Ｄの動きベクトルを算出するものとすることができる。図６は、動きベクトルの算出の態様を示す模式図である。 Subsequently, the motion analysis unit 13 calculates a motion vector of each calculation section D. The motion analysis unit 13 can calculate a motion vector of each calculation section D by block matching. FIG. 6 is a schematic diagram illustrating a manner of calculating a motion vector.
同図に示すように動き解析部１３は、分析対象動画像を構成する一つのフレームにおける、特定の算出区画Ｄ（図中算出区画Ｄ１）に含まれる画素群を前のフレームにおける画素群の範囲と比較し、最も一致する画素群の範囲を特定する（図中画素範囲Ｄ２）。なお前のフレームは１フレーム前のフレームであってもよく、複数フレーム前のフレームであってもよい。 As shown in the figure, the motion analysis unit 13 determines a pixel group included in a specific calculation section D (calculation section D1 in the figure) in one frame constituting the analysis target moving image as a range of pixel groups in the previous frame. And the range of the pixel group that most closely matches is specified (pixel range D2 in the figure). The previous frame may be a frame one frame before, or may be a frame a plurality of frames before.
動き解析部１３は、前のフレームにおいて特定した画素範囲Ｄ２から現フレームにおける算出区画Ｄ１へのベクトルを、算出区画Ｄ１の動きベクトル（以下、算出区画ベクトルＢ）として算出するものとすることができる。動き解析部１３は、分析範囲Ｒに含まれる各算出区画Ｄについて、同様に算出区画ベクトルを算出する。 The motion analysis unit 13 can calculate a vector from the pixel range D2 specified in the previous frame to the calculation section D1 in the current frame as a motion vector of the calculation section D1 (hereinafter, calculation section vector B). . The motion analysis unit 13 similarly calculates a calculation section vector for each calculation section D included in the analysis range R.
図７は、各算出区画Ｄにおいて算出された算出区画ベクトルＢの例を示す模式図であり、矢印の方向は算出区画ベクトルＢの方向を、矢印の長さは算出区画ベクトルＢの大きさを表す（点は動きベクトル０を表す）。この各算出区画ベクトルＢは、分析対象動画像のフレーム毎に算出され、したがって分析対象動画像の時刻毎に変動する。なお、動き解析部１３は、ブロックマッチング以外の手法によって算出区画ベクトルＢを算出してもよい。 FIG. 7 is a schematic diagram illustrating an example of the calculated partition vector B calculated in each calculated partition D. The direction of the arrow indicates the direction of the calculated partition vector B, and the length of the arrow indicates the size of the calculated partition vector B. (Dots represent motion vector 0). Each calculated section vector B is calculated for each frame of the analysis target moving image, and thus varies for each time of the analysis target moving image. Note that the motion analysis unit 13 may calculate the calculated section vector B by a method other than block matching.
軸方向設定部１４は、分析範囲Ｒについて軸方向を設定する。図８及び図９は、分析範囲Ｒについて設定された軸方向Ｓを示す模式図である。軸方向設定部１４は、ユーザによって指定された方向を軸方向とすることができる。ユーザは、分析対象動画像において、動きを抽出したい方向を軸方向として設定することができる。 The axial direction setting unit 14 sets the axial direction for the analysis range R. 8 and 9 are schematic diagrams showing the axial direction S set for the analysis range R. FIG. The axial direction setting unit 14 can set the direction specified by the user as the axial direction. The user can set the direction in which the motion is desired to be extracted as the axial direction in the analysis target moving image.
例えば、図８では、神経細胞の軸索に沿って軸方向Ｓが設定されている。また、軸方向設定部１４は、複数の軸方向を設定してもよい。図９は、細胞体の中心から放射状に設定された軸方向Ｓを示す。 For example, in FIG. 8, the axial direction S is set along the axon of the nerve cell. The axial direction setting unit 14 may set a plurality of axial directions. FIG. 9 shows the axial direction S set radially from the center of the cell body.
また、軸方向設定部１４は、分析対象動画像に対する画像処理によって軸方向を設定してもよい。例えば、軸方向設定部１４は、分析対象動画像に含まれる分析対象物を検出してその長辺方向を軸方向に設定し、あるいは分析対象物の中心から放射状に軸方向を設定してもよい。また、軸方向設定部１４は、後述する分析範囲について算出された分析範囲の動きベクトルの方向を軸方向に設定してもよい。 The axial direction setting unit 14 may set the axial direction by image processing on the analysis target moving image. For example, the axial direction setting unit 14 may detect an analysis target included in the analysis target moving image and set the long side direction to the axial direction, or may set the axial direction radially from the center of the analysis target. Good. Further, the axial direction setting unit 14 may set the direction of the motion vector of the analysis range calculated for the analysis range described later in the axial direction.
情報抽出部１５は、算出区画ベクトル及び軸方向に基づいて、分析対象動画像における分析対象物の軸方向に対する動きの情報（以下、動き情報）を抽出する。情報抽出部１５は、動き解析部１３から供給された各算出区画Ｄの算出区画ベクトルＢから、分析範囲Ｒについての動きベクトル（以下、分析範囲ベクトル）を算出することができる。 The information extraction unit 15 extracts motion information (hereinafter, motion information) with respect to the axial direction of the analysis target object in the analysis target moving image based on the calculated section vector and the axial direction. The information extraction unit 15 can calculate a motion vector for the analysis range R (hereinafter referred to as an analysis range vector) from the calculation block vector B of each calculation block D supplied from the motion analysis unit 13.
図１０は、分析範囲ベクトルの算出の態様を示す模式図である。同図に示すように、情報抽出部１５は、分析範囲Ｒに含まれる各算出区画Ｄの算出区画ベクトルＢを加算し、分析範囲ベクトルＣを算出するものとすることができる。 FIG. 10 is a schematic diagram illustrating an aspect of calculating the analysis range vector. As shown in the figure, the information extraction unit 15 can calculate the analysis range vector C by adding the calculation block vectors B of the calculation blocks D included in the analysis range R.
また、情報抽出部１５は、算出区画ベクトルＢのうち、最も動き量（長さ）が大きいものを分析範囲ベクトルとしてもよい。図１１は、分析範囲Ｒについて算出された分析範囲ベクトルＣと軸方向Ｓを示す模式図である。上記のように各算出区画ベクトルＢは分析対象動画像の時刻毎に変動するため、分析範囲ベクトルＣも時刻毎に変動する。 Moreover, the information extraction part 15 is good also considering the thing with the largest motion amount (length) among the calculation division vectors B as an analysis range vector. FIG. 11 is a schematic diagram showing the analysis range vector C and the axial direction S calculated for the analysis range R. As described above, since each calculated section vector B varies with time of the analysis target moving image, the analysis range vector C also varies with time.
情報抽出部１５は、分析範囲ベクトルＣと軸方向Ｓに基づいて、動き情報を抽出する。図１２は、分析範囲ベクトルＣと軸方向Ｓの関係を示す模式図である。情報抽出部１５は、分析範囲ベクトルＣを軸方向Ｓに投影することができる。 The information extraction unit 15 extracts motion information based on the analysis range vector C and the axial direction S. FIG. 12 is a schematic diagram showing the relationship between the analysis range vector C and the axial direction S. As shown in FIG. The information extraction unit 15 can project the analysis range vector C in the axial direction S.
図１２に、投影された分析範囲ベクトル（以下、投影ベクトル）Ｃ'を示す。同図に示すように、情報抽出部１５は、分析範囲ベクトルＣの座標系（Ｘ，Ｙ）を、軸方向Ｓの座標系（ｘ'、Ｙ'）座標系に変換することができる。図１３は、座標系の変換式の例を示す。図１２に示すように、軸方向Ｓと分析範囲ベクトルＣがなす角を角度θとする。 FIG. 12 shows a projected analysis range vector (hereinafter, projection vector) C ′. As shown in the figure, the information extraction unit 15 can convert the coordinate system (X, Y) of the analysis range vector C into a coordinate system (x ′, Y ′) coordinate system in the axial direction S. FIG. 13 shows an example of a coordinate system conversion formula. As shown in FIG. 12, an angle formed by the axial direction S and the analysis range vector C is defined as an angle θ.
情報抽出部１５は、軸方向Ｓに対する分析範囲ベクトルＣの角度を動き情報として抽出することができる。図１４は、軸方向Ｓに対する分析範囲ベクトルＣの角度の時間変化の例を示すグラフである。同図に示すように、角度θは、分析対象動画像の撮像時刻（フレーム）に伴って変動する。 The information extraction unit 15 can extract the angle of the analysis range vector C with respect to the axial direction S as motion information. FIG. 14 is a graph showing an example of the time change of the angle of the analysis range vector C with respect to the axial direction S. As shown in the figure, the angle θ varies with the imaging time (frame) of the analysis target moving image.
角度θの値（絶対値）が大きい場合、分析範囲Ｒに含まれる分析対象物の動きが、軸方向Ｓと一致していないことを示し、角度θの値が小さい場合、分析範囲Ｒに含まれる分析対象物の動きが、軸方向Ｓと一致していることを示す。即ち、この動き情報から、分析対象物の動きの方向が軸方向Ｓに対して一致しているか否かを把握することが可能となる。 When the value (absolute value) of the angle θ is large, it indicates that the movement of the analysis object included in the analysis range R does not coincide with the axial direction S, and when the value of the angle θ is small, it is included in the analysis range R. The movement of the analyzed object coincides with the axial direction S. That is, it is possible to grasp from this movement information whether or not the direction of movement of the analysis object matches the axial direction S.
また、情報抽出部１５は、分析範囲ベクトルＣの軸方向Ｓに対する動き量を動き情報として抽出することができる。情報抽出部１５は、上記投影ベクトルＣ'の動き量（（ｘ',ｙ'）で表される投影ベクトルＣ'の長さ）を分析範囲ベクトルＣの軸方向Ｓに対する動き量とすることができる。図１５は、分析範囲ベクトルＣの、軸方向Ｓに対する動き量（motion)の時間変化の例を示すグラフである。 In addition, the information extraction unit 15 can extract the amount of motion of the analysis range vector C with respect to the axial direction S as motion information. The information extraction unit 15 may use the amount of motion of the projection vector C ′ (the length of the projection vector C ′ represented by (x ′, y ′)) as the amount of motion of the analysis range vector C with respect to the axial direction S. it can. FIG. 15 is a graph illustrating an example of a temporal change in the amount of motion (motion) of the analysis range vector C with respect to the axial direction S.
同図に示すように、軸方向Ｓに対する動き量は、分析対象動画像の撮像時刻（フレーム）に伴って変動する。上記のように軸方向Ｓに対する動き量は、軸方向Ｓに投影された投影ベクトルＣ'の動き量である。このため、分析範囲ベクトルＣの動き量が大きくても、その動き方向が軸方向Ｓと乖離していれば、軸方向Ｓに対する動き量は小さくなる。即ち、この動き情報から、分析対象物の軸方向に対する動きの程度を把握することが可能となる。 As shown in the figure, the amount of movement with respect to the axial direction S varies with the imaging time (frame) of the analysis target moving image. As described above, the amount of motion with respect to the axial direction S is the amount of motion of the projection vector C ′ projected in the axial direction S. For this reason, even if the motion amount of the analysis range vector C is large, if the motion direction deviates from the axial direction S, the motion amount with respect to the axial direction S is small. That is, it is possible to grasp the degree of movement of the analysis object in the axial direction from this movement information.
また、情報抽出部１５は、軸方向Ｓから所定角度内を動き方向とする動き量を動き情報として抽出することができる。情報抽出部１５は、軸方向Ｓとなす角の角度θが所定角度内の分析範囲ベクトルＣの動き量（（ｘ,ｙ）で表される分析範囲ベクトルＣの長さ）を抽出することができる。所定角度（例えば±３０°）は任意であり、予め定められていてもよく、ユーザが設定してもよい。 Further, the information extraction unit 15 can extract a motion amount having a motion direction within a predetermined angle from the axial direction S as motion information. The information extraction unit 15 may extract the amount of motion of the analysis range vector C (the length of the analysis range vector C represented by (x, y)) within which the angle θ formed with the axial direction S is within a predetermined angle. it can. The predetermined angle (for example, ± 30 °) is arbitrary, may be determined in advance, or may be set by the user.
ユーザは、抽出したい動き方向の角度範囲が小さければ狭い角度とし、抽出したい動き方向の角度範囲が大きければ広い角度とすることができる。図１６は、軸方向Ｓから所定角度内の分析範囲ベクトルＣの動き量（motion)の時間変化の例を示すグラフである。所定角度から外れた、即ち、軸方向Ｓとは方向が乖離した分析範囲ベクトルＣの動き量は抽出されないため、ユーザは所望の動き方向についての動き量を把握することが可能となる。 If the angle range of the motion direction to be extracted is small, the user can set a narrow angle, and if the angle range of the motion direction to be extracted is large, the user can set a wide angle. FIG. 16 is a graph showing an example of a time change of the motion amount (motion) of the analysis range vector C within a predetermined angle from the axial direction S. Since the motion amount of the analysis range vector C deviating from the predetermined angle, that is, the direction deviating from the axial direction S is not extracted, the user can grasp the motion amount in the desired motion direction.
なお、上記説明では、情報抽出部１５は、分析範囲Ｒについて算出された分析範囲ベクトルＣについて動き情報を抽出するものとしたが、各算出区画Ｄについて算出された算出区画ベクトルＢ（図７参照）について同様に動き情報を抽出するものとしてもよい。即ち、図１４乃至図１６に示すような動き情報が、各算出区画Ｄ毎に抽出されてもよい。 In the above description, the information extraction unit 15 extracts motion information for the analysis range vector C calculated for the analysis range R. However, the calculation block vector B calculated for each calculation block D (see FIG. 7). Similarly, motion information may be extracted. That is, motion information as shown in FIGS. 14 to 16 may be extracted for each calculation section D.
結果出力部１６は、情報抽出部１５から供給された動き情報を出力し、ユーザに提示する。結果出力部１６は例えば、図１４乃至図１６に示したように、動き情報のグラフを含む画像を生成し、ディスプレイに表示させるものとすることができる。 The result output unit 16 outputs the motion information supplied from the information extraction unit 15 and presents it to the user. For example, as illustrated in FIGS. 14 to 16, the result output unit 16 may generate an image including a graph of motion information and display the image on a display.
また、結果出力部１６は、動き情報を分析対象動画像においてマッピングし、動き情報提示画像を生成してもよい。図１７は、動き情報提示画像の例であり、図１７（ａ）は時刻１における動き情報提示画像、図１７（ｂ）は時刻２における動き情報提示画像である。 Further, the result output unit 16 may map the motion information in the analysis target moving image to generate a motion information presentation image. FIG. 17 shows an example of a motion information presentation image. FIG. 17A shows a motion information presentation image at time 1, and FIG. 17B shows a motion information presentation image at time 2.
図１８は、図１７（ａ）及び（ｂ）に示す動き情報提示画像の元となった分析対象動画像であり、心筋細胞の画像である。上記のように軸方向設定部によって、分析対象動画像の一方向に軸方向Ｓが設定されている。 FIG. 18 is an analysis target moving image that is the basis of the motion information presentation image shown in FIGS. 17A and 17B, and is an image of a cardiomyocyte. As described above, the axial direction S is set in one direction of the analysis target moving image by the axial direction setting unit.
図１７（ａ）及び（ｂ）に示すように、結果出力部１６は、算出区画Ｄ毎に算出区画ベクトルＢの軸方向Ｓに対する動き量を濃淡又は色分け等で表すことができる。図１７（ａ）及び（ｂ）において、白色の区画は軸方向Ｓに対する動き量が大きい算出区画Ｄを示し、黒色の区画は軸方向Ｓに対する動き量が小さい算出区画Ｄを示す。 As shown in FIGS. 17A and 17B, the result output unit 16 can express the amount of motion of the calculated section vector B with respect to the axial direction S for each calculated section D by shading or color coding. In FIGS. 17A and 17B, a white section indicates a calculated section D with a large amount of motion in the axial direction S, and a black section indicates a calculated section D with a small amount of motion in the axial direction S.
図１７（ａ）に示す時刻１の動き情報提示画像は心筋細胞の収縮時のものであり、図１７（ｂ）に示す時刻２の動き情報提示画像は心筋細胞の弛緩時のものである。図１７（ａ）と図１７（ｂ）を比較すると、白色の区画と黒色の区画の分布が異なっている。これは、軸方向に対する動き量が大きい区画が時刻によって異なっていることを示し、この画像から心筋細胞の動きの方向が把握できることがわかる。 The motion information presentation image at time 1 shown in FIG. 17A is that when the cardiomyocytes contract, and the motion information presentation image at time 2 shown in FIG. 17B is that when the cardiomyocytes relax. When comparing FIG. 17A and FIG. 17B, the distribution of the white section and the black section is different. This indicates that sections with a large amount of motion with respect to the axial direction differ depending on the time, and it can be seen that the direction of motion of the cardiomyocytes can be grasped from this image.
また、結果出力部１６は、分析範囲ベクトルＣをユーザに提示してもよい。図１９は、分析範囲ベクトルＣの提示例を示す模式図である。結果出力部１６は、同図に示すように、分析範囲Ｒについて分析対象動画像の異なる時刻に算出された分析範囲ベクトルＣを一つのグラフで提示してもよい。 Further, the result output unit 16 may present the analysis range vector C to the user. FIG. 19 is a schematic diagram illustrating a presentation example of the analysis range vector C. As shown in the figure, the result output unit 16 may present the analysis range vector C calculated for the analysis range R at different times of the analysis target moving image in one graph.
また、結果出力部１６は、分析範囲Ｒについて分析対象動画像の異なる時刻に算出された分析範囲ベクトルＣの先端を結ぶ線Ｄを提示してもよい。線Ｄの形状は分析範囲ベクトルＣの時間変換の傾向を示す。例えば図１９における線Ｄは、左下方向に多く伸張しているが、これは分析範囲Ｒにおいて同方向への動きが大きいことを示す。 Further, the result output unit 16 may present a line D connecting the tips of the analysis range vectors C calculated at different times of the analysis target moving image with respect to the analysis range R. The shape of the line D shows the time conversion tendency of the analysis range vector C. For example, the line D in FIG. 19 extends much in the lower left direction, which indicates that the movement in the same direction is large in the analysis range R.
分析範囲Ｒにおける分析対象動画像の動きが等方的であれば、線Ｄは円形に近い形状となる。即ち、ユーザは、線Ｄの形状を参照することによって、分析範囲Ｒにおける動きの方向を直感的に把握することが可能となる。また、結果出力部１６は、算出区画Ｄ毎に算出された算出区画ベクトルＢを、分析範囲ベクトルＣと同様に提示してもよい。 If the motion of the analysis target moving image in the analysis range R is isotropic, the line D has a shape close to a circle. That is, the user can intuitively grasp the direction of movement in the analysis range R by referring to the shape of the line D. Further, the result output unit 16 may present the calculated section vector B calculated for each calculated section D in the same manner as the analysis range vector C.
また、結果出力部１６は、分析範囲ベクトルＣを分析対象動画像に重畳させた画像を生成し、ユーザに提示してもよい。図２０は、分析範囲ベクトルＣを分析対象動画像に重畳させた画像の例である。 The result output unit 16 may generate an image in which the analysis range vector C is superimposed on the analysis target moving image and present it to the user. FIG. 20 is an example of an image in which the analysis range vector C is superimposed on the analysis target moving image.
同図に示すように、結果出力部１６は、分析範囲ベクトルＣと共に算出区画ベクトルＢを提示してもよく、算出区画ベクトルＢのうち動き量が大きいもののみを提示してもよい。また、結果出力部１６は、算出区画ベクトルＢのうち、分析範囲ベクトルＣと動き方向が同一又は所定角度内のもののみを提示してもよい。 As shown in the figure, the result output unit 16 may present the calculated section vector B together with the analysis range vector C, or may present only the calculated section vector B that has a large amount of motion. Further, the result output unit 16 may present only the calculation section vector B having the same motion direction as the analysis range vector C or within a predetermined angle.
また、結果出力部１６は、所定の算出区画Ｄの算出区画ベクトルＢを分析対象動画像に重畳させ、画像を生成してもよい。図２１は、算出区画ベクトルＢを分析対象動画像に重畳させた画像の例である。同図に示す例では、神経細胞の軸索の先端に相当する算出区画Ｄの算出区画ベクトルＢが分析対象動画像に重畳されている。 The result output unit 16 may generate an image by superimposing the calculated section vector B of the predetermined calculation section D on the analysis target moving image. FIG. 21 is an example of an image in which the calculated section vector B is superimposed on the analysis target moving image. In the example shown in the figure, a calculation section vector B of a calculation section D corresponding to the tip of a nerve cell axon is superimposed on the analysis target moving image.
算出区画ベクトルＢを提示する算出区画Ｄは、ユーザによって指定されたものであってもよく、分析対象動画像に対する画像処理によって決定されたものであってもよい。例えば分析対象動画像に対する画像処理によって伸張する物体が検出されると、結果出力部１６はその先端に位置する算出区画Ｄの算出区画ベクトルＢを提示するものとすることができる。 The calculation section D presenting the calculation section vector B may be specified by the user or may be determined by image processing on the analysis target moving image. For example, when an object that expands is detected by image processing on the analysis target moving image, the result output unit 16 may present the calculated section vector B of the calculated section D located at the tip thereof.
さらに、結果出力部１６は、分析対象動画像における異なるフレームの算出区画ベクトルＢを分析対象動画像に重畳させ、画像を生成してもよい。図２２は、異なるフレームの算出区画ベクトルＢを分析対象動画像に重畳させた画像の例である。 Further, the result output unit 16 may generate an image by superimposing the calculated section vectors B of different frames in the analysis target moving image on the analysis target moving image. FIG. 22 is an example of an image obtained by superimposing the calculated section vectors B of different frames on the analysis target moving image.
結果出力部１６は、あるフレームにおける最も大きい算出区画ベクトルＢ２と、その前のフレームにおける最も大きい算出区画ベクトルＢ１とを分析対象動画像に重畳させることができる。結果出力部１６は、より多数の異なるフレームの算出区画ベクトルＢを提示してもよい。これによりユーザは、分析対象動画像における動きの遷移を把握することができる。 The result output unit 16 can superimpose the largest calculated section vector B2 in a certain frame and the largest calculated section vector B1 in the previous frame on the analysis target moving image. The result output unit 16 may present the calculated partition vector B of a larger number of different frames. Thereby, the user can grasp the transition of the motion in the analysis target moving image.
また、結果出力部１６は、算出区画ベクトルＢ又は分析範囲ベクトルＣを積分することで動きの距離、微分することで動きの加速度を算出し、提示することも可能である。 The result output unit 16 can also calculate and present the motion acceleration by integrating the calculated section vector B or the analysis range vector C to differentiate the distance of the motion.
画像処理装置１０は以上のような機能的構成を有する。上記のように画像処理装置１０においては、分析対象動画像における動きが動きの方向に応じて提示される。このため、分析対象物の動きをその量だけでなく、動きの方向によって評価することが可能となる。 The image processing apparatus 10 has the functional configuration as described above. As described above, in the image processing apparatus 10, the motion in the analysis target moving image is presented according to the direction of the motion. For this reason, it becomes possible to evaluate the motion of the analysis object not only by its amount but also by the direction of the motion.
なお、範囲指定部１２は、分析対象動画像において、分析範囲Ｒを指定するとしたが、分析対象動画像の時刻経過に伴って分析範囲Ｒを移動させてもよい。図２３は、分析範囲Ｒの移動を示す模式図である。分析範囲Ｒ１は、分析対象動画像における所定の時間に設定された分析範囲であり、分析範囲Ｒ２はその後の所定の時間に設定された分析範囲である。 The range specifying unit 12 specifies the analysis range R in the analysis target moving image. However, the analysis range R may be moved with the passage of time of the analysis target moving image. FIG. 23 is a schematic diagram showing the movement of the analysis range R. The analysis range R1 is an analysis range set at a predetermined time in the analysis target moving image, and the analysis range R2 is an analysis range set at a predetermined time thereafter.
同図に示すように範囲指定部１２は、分析範囲Ｒ１を分析範囲ベクトルＣの方向に移動させ、分析範囲Ｒ２を新たな分析範囲とすることができる。分析範囲の移動量は、予め定められた所定量としてもよく、分析範囲ベクトルＣの大きさに応じて調整してもよい。 As shown in the figure, the range designating unit 12 can move the analysis range R1 in the direction of the analysis range vector C and set the analysis range R2 as a new analysis range. The moving amount of the analysis range may be a predetermined amount that is determined in advance, or may be adjusted according to the size of the analysis range vector C.
動き解析部１３は、新たに設定された分析範囲Ｒ２について上記のように動き解析を実施し、算出区画ベクトルを算出するものとすることができる。情報抽出部１５は、その算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて、動き情報を抽出するものとすることができる。 The motion analysis unit 13 may perform motion analysis as described above for the newly set analysis range R2 and calculate a calculated partition vector. The information extraction unit 15 can extract motion information based on the calculated section vector or analysis range vector and the axial direction.
これにより、分析範囲Ｒが所定時刻毎に分析範囲ベクトルの方向に移動するため、分析対象物の動きに追随して動きを評価することが可能となる。例えば、神経細胞の軸索輸送（図３参照）において、輸送物に合わせて分析範囲Ｒを移動させ、その輸送を評価することができる。 Accordingly, since the analysis range R moves in the direction of the analysis range vector at every predetermined time, it is possible to evaluate the movement following the movement of the analysis object. For example, in the axonal transport of nerve cells (see FIG. 3), the analysis range R can be moved according to the transported object, and the transport can be evaluated.
[画像処理装置の動作]
画像処理装置１０の動作について説明する。図２４は、画像処理装置１０の動作を示すフローチャートである。
[Operation of image processing device]
The operation of the image processing apparatus 10 will be described. FIG. 24 is a flowchart showing the operation of the image processing apparatus 10.
同図に示すように、動画像取得部１１が分析対象動画像を取得し（Ｓｔ１０１）、範囲指定部１２が分析範囲を指定する（Ｓｔ１０２）。続いて、動き解析部１３が分析範囲において算出区画ベクトルを算出し（Ｓｔ１０３）、情報抽出部１５が分析範囲ベクトルを算出する（Ｓｔ１０４）。 As shown in the figure, the moving image acquisition unit 11 acquires the analysis target moving image (St101), and the range specifying unit 12 specifies the analysis range (St102). Subsequently, the motion analysis unit 13 calculates a calculation section vector in the analysis range (St103), and the information extraction unit 15 calculates an analysis range vector (St104).
続いて軸方向設定部１４が分析範囲において軸方向を設定（Ｓｔ１０５）する。この際軸方向設定部１４は、分析範囲ベクトルに基づいて軸方向を設定してもよい。続いて情報抽出部１５が算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて動き情報を抽出し（Ｓｔ１０６）、結果出力部１６が動き情報を提示する（Ｓｔ１０７）。 Subsequently, the axial direction setting unit 14 sets the axial direction in the analysis range (St105). At this time, the axial direction setting unit 14 may set the axial direction based on the analysis range vector. Subsequently, the information extraction unit 15 extracts motion information based on the calculated section vector or analysis range vector and the axial direction (St106), and the result output unit 16 presents the motion information (St107).
なお、結果出力部１６は、算出区画ベクトル又は分析範囲ベクトルを分析対象動画像に重畳させた画像を生成してもよい。また、範囲指定部１２は分析対象動画像の時刻の経過に伴い、分析範囲ベクトルに応じて分析範囲を移動させてもよい。 The result output unit 16 may generate an image in which the calculated section vector or the analysis range vector is superimposed on the analysis target moving image. Further, the range specifying unit 12 may move the analysis range according to the analysis range vector with the passage of time of the analysis target moving image.
また、画像処理装置１０は次のように動作をしてもよい。図２５は、画像処理装置１０の別の動作を示すフローチャートである。 Further, the image processing apparatus 10 may operate as follows. FIG. 25 is a flowchart showing another operation of the image processing apparatus 10.
同図に示すように、動画像取得部１１が分析対象動画像を取得し（Ｓｔ１１１）、範囲指定部１２が分析範囲を指定する（Ｓｔ１１２）。続いて、軸方向設定部１４が分析範囲において軸方向を設定（Ｓｔ１１３）する。軸方向設定部１４は、ユーザによる指定又は分析対象動画像に対する画像処理により軸方向を設定することができる。 As shown in the figure, the moving image acquisition unit 11 acquires the analysis target moving image (St111), and the range specifying unit 12 specifies the analysis range (St112). Subsequently, the axial direction setting unit 14 sets the axial direction in the analysis range (St113). The axial direction setting unit 14 can set the axial direction by designation by the user or image processing on the analysis target moving image.
続いて、動き解析部１３が分析範囲において算出区画ベクトルを算出し（Ｓｔ１１４）、情報抽出部１５が分析範囲ベクトルを算出する（Ｓｔ１１５）。続いて情報抽出部１５が算出区画ベクトル又は分析範囲ベクトルと軸方向に基づいて動き情報を抽出し（Ｓｔ１１６）、結果出力部１６が動き情報を提示する（Ｓｔ１１７）。 Subsequently, the motion analysis unit 13 calculates a calculation section vector in the analysis range (St114), and the information extraction unit 15 calculates the analysis range vector (St115). Subsequently, the information extraction unit 15 extracts motion information based on the calculated section vector or analysis range vector and the axial direction (St116), and the result output unit 16 presents the motion information (St117).
なお、結果出力部１６は、算出区画ベクトル又は分析範囲ベクトルを分析対象動画像に重畳させた画像を生成してもよい。また、範囲指定部１２は分析対象動画像の時刻の経過に伴い、分析範囲ベクトルに応じて分析範囲を移動させてもよい。 The result output unit 16 may generate an image in which the calculated section vector or the analysis range vector is superimposed on the analysis target moving image. Further, the range specifying unit 12 may move the analysis range according to the analysis range vector with the passage of time of the analysis target moving image.
[画像処理装置のハードウェア構成]
上記のような画像処理装置１０の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。
[Hardware configuration of image processing device]
The functional configuration of the image processing apparatus 10 as described above can be realized by the following hardware configuration.
図２６は、画像処理装置１０のハードウェア構成を示す模式図である。同図に示すように画像処理装置１０はハードウェア構成として、ＣＰＵ１０１、ＧＰＵ１０２、メモリ１０３、ストレージ１０４及び入出力部（Ｉ／Ｏ）１０５を有する。これらはバス１０６によって互いに接続されている。 FIG. 26 is a schematic diagram illustrating a hardware configuration of the image processing apparatus 10. As shown in FIG. 1, the image processing apparatus 10 includes a CPU 101, a GPU 102, a memory 103, a storage 104, and an input / output unit (I / O) 105 as hardware configurations. These are connected to each other by a bus 106.
ＣＰＵ（Central Processing Unit）１０１は、メモリ１０３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１０３に格納する。ＣＰＵ１０１はマイクロプロセッサであるものとすることができる。 A CPU (Central Processing Unit) 101 controls other configurations according to a program stored in the memory 103, performs data processing according to the program, and stores a processing result in the memory 103. The CPU 101 can be a microprocessor.
ＧＰＵ（Graphic Processing Unit）」１０２は、ＣＰＵ１０１による制御を受けて、画像処理を実行する。ＣＰＵ１０１はＧＰＵ１０２に並列演算処理を実行させ、動きベクトルの算出や動き情報の抽出を高速に行うことが可能である。ＧＰＵ１０２はマイクロプロセッサであるものとすることができる。 A GPU (Graphic Processing Unit) 102 executes image processing under the control of the CPU 101. The CPU 101 can cause the GPU 102 to execute parallel calculation processing and perform motion vector calculation and motion information extraction at high speed. GPU 102 may be a microprocessor.
メモリ１０３はＣＰＵ１０１によって実行されるプログラム及びデータを格納する。メモリ１０３はＲＡＭ（Random Access Memory）であるものとすることができる。 The memory 103 stores programs and data executed by the CPU 101. The memory 103 can be a RAM (Random Access Memory).
ストレージ１０４は、プログラムやデータを格納する。ストレージ１０４はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。 The storage 104 stores programs and data. The storage 104 may be a hard disk drive (HDD) or a solid state drive (SSD).
入出力部１０５は画像処理装置１０に対する入力を受け付け、また画像処理装置１０の出力を外部に供給する。入出力部１０５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェイスを含む。 The input / output unit 105 receives an input to the image processing apparatus 10 and supplies the output of the image processing apparatus 10 to the outside. The input / output unit 105 includes an input device such as a keyboard and a mouse, an output device such as a display, and a connection interface such as a network.
画像処理装置１０のハードウェア構成はここに示すものに限られず、画像処理装置１０の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。 The hardware configuration of the image processing apparatus 10 is not limited to that shown here, and any hardware configuration that can realize the functional configuration of the image processing apparatus 10 may be used. A part or all of the hardware configuration may exist on the network.
なお、本技術は以下のような構成も採ることができる。 In addition, this technique can also take the following structures.
（１）
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
を具備する画像処理装置。
(1)
A motion analysis unit that calculates a motion vector in an analysis target moving image obtained by imaging the analysis target over time;
In the analysis target moving image, an axial direction setting unit that sets an axial direction;
An image processing apparatus comprising: an information extraction unit that extracts information on movement of the analysis target object in the analysis target moving image with respect to the axial direction based on the motion vector and the axial direction.
（２）
上記（１）に記載の画像処理装置であって、
上記軸方向設定部は、上記動きベクトルに基づいて上記軸方向を設定する
画像処理装置。
(2)
The image processing apparatus according to (1) above,
The image processing apparatus, wherein the axial direction setting unit sets the axial direction based on the motion vector.
（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記軸方向設定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記軸方向を設定する
画像処理装置。
(3)
The image processing apparatus according to (1) or (2) above,
The axial direction setting unit performs image processing on the analysis target moving image, and sets the axial direction based on the processing result.
（４）
上記（１）から（３）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記軸方向に対する上記動きベクトルの角度を抽出する
画像処理装置。
(4)
The image processing apparatus according to any one of (1) to (3) above,
The information extraction unit is an image processing apparatus that extracts an angle of the motion vector with respect to the axial direction.
（５）
上記（１）から（４）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記動きベクトルを上記軸方向に投影し、上記軸方向に対する動き量を抽出する
画像処理装置。
(5)
The image processing apparatus according to any one of (1) to (4) above,
The information extraction unit is an image processing apparatus that projects the motion vector in the axial direction and extracts a motion amount with respect to the axial direction.
（６）
上記（１）から（５）のいずれか一つに記載の画像処理装置であって、
上記情報抽出部は、上記軸方向から所定角度内の上記動きベクトルから動き量を抽出する
画像処理装置。
(6)
The image processing apparatus according to any one of (1) to (5) above,
The image processing apparatus, wherein the information extraction unit extracts a motion amount from the motion vector within a predetermined angle from the axial direction.
（７）
上記（１）から（６）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像において分析範囲を指定する範囲指定部をさらに具備し、
上記動き解析部は、上記分析範囲の区画毎に動きベクトルを算出し、
上記情報抽出部は、上記区画毎に算出された動きベクトルに基づいて上記分析範囲についての動きベクトルを算出し、上記分析範囲についての動きベクトルと上記軸方向に基づいて、上記情報を抽出する
画像処理装置。
(7)
The image processing apparatus according to any one of (1) to (6) above,
Further comprising a range designating unit for designating an analysis range in the analysis target moving image,
The motion analysis unit calculates a motion vector for each section of the analysis range,
The information extraction unit calculates a motion vector for the analysis range based on the motion vector calculated for each section, and extracts the information based on the motion vector for the analysis range and the axial direction. Processing equipment.
（８）
上記（１）から（７）のいずれか一つに記載の画像処理装置であって、
上記範囲指定部は、上記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて上記分析範囲を設定する
画像処理装置。
(8)
The image processing apparatus according to any one of (1) to (7) above,
The range specifying unit performs image processing on the analysis target moving image, and sets the analysis range based on a result of the processing.
（９）
上記（１）から（８）のいずれか一つに記載の画像処理装置であって、
上記範囲指定部は、上記分析範囲について算出された動きベクトルに基づいて上記分析範囲を移動させる
画像処理装置。
(9)
The image processing apparatus according to any one of (1) to (8) above,
The image processing apparatus, wherein the range specifying unit moves the analysis range based on a motion vector calculated for the analysis range.
（１０）
上記（１）から（９）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に上記分析範囲について算出された動きベクトルを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
(10)
The image processing apparatus according to any one of (1) to (9) above,
An image processing apparatus further comprising: a result output unit that generates an image in which the motion vector calculated for the analysis range is superimposed on the analysis target moving image.
（１１）
上記（１）から（１０）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に対する画像処理結果に応じて、上記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
(11)
The image processing apparatus according to any one of (1) to (10) above,
An image processing apparatus further comprising: a result output unit that generates an image in which a motion vector selected from the motion vectors calculated for each section is superimposed according to an image processing result for the analysis target moving image.
（１２）
上記（１）から（１１）のいずれか一つに記載の画像処理装置であって、
上記分析対象動画像に、上記分析対象動画像の所定フレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルと、上記分析対象動画像の上記所定フレームより前のフレームにおいて上記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成する結果出力部
をさらに具備する画像処理装置。
(12)
The image processing apparatus according to any one of (1) to (11) above,
A motion vector selected from motion vectors calculated for each section in a predetermined frame of the analysis target moving image and a frame before the predetermined frame of the analysis target moving image for each section in the analysis target moving image. An image processing apparatus further comprising: a result output unit that generates an image in which a motion vector selected from the calculated motion vector is superimposed.
（１３）
分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出する動き解析部と、
上記分析対象動画像において、軸方向を設定する軸方向設定部と、
上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する情報抽出部と
として画像処理装置を機能させる画像処理プログラム。
(13)
A motion analysis unit that calculates a motion vector in an analysis target moving image obtained by imaging the analysis target over time;
In the analysis target moving image, an axial direction setting unit that sets an axial direction;
An image processing program that causes an image processing apparatus to function as an information extraction unit that extracts movement information of the analysis target object in the analysis target moving image with respect to the axial direction based on the motion vector and the axial direction.
（１４）
動き解析部が、分析対象物を経時的に撮像した分析対象動画像において、動きベクトルを算出し、
軸方向設定部が、上記分析対象動画像において、軸方向を設定し、
情報抽出部が、上記動きベクトルと上記軸方向に基づいて、上記分析対象動画像における分析対象物の上記軸方向に対する動きの情報を抽出する
画像処理方法。
(14)
The motion analysis unit calculates a motion vector in the analysis target moving image obtained by imaging the analysis target over time,
The axial direction setting unit sets the axial direction in the analysis target moving image,
An image processing method in which an information extraction unit extracts movement information of the analysis target object in the analysis target moving image with respect to the axial direction based on the motion vector and the axial direction.
１０…画像処理装置
１１…動画像取得部
１２…範囲指定部
１３…動き解析部
１４…軸方向設定部
１５…情報抽出部
１６…結果出力部
DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus 11 ... Moving image acquisition part 12 ... Range designation part 13 ... Motion analysis part 14 ... Axial direction setting part 15 ... Information extraction part 16 ... Result output part
Claims (15)
前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出する動き解析部と、
前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出する情報抽出部と、
前記分析範囲の区画毎に抽出された動き量を出力する結果出力部
を具備する画像処理装置。 A range designating unit for designating an analysis range in an analysis target moving image obtained by imaging an analysis target over time;
In the analysis target moving image, a motion analysis unit that calculates a motion vector for each section of the analysis range;
As the movement information of the analysis target object in the analysis target moving image with respect to the set axial direction, a motion amount is extracted from the motion vector within a predetermined angle from the axial direction, or the analysis range is based on the motion vector An information extraction unit that calculates an analysis range vector that is a motion vector for and extracts a motion amount from the analysis range vector within a predetermined angle from the axial direction;
An image processing apparatus comprising: a result output unit that outputs a motion amount extracted for each section of the analysis range.
前記分析対象動画像において、前記軸方向を設定する軸方向設定部
をさらに具備する画像処理装置。 The image processing apparatus according to claim 1,
An image processing apparatus further comprising an axial direction setting unit configured to set the axial direction in the analysis target moving image.
異なる時刻に抽出された前記軸方向に対する動きの情報の時間変化を出力する結果出力部
をさらに具備する画像処理装置。 The image processing apparatus according to claim 1,
An image processing apparatus, further comprising: a result output unit that outputs temporal changes in movement information with respect to the axial direction extracted at different times.
前記軸方向設定部は、前記動きベクトルに基づいて前記軸方向を設定する
画像処理装置。 The image processing apparatus according to claim 2,
The image processing apparatus, wherein the axial direction setting unit sets the axial direction based on the motion vector.
前記軸方向設定部は、前記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて前記軸方向を設定する
画像処理装置。 The image processing apparatus according to claim 2,
The axial direction setting unit performs image processing on the analysis target moving image, and sets the axial direction based on the processing result.
前記情報抽出部は、前記軸方向に対する前記動きベクトルの角度を抽出する
画像処理装置。 The image processing apparatus according to claim 1,
The information extraction unit is an image processing apparatus that extracts an angle of the motion vector with respect to the axial direction.
前記情報抽出部は、前記動きベクトルを前記軸方向に投影し、前記軸方向に対する動き量を抽出する
画像処理装置。 The image processing apparatus according to claim 1,
The information extraction unit is an image processing apparatus that projects the motion vector in the axial direction and extracts a motion amount with respect to the axial direction.
前記範囲指定部は、前記分析対象動画像に対して画像処理を実行し、その処理結果に基づいて前記分析範囲を設定する
画像処理装置。 The image processing apparatus according to claim 1,
The range specifying unit performs image processing on the analysis target moving image, and sets the analysis range based on a processing result.
前記範囲指定部は、前記分析範囲について算出された動きベクトルの方向に前記分析範囲を移動させる
画像処理装置。 The image processing apparatus according to claim 1,
The range specifying unit moves the analysis range in the direction of a motion vector calculated for the analysis range.
前記結果出力部は、前記分析対象動画像に前記分析範囲について算出された動きベクトルを重畳させた画像を生成する
画像処理装置。 The image processing apparatus according to claim 1,
The result output unit generates an image in which a motion vector calculated for the analysis range is superimposed on the analysis target moving image.
前記結果出力部は、前記分析対象動画像に対する画像処理結果に応じて、前記区画毎に算出された動きベクトルから選択した動きベクトルを重畳させた画像を生成する
画像処理装置。 The image processing apparatus according to claim 1,
The result output unit generates an image in which a motion vector selected from motion vectors calculated for each section is superimposed according to an image processing result for the analysis target moving image.
前記結果出力部は、前記分析対象動画像に、前記分析対象動画像の所定フレームにおいて前記区画毎に算出された動きベクトルから選択した動きベクトルと、前記分析対象動画像の前記所定フレームより前のフレームにおいて前記区画毎に算出された動きベクトルから選択した動きベクトルとを重畳させた画像を生成する
画像処理装置。 The image processing apparatus according to claim 1,
The result output unit includes a motion vector selected from the motion vectors calculated for each of the sections in a predetermined frame of the analysis target moving image, and the analysis target moving image before the predetermined frame of the analysis target moving image. Generate an image in which a motion vector selected from motion vectors calculated for each section in a frame is superimposed.
Images processing device.
前記分析対象物は、心筋細胞又は神経細胞である
画像処理装置。 The image processing apparatus according to claim 1,
The image processing apparatus is an object to be analyzed is a cardiomyocyte or a nerve cell.
前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出する動き解析部と、
前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出する情報抽出部と、
前記分析範囲の区画毎に抽出された動き量を出力する結果出力部
として画像処理装置を機能させる画像処理プログラム。 In the analysis target moving image obtained by imaging the analysis target over time, a range specifying unit for specifying the analysis range,
In the analysis target moving image, a motion analysis unit that calculates a motion vector for each section of the analysis range;
As the movement information of the analysis target object in the analysis target moving image with respect to the set axial direction, a motion amount is extracted from the motion vector within a predetermined angle from the axial direction, or the analysis range is based on the motion vector An information extraction unit that calculates an analysis range vector that is a motion vector for and extracts a motion amount from the analysis range vector within a predetermined angle from the axial direction;
An image processing program that causes an image processing apparatus to function as a result output unit that outputs a motion amount extracted for each section of the analysis range.
動き解析部が、前記分析対象動画像において、前記分析範囲の区画毎に動きベクトルを算出し、
情報抽出部が、前記分析対象動画像における分析対象物の設定された軸方向に対する動きの情報として、前記軸方向から所定角度内の前記動きベクトルから動き量を抽出する、又は、前記動きベクトルに基づいて前記分析範囲についての動きベクトルである分析範囲ベクトルを算出して前記軸方向から所定角度内の前記分析範囲ベクトルから動き量を抽出し、
結果出力部が、前記分析範囲の区画毎に抽出された動き量を出力する
画像処理方法。 The range specification unit specifies the analysis range in the analysis target moving image obtained by imaging the analysis target over time,
A motion analysis unit calculates a motion vector for each section of the analysis range in the analysis target moving image,
The information extraction unit extracts a motion amount from the motion vector within a predetermined angle from the axial direction as the motion information with respect to the set axial direction of the analysis target in the analysis target moving image, or Calculating an analysis range vector that is a motion vector for the analysis range based on the analysis range vector within the predetermined angle from the axial direction,
An image processing method in which a result output unit outputs a motion amount extracted for each section of the analysis range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019004421A JP6658926B2 (en) | 2019-01-15 | 2019-01-15 | Image processing apparatus, image processing program, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019004421A JP6658926B2 (en) | 2019-01-15 | 2019-01-15 | Image processing apparatus, image processing program, and image processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014165564A Division JP6467813B2 (en) | 2014-08-15 | 2014-08-15 | Image processing apparatus, image processing program, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019053791A true JP2019053791A (en) | 2019-04-04 |
| JP6658926B2 JP6658926B2 (en) | 2020-03-04 |
Family
ID=66013875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019004421A Active JP6658926B2 (en) | 2019-01-15 | 2019-01-15 | Image processing apparatus, image processing program, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6658926B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006208171A (en) * | 2005-01-27 | 2006-08-10 | Mitsubishi Electric Corp | Flow rate measuring device |
| WO2007066684A1 (en) * | 2005-12-07 | 2007-06-14 | Effector Cell Institute, Inc. | Method of measuring cell motility and system therefor |
| WO2011122200A1 (en) * | 2010-03-29 | 2011-10-06 | ソニー株式会社 | Data processing device, data processing method, image processing device, image processing method, and program |
| WO2014102449A1 (en) * | 2012-12-27 | 2014-07-03 | Tampereen Yliopisto | Visual cardiomyocyte analysis |
| US20140226069A1 (en) * | 2013-02-14 | 2014-08-14 | Sony Corporation | Analyzing system, analyzing program and analyzing method |
-
2019
- 2019-01-15 JP JP2019004421A patent/JP6658926B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006208171A (en) * | 2005-01-27 | 2006-08-10 | Mitsubishi Electric Corp | Flow rate measuring device |
| WO2007066684A1 (en) * | 2005-12-07 | 2007-06-14 | Effector Cell Institute, Inc. | Method of measuring cell motility and system therefor |
| WO2011122200A1 (en) * | 2010-03-29 | 2011-10-06 | ソニー株式会社 | Data processing device, data processing method, image processing device, image processing method, and program |
| WO2014102449A1 (en) * | 2012-12-27 | 2014-07-03 | Tampereen Yliopisto | Visual cardiomyocyte analysis |
| US20140226069A1 (en) * | 2013-02-14 | 2014-08-14 | Sony Corporation | Analyzing system, analyzing program and analyzing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6658926B2 (en) | 2020-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6467813B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| JP4939968B2 (en) | Surveillance image processing method, surveillance system, and surveillance image processing program | |
| JP2016167251A (en) | Information processor, program, information processing method and observation system | |
| JP2020103880A5 (en) | ||
| WO2021147905A1 (en) | Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium | |
| GB2315124A (en) | Real time tracking of camera pose | |
| Muelder et al. | Interactive feature extraction and tracking by utilizing region coherency | |
| JP2014203038A (en) | Analysis apparatus, analysis program, and analysis system | |
| JP6578950B2 (en) | Analysis system, analysis program, and analysis method | |
| Bursic et al. | A quantitative evaluation framework of video de-identification methods | |
| JP6658926B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| JP5513038B2 (en) | 3D cell image analyzer | |
| Weyers et al. | Visualization of memory access behavior on hierarchical NUMA architectures | |
| Zhang et al. | 4D Light-sheet imaging and interactive analysis of cardiac contractility in zebrafish larvae | |
| WO2017169397A1 (en) | Image processing device, image processing method, and image processing system | |
| JP2022524787A (en) | Methods, systems, and programs for object detection range estimation | |
| Mallat et al. | Robust face authentication based on dynamic quality-weighted comparison of visible and thermal-to-visible images to visible enrollments | |
| Georgiev et al. | Real-time 3d scene description using spheres, cones and cylinders | |
| WO2010098211A1 (en) | Contour definition device and contour definition method, and program | |
| Wlodek et al. | Achieving 3D imaging through focus stacking | |
| JP2014036728A (en) | Eyelash analysis device, eyelash analysis method, and eyelash analysis program | |
| Hatimi et al. | New approach for detecting and tracking a moving object | |
| Morar et al. | GPU accelerated 2D and 3D image processing | |
| CN112150461B (en) | Method and apparatus for assessing head-to-tail sharpness of a cell image | |
| Martin et al. | Real time tracking of borescope tip pose |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6658926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |