JP2007293720A - 動状態解析システム及び方法、並びにコンピュータプログラム - Google Patents

Abstract

【課題】動状態解析システムにおいて、画像の動状態或いは変化状態を高精度で解析できるようにする。
【解決手段】動状態解析システム（１００）は、時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像の差分を、画素単位で演算する差分演算部（１１１）と、画像上における少なくとも一方向に交わる配列をなす複数の画素についての、該演算された差分の平均値や最大値などの差分統計値を、前記一方向に沿った座標軸上の各点に対応付けて演算する差分統計値演算手段（１１２）と、該演算された差分統計値を、座標軸と時間軸又は数量軸とで張られた面に置くことで、解析用画像を生成する解析用画像生成手段（１１３）とを備える。
【選択図】図１

Description

本発明は、例えば時間に対して動く画像や、時間と相関関係にある数量軸に対して変化する画像における動状態や変化状態を解析する動状態解析システム及び方法、並びにコンピュータプログラムに関する。

この種の動状態解析システムは、伝統的な動状態数値化法の一つである「時空間画像法」を用いる。時空間画像法を用いる場合、水平座標軸及び垂直座標軸で張られる二次元平面の濃度値画像を第三軸としての時間軸上に並べることにより得られる時空間画像の水平又は垂直方向で時間軸に沿った方向に切断して得られる時空間断面画像をパターン解析して得られる数値で、動状態を記述している。このような方法の一種である「時系列差分画像法」では特に、時系列上の二枚の画像の差分をとり、画像内の変化のある部分のみを抽出し、その差分画像をパターン解析することにより動状態を数値化している。

従来この種の動状態解析システムとしては、例えば車両における自動操縦や操縦支援を行う技術分野において、車載カメラで捕らえた画像中における動状態数値化の対象物を、パターン認識技術によって特定した上で、その対象物の動きを上記数値化方法により数値化するシステムが開発されている（特許文献１参照）。

加えて、このような動状態数値化システムは、例えば、プラズマディスプレイにおける蛍光体の層厚や層間ギャップの測定、積層フィルムから構成される偏光板の温度による層厚変化の測定など、積層構造の層断面計測システムの主要部としても機能する。ここでは、計測対象物の表面に垂直な方向（言い換えれば、深度方向）を走査方向として、一定走査速度で撮像される複数の表面画像或いは光学界面画像を、上述の如き動画を構成する連続画像に見立ててその動状態を解析すれば、実際には動状態ではなく、複数の表面画像或いは光学界面画像における各層の変化状態を解析できる訳である。

特開２００１―１７５８４５号公報

しかしながら、上述した背景技術によれば、画像或いは画像データにおけるS/N（Signal to Noise）比が必ずしも十分高くないという技術的問題点がある。例えば、前述の時系列差分画像法によれば、差分或いは差分値における雑音成分が相対的に大きいため、この雑音成分が大なり小なり差分画像をパターン解析する際の障害となっている。また特許文献１の如く、対象物をパターン認識した上で、その対象物の動きを追うことで動状態を数値化するシステムの場合には、そもそも対象物を特定しない限り、そのような数値化はできないという技術的問題点もある。

加えて、前述した層断面計測システムによれば、画像を取得する際に干渉プロファイルを用いるのが通常であり、その感度が一般に悪い或いは信号が微弱であることに起因して、数値化する際の雑音が顕著である。この結果、層厚や層間ギャップを精度良く計測することは困難或いは実践上不可能であるという技術的問題点がある。

本発明は上述の問題点に鑑み成されたものであり、例えば画像の動状態或いは変化状態を高精度で解析可能である動状態解析システム及び方法、並びにコンピュータをそのようなシステムとして機能させるコンピュータプログラムを提供することを課題とする。

本発明の動状態解析システムは上記課題を解決するために、時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像の差分を、画素単位で演算する差分演算手段と、前記画像上における少なくとも一方向に交わる配列をなす複数の画素についての、前記演算された差分の平均値、前記演算された差分の最大値及び前記演算された差分が閾値以上となる画素の個数のうち少なくとも一つである、差分統計値を、前記一方向に沿った座標軸上の各点に対応付けて演算する差分統計値演算手段と、該演算された差分統計値を、前記座標軸と前記時間軸又は前記数量軸とで張られた面に置くことで、解析用画像を生成する解析用画像生成手段とを備える。

本発明の動状態解析システムによれば、時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像を含む、複数の画像が動状態解析の対象となる。このような少なくとも二枚の画像は、例えば細胞の活性度評価用、車両の自動操縦用、手話入力用の動画を構成しており、時間軸上にて一定間隔で撮像或いは取得、入力、生成等される複数のフレーム画像のうち、相前後する少なくとも二枚のフレーム画像である。或いは、このような少なくとも二枚の画像は、例えば層断面解析用の走査線（典型的には、積層構造の表面に垂直な方向、即ち深度方向に設定された走査線）に沿って配列された複数の静止画を構成しており、このような走査線に沿って一定速度で連続的或いは間欠的な走査を行うことで取得される複数の表面図或いは光学界面図（典型的には、積層構造における各深度における光学界面図）のうち、相前後して取得される少なくとも二枚の表面図或いは光学界面図である。

解析時には先ず、例えばプロセッサ、メモリ等を備えてなる、差分演算手段によって、時間軸又は数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像の差分が、画素単位で演算される。ここに「少なくとも二枚の画像の差分」とは、少なくとも二枚の画像間で、同一画素（即ち、同一位置或いは同一アドレスの画素）における、単色の又はRGB系やCMY系等のカラー各色の、濃度情報、輝度情報、彩度情報、色彩情報、色調情報等の、画像を規定するパラメータの差分或いは差分値を意味する。この際、「二枚の画像の差分」或いは「二枚のみの画像の差分」とは、一の画像における特定画素について、前又は後にある他の画像における同一の特定画素との間での、演算の対象となるパラメータについての差分或いは差分値である。そして「三枚以上の画像の差分」とは、一の画像における特定画素について、前又は後にある他の複数の画像における同一の特定画素との間での、演算の対象となるパラメータについての平均値等の基準値（即ち、３枚以上の画像における特定画素のパラメータに基づく基準値）からのズレとしての、差分或いは差分値である。単純な場合には、二枚の画像間での白黒表示における濃度の差分が、演算される。また、このような差分が演算される画像は、デジタル画像でもよいし、アナログ画像でもよい。更に、本発明に係る「差分」或いは「差分値」とは、時間軸や数量軸に対する微小変化である「微分」或いは「微分値」を含む概念である。このように本発明に係る「差分」とは、狭義には、二枚の画像間における同一画素についての演算の対象となるパラメータの単純な差分を意味し、広義には、三枚以上の画像間における同一画素についての演算の対象となるパラメータの基準値からの差分或いはズレも意味し得る。

続いて、例えばプロセッサ、メモリ等を備えてなる、差分統計値演算手段によって、画像上における一方向に沿って設定された座標軸の各点において、該一方向に交わる（例えば、直交する）配列をなす複数の画素の差分統計値が演算される。ここに「一方向」は、例えば一枚の画像であるビットマップ画像やラスター画像における、該一枚の画像の水平方向、垂直方向、水平垂直の両方向、斜めなどの任意の方向或いは任意の二方向などであり、好ましくは当該動状態解析システムの解析対象となる動画の性質に応じて適宜に設定される性質のものである。また、このような画素の配列は、典型的には、同一画像、即ち同一時刻の画像或いは同一機会に取得された画像を構成する、画素の配列であり、該一方向に交わる一次元配列（即ち、一列の画素列）でもよいし、このような一次元配列を含む又は同一画像内で平面的に広がる２次元配列（即ち、複数列の画素列又は所定平面エリア内の画素群）であってもよい。言い換えれば、係る画素の配列は、一つの画像上において上記一方向に交わる方向に延びる線分上に少なくとも位置する。

但し、このような画素の配列は、複数の画像を時間軸又は前記数量軸に沿って配列した場合における、該複数の画像に跨るものであってもよい。即ち、このような画素の配列は、典型的には、同一画像上における一次元的な配列又は二次元的な配列であるが、複数の画像に跨る一次元的な配列、二次元的な配列又は三次元的な配列であってもよい。本発明に係る「差分統計値」は、差分の平均値、差分の最大値及び演算された差分が閾値以上となる画素の個数のうち、少なくとも一つである。差分に係る、これら平均値等以外の統計値として知られている既存の統計値を、ここでの差分統計値として用いることも可能である。

続いて、例えばプロセッサ、メモリ等を備えてなる、解析用画像生成手段によって、該演算された差分統計値が、座標軸と時間軸又はこれと相関関係にある数量軸とで張られた面に置かれることで、解析用画像が生成される。ここでは、例えば座標軸と時間軸（又は数量軸）との二次元平面上の各点に、差分統計値が値により異なる色濃度やカラーなどで示される、解析用画像が生成される。数学的には、係る座標軸と時間軸（又は数量軸）とを二つの直交軸とする二次元平面上の各点について対応する差分統計値が割り当てられ、言い換えれば、係る二次元平面に対して更にこれに垂直な第３の軸として差分統計値を示す数量軸が設定され、係る二次元平面の各点における差分統計値の大小に応じて変化する色や濃度等が各点に割り当てられることとなり、これにより、色や濃度等のパターンが顕在化される。ここでは特に、例えば、積層構造に係る複数の表面図或いは光学界面図を元として、座標軸（即ち、X軸又はY軸）と、時間軸と相関関係にある数量軸としての深度方向に延びる軸（即ち、Z軸）とで張られた断面図が、解析用画像として生成されることになる。このように生成される解析用画像を、例えばこの解析用画像をパターン解析するパターン解析手段によって自動で又は解析者の目視によって、パターン解析することで、元となる画像（即ち、一連の静止画からなる動画や、一つの積層構造に係る複数の表面図或いは光学界面図）における動状態或いは変化状態を解析可能となる。

このような一連の処理の中で、差分統計値演算手段によって差分統計値を演算する際には特に、画像或いは画像データにおけるランダムな又はランダム性が相対的に高いノイズ成分を、画像或いは画像データにおけるランダム性が相対的に低い信号成分に対して、相対的に弱めることができる。即ち、平均値、最大値又は差分が閾値以上となる画素の個数である、本発明に係る「差分統計値」は、単なる差分値或いは単なる微分値と比べて、S/N比率が高い。言い換えれば、画像或いは画像データにおける信号成分が微弱であっても、差分統計値を、演算する段階で、信号成分を相対的に強めている。逆に言えば、本発明に係る「差分統計値」は、これら平均値、最大値又は差分が閾値以上となる画素の個数に限らず、多少なりとも差分そのものと比べて、S/N比率が高くなるように或いは信号成分が相対的に強められるように該差分が統計処理された値であればよいことになる。

特に本発明では、差分統計値の一例として差分の「平均」を用いることで、前述の通りS/N比を向上させ、視野内で均一であるが微弱な動状態を顕著な信号として抽出できる。

差分統計値の他の例として差分の「最大値」を用いることで、視野内で局所的に発生する動状態を信号として抽出できる。尚、この場合に、差分の「平均」を用いると、動状態が局所的であるが故に、抽出される信号は弱められてしまう。

更に、差分統計値の他の例として差分に係る「閾値以上となる画素の個数」を用いることで、差分が極端に大きい動状態の信号と閾値以上で相対的に小さい動状態の信号とを、同じ重みとして扱うことができるため、相対的に小さい動状態の信号が、極端に大きい動状態の信号に隠れてしまうことを防止できる。尚、この場合に、前述の差分の「平均」や「最大値」を用いると、相対的に弱い動状態の信号が極端に大きい動状態の信号に隠されてしまう。

以上の結果、解析用画像生成手段により生成される解析用画像上では、元の画像上で各画素の濃度等そのものや、特に二枚の画像間の画素単位での差分そのものを直接解析する場合に比較して、画像或いは画像データにおけるノイズ成分が大きくても、より高精度で、画像の動状態或いは変化状態を解析可能となる。

従って、このような動状態解析システムを例えば、細胞の活性度評価システムに適用すれば、高精度で細胞の活性度を評価でき、自動操縦用システムに適用すれば、高精度で動く物体の状態を評価でき、手話入力用システムに適用すれば、高精度で手話入力或いは手話解読を行うことができる。或いは、このような動状態解析システムを例えば、層断面解析システムに適用すれば、高精度で層断面を解析することができ、より具体的には、高精度で層厚や層間ギャップを計測でき、高精度で層厚の温度変化を計測できる。

特に本発明によれば、動く物体の状態を解析するために、先ず動く物体を特定する必要がない。言い換えれば、動く物体を特定すること自体も解析の一環として可能である。このように、先ず動く物体を特定する必要がある、従来の自動操縦用システムにおける時空間断面画像のパターン解析技術と比べて、本発明は格段に優れている。

本発明の動状態解析システムの一態様では、前記生成された解析用画像を、パターン解析するパターン解析手段を更に備える。

この態様によれば、例えばプロセッサ、メモリ等を備えてなる、パターン解析手段によって、解析用画像生成手段により生成された解析用画像を、自動的に解析可能となり、実践上有利である。例えば、パターン解析手段によって、細胞の活性度、動く物体の特定やその動状態、手話入力或いは手話解読、層厚計測、層間ギャップ計測、層厚変化の計測等を、解析用画像上で自動的に実行可能となる。

本発明の動状態解析システムの他の態様では、動画を撮像して複数の画像を生成する撮像手段を更に備え、前記差分演算手段は、前記複数の画像に含まれる前記少なくとも二枚の画像の差分を演算する。

この態様によれば、例えば、光学顕微鏡、車載カメラ、テレビカメラ等を含んでなる撮像手段によって、動画が撮像され、時間軸上で所定間隔或いは一定間隔で並ぶ複数の画像が生成される。すると、差分演算手段によって、係る複数の画像に含まれる少なくとも二枚の画像の差分が各画素について演算され、更に、差分統計値演算手段による演算及び解析用画像生成手段による解析用画像の生成が行われる。従って高精度で、例えば、細胞の活性度の評価、動く物体の状態の評価、手話入力或いは手話解読等を、実行可能となる。

本発明の動状態解析システムの他の態様では、前記差分演算手段は、前記数量軸に代えて、当該動状態解析システムの解析対象である積層体の表面に垂直に設定された走査線上における距離と相関関係にある数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像の差分を、画素単位で演算する。

この態様によれば、差分演算手段によって、例えば透明な多層構造体である、積層体の表面に垂直に（即ち、積層体における深度方向に沿って）設定された走査線上における距離と相関関係にある数量軸上で、所定間隔をおいて並ぶ少なくとも二枚の画像の差分が演算される。更に、差分統計値演算手段による演算及び解析用画像生成手段による解析用画像の生成が行われる。このように当該動状態解析システムの解析対象が、時間軸上や時間と相関関係にある数量軸上で等間隔や所定間隔で並ぶ画像でなくとも、即ち、時間軸上で不規則に或いは不等間隔に並ぶ画像、更に時間軸上で前後に錯綜して或いはランダムに取得される画像等の、時間軸と相関関係にない数量軸上で所定間隔をおいて並ぶ画像であっても、差分統計値を用いることで、高精度で動状態を解析可能となる。

本発明の動状態解析システムの他の態様では、当該動状態解析システムの解析対象である積層体の表面に垂直に設定された走査線上に配列された複数の測定点で前記積層体内からの可視光を含む電磁波を受信することで、複数の画像を生成する撮像手段を更に備え、前記差分演算手段は、前記複数の画像に含まれる前記少なくとも二枚の画像の差分を演算する。

この態様によれば、例えば、参照光との干渉を利用した光学顕微鏡等を含んでなる撮像手段によって、典型的には透明な多層構造体である、積層体の表面に垂直に（即ち、積層体における深度方向に沿って）設定された走査線上に配列された複数の測定点で、係る積層体内から電磁波が受信される。このような可視光の受光等の電磁波の受信や受光は、典型的には、撮像手段がその焦点位置や撮像位置を、走査線に沿って等速度或いは規則的に移動することで、連続的或いは断続的に行われる。このような走査を伴う撮像によって、時間軸と相関関係を持つ数量軸上で所定間隔或いは一定間隔で並ぶ複数の画像が生成される。すると、差分演算手段によって、係る複数の画像に含まれる少なくとも二枚の画像の差分が各画素について演算され、更に、差分統計値演算手段による演算及び解析用画像生成手段による解析用画像の生成が行われる。従って、高精度で、例えば層断面の解析等を実行可能となる。

本発明の動状態解析方法は上記課題を解決するために、時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像の差分を、画素単位で演算する差分演算工程と、前記画像上における少なくとも一方向に交わる配列をなす複数の画素についての、前記演算された差分の平均値、前記演算された差分の最大値及び前記演算された差分が閾値以上となる画素の個数のうち少なくとも一つである、差分統計値を、前記一方向に沿った座標軸上の各点に対応付けて演算する差分統計値演算工程と、該演算された差分統計値を、前記座標軸と前記時間軸又は前記数量軸とで張られた面に置くことで、解析用画像を生成する解析用画像生成工程とを備える。

本発明の動状態解析方法によれば、上述した本発明の動状態解析システムの場合と同様に、より高精度で画像の動状態を解析可能となる。

尚、本発明の動状態解析方法においても、上述した本発明の動状態解析システムにおける各種態様と同様の各種態様を採ることが可能である。

本発明のコンピュータプログラムは上記課題を解決するために、コンピュータを上述した本発明に係る動状態解析システム（但し、その各種態様を含む）として機能させる。

本実施形態のコンピュータプログラムによれば、当該コンピュータプログラムを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体から、当該コンピュータプログラムを、動状態解析システムに備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを通信手段を介してダウンロードさせた後に実行させれば、上述した本発明に係る動状態解析システムを比較的簡単に構築できる。これにより、上述した本発明に係る動状態解析システムの場合と同様に、より高精度で画像の動状態を解析可能となる。

本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされよう。

以下、本発明の実施形態を図面に基づいて説明する。

＜第1実施形態＞
本発明の動状態解析システム及び方法、或いは、コンピュータを動状態解析システムとして機能させることが可能なコンピュータプログラム（以下、適宜、単にプログラムと称することもある）に係る第１実施形態を、図１から図７を参照して説明する。

先ず、図１を参照して、本実施形態に係る動状態解析システムの構成について説明する。図１は、本実施形態に係る動状態解析システムのブロック図である。

図1において、動状態解析システム１００は、制御部１００ｃ及び撮像装置１０１を備える。制御部１００ｃは、フレームバッファ１０２、差分演算部１１１、差分統計値演算部１１２、解析用画像生成部１１３、及びパターン解析部１１４を備える。動状態解析システム１００は更に、表示装置１１６、プリンタ１１７、及び記憶装置１１８を備えて構成されている。

撮像装置１０１は、本発明に係る「撮像手段」の一例であり、例えばCCDカメラ等からなる車載カメラ、倒立型光学顕微鏡、テレビカメラ、ビデオカメラ等から構成されている。撮像装置１０１は、動画や、連続写真或いは連続顕微鏡写真を撮像し、時間軸上で所定間隔或いは一定間隔で並ぶ複数の画像を生成するように構成されている。

フレームバッファ１０２は、このように生成された動画等を、例えばフレーム画像の単位で逐次蓄える。或いは、連続写真を一枚ずつ逐次蓄える。より具体的には、フレームバッファ１０２は、時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ二枚の画像を含む、複数の画像を、少なくとも一枚ずつ或いは複数枚ずつ蓄える。

差分演算部１１１は、本発明に係る「差分演算手段」の一例であり、フレームバッファ１０２に蓄えられており、時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ二枚の画像の差分を、画素単位で演算するように構成されている。

差分統計値演算部１１２は、本発明に係る「差分統計値演算手段」の一例であり、画像上における少なくとも一方向に交わる配列をなす複数の画素についての、差分演算部１１１により演算された差分の差分統計値を、係る一方向に沿った座標軸上の各点に対応付けて演算するように構成されている。

ここで、このような座標軸について、図２を参照して説明を加える。ここに図２は、時間軸上で所定間隔をおいて並ぶ複数のフレーム画像における、一方向或いは座標軸、及び画素の配列を図式的に示す概念図である。

図２において、動画（又は連続写真或いは連続顕微鏡写真）DMは、時間軸t上における各時刻t1, t2,…, ti,…, tnに取得された複数のフレーム画像DM1, DM2,…, DMi,…, DMnから構成されている。ここで、フレーム画像DM1に着目すると、そのｙ軸に沿う方向を本発明に係る「一方向」の一例として、座標軸５０１をフレーム画像DM1上に定義すると共にこれに直交する座標軸５０３をフレーム画像DM1上に定義する。ここでは特に、フレーム画像DM1におけるｘ方向の中心線の位置に、座標軸５０１を定義する。すると、このフレーム画像DM1上にある各画素P（t1, x, y）についての差分は、この画素P（t1, x, y）の値（例えば、色別の濃度値）と、フレーム画像DM2上にある対応する画素P（t2, x, y）の値との差となる。即ち、差分演算部１１１（図１参照）により、このような差分が、フレーム画像DM1上にある座標軸５０３上の各画素Pについて逐次演算されることとなり、更に、差分統計値演算部１１２により、座標軸５０１上にある画素P（t1, xｃ, y）についての差分統計値が、座標軸５０３上にある複数の画素Pの差分を用いての差分統計値として演算される。更に、このような座標軸５０１上にある画素P（t1, xｃ, y）の差分統計値の演算を各ｙに対して行うことで、即ち図２において座標軸５０３を座標軸５０１に沿って上下に移動させつつ座標軸５０１上にある画素P（t1, xｃ, y）についての差分統計値の演算を、該座標軸５０３上にある複数の画素Pの差分を用いて行うことで、一枚のフレーム画像DM1におけるｘ方向の中心線である座標軸５０１上の各画素P（t1, xｃ, y）についての差分統計値が得られる。更に、このような演算を、複数のフレーム画像DM1, DM2,…, DMi,…, DMnについて同様に行うことで、最終的には、各フレーム画像DMiにおけるｘ方向の中心線である座標軸５０１上の各画素P（t1, xｃ, y）についての差分統計値が得られる。

再び図1に戻り、差分統計値演算部１１２は、画素P（t1, xｃ, y）に対する差分統計値として、座標軸５０３上にある複数の画素Pの差分の平均値又は最大値を演算するように構成されている。或いは、座標軸５０３上にある複数の画素Pの中で、差分が閾値以上となる画素の個数を、差分統計値として演算してもよい。

解析用画像生成部１１３は、本発明に係る「解析用画像生成手段」の一例であり、差分統計値演算部１１２により演算された差分統計値を、座標軸５０１と時間軸tとで張られた面に置くことで、解析用画像を生成するように構成されている。より具体的には、座標軸５０１上にある各画素P（t1, xｃ, y）の差分統計値を、座標軸５０１（言い換えれば「方向軸」）と、時間軸又は時間と相関関係にある数量軸とで張られる解析用画像の画素の数値とする。

ここで、このような解析用画像について、図３を参照して説明を加える。ここに図３は、解析用画像を図式的に示す概念図である。

図３において、解析用画像DTMは、図２に示したｘ方向の中心線である座標軸５０１のところにｘの値が固定されており、ｙの値及びｔの値をパラメータとする、一枚の解析用画像DTMである。ここでは、図２においてｘ方向に沿って配列された複数の画素についての差分が、座標軸５０１上の画素P（t, xｃ, y）に対する差分統計値を演算するために専ら用いられているので、当該解析用画像DTMでの画素P（t, xｃ, y）における信号成分が相対的に強められる結果となっている。尚、図３中、動状態パターンPATを粗いドット状で示しているが、実際の動状態パターンPATは、解析用画像DTMにおいて、ドットが識別できない程度に細いか、又はドット状ではなく連続的或いはアナログ的なパターンであってもよい。

再び図１に戻り、パターン解析部１１４は、本発明に係る「パターン解析手段」の一例であり、解析用画像生成部１１３により生成された解析用画像DTMを、パターン解析し、その解析結果を所定フォーマットの電子データとして生成するように構成されている。

表示装置１１６は、例えばLCD（液晶表示装置）、CRT（カソードレイチューブ）等からなり、パターン解析部１１４によるパターン解析結果たる電子データを、所定フォーマットで表示する。プリンタ１１７は、例えばレーザプリンタ、インクジェットプリンタ等からなり、パターン解析部１１４によるパターン解析結果たる電子データを、所定フォーマットで印刷する。記憶装置１１８は、例えばハードディスク装置、光ディスク装置等からなり、パターン解析部１１４によるパターン解析結果たる電子データを、所定フォーマットで記憶するように構成されている。

制御部１００ｃは、以上の如き機能を有する、差分演算部１１１、差分統計値演算部１１２、解析用画像生成部１１３、及びパターン解析部１１４をハードウエア的に備えていてもよい。或いは、好ましくはCPU、メモリ等を備えたコンピュータをこれら各部として機能させるコンピュータプログラムが格納されたＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体からの該コンピュータプログラムのインストールや、或いはインターネット等経由のダウンロードによるインストールなどによって、これら各部がコンピュータ内に論理的に構築されてもよい。

尚、図２及び図３に示したように、差分統計値が演算される画素Pを、ｘ方向の中心線上に固定された座標軸５０１上の画素Pにのみ限定する（その結果として、座標軸５０１に対応する一枚の解析用画像DTMのみが最終的に得られる）必要はない。即ち、差分統計値が演算される画素Pを、ｘ軸に沿って所定間隔で配列された複数の座標軸５０１上の画素Pとしてもよい（その結果として、複数の座標軸５０１に対応する複数枚の解析用画像DTM（ｘ）が最終的に得られることになる）。

例えば図４に示すように、図２の場合と同様に差分を演算した後に、フレーム画像DM1上にある座標軸５０３上の各画素Pについて、その左右において座標軸５０３上で幅５０４（但し、フレーム画像のｘ方向の長さより短い幅）内にある複数の画素Pの差分を用いて、夫々演算してもよい。即ち、所定間隔で或いは画素単位で、座標軸５０３上に並ぶ複数の座標Pについての差分統計値を、自らを中心に幅５０４内に位置する他の複数の画素の差分を用いて演算してもよい。このような演算を、座標軸５０１に沿って配列された複数の座標軸５０３について行い、更に、これを複数のフレーム画像DMについて行えば、例えば、図５に示したように、動状態パターンPATを画像として夫々有する複数の解析用画像DTM(ｘ)を生成できる。図２及び図３の場合と異なり図４及び図５の場合には、ｘ方向の中心線付近についてのみならず、所望のｘ座標における複数の解析用画像DTM(ｘ)が得られる。このように本実施形態の骨子であるS/N比の改善と迅速に動きのある場所の特定を行うという特徴を発揮させるためには、幅５０４は、座標軸５０３に対して２つ以上であって、動きの探索領域を全て包含する個数に設定することも可能である。尚、図４及び図５は、図２及び図３と夫々同趣旨の概念図であり、図２及び図３と同様の構成要素には同様の参照符号が付与されている。

ここで図６を参照して、解析用画像生成部１１３により生成される解析用画像について、具体例を挙げて説明を加える。ここに、図６（a）は、車載カメラにより撮像される動画DMを示す平面図であり、図６（ｂ）及び図６（ｃ）は、その動画について差分演算部１１１による演算及び差分統計値演算部１１２による演算を経て、解析用画像生成部１１３により生成された、ｘ方向の解析用画像DTMX及びy方向の解析用画像DTMYを夫々、概念的に示す概念図である。

図６（a）に示すように、動画DM中には、白い大きな矢印で示されている不図示の自車の進行方向の前方に、動くものとして左から右へ進行中の車両D１０１があり、更に、自車の進行に伴って相対的に手前側に動く街灯D１０２とビルD１０３とがあり、加えて、直進している自車の進行に伴って殆ど動かない太陽D１０４がある。

図６（b）及び図６（c）に示すように、x方向の解析用画像DTMX及びｙ方向の解析用画像DTMYでは、車両D１０１、街灯D１０２、ビルD１０３及び太陽D１０４の動状態が、帯状のパターンとして顕在化されている。先ず、解析用画像DTMX及びDTMY上で設定された閾値以上の画素を探すことで、動く対象物を特定することが可能となる。更に、解析用画像DTMX及びDTMYの帯状のパターンの方向と傾きと解析することにより、不図示の自車の走行による相対移動であるか、又は他の対象物の移動であるかを特定することが可能となる。より具体的には、自車の走行により相対移動する対象物（例えば、街灯D１０２やビルD１０３）は、ｘ方向及びｙ方向夫々の消失点座標を指向する帯状のパターンとして解析することができ、自車の振動により相対移動する無限遠に位置すると考えられる対象物（例えば、太陽D１０４）は、ｘ座標及びｙ座標を変えない縦の帯状のパターンとして解析することができ、他の移動する対象物（例えば、車両D１０１）は、これら以外の方向の帯状のパターンとして解析することができる。

次に、以上のように構成された動状態解析システム１００の解析動作について、図１等に加えて、図７のフローチャートを参照して説明を加える。

図７において、先ず撮像装置１０１によって、車載カメラや倒立型光学顕微鏡による動画や連続写真など、時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ二枚の画像を含む、複数の画像が撮像される（ステップＳ１１）。次に、差分演算部１１１によって、時間軸又は数量軸上で所定間隔をおいて並ぶ二枚の画像の差分が、各画素Pについて演算される（ステップＳ１２）。尚、ここでの差分は、例えば単色の又はカラー各色の濃度値の差分である。続いて、全ての画素Pについて差分演算が終了したかが判定され(ステップＳ１３)、終了していなければ（ステップＳ１３：NO）、差分の演算が続行される（ステップＳ１２）。

このステップＳ１３における判定の結果、全ての画素Pについて差分演算が終了していれば（ステップＳ１３：Yes）、差分統計値演算部１１２によって、画像上における一方向に沿って設定された座標軸の各点において、該一方向に直交する配列をなす複数の画素P（図２参照）を用いての差分統計値が演算される（ステップＳ１４）。尚、ここでの差分統計値は、例えば、前述したように平均値又は最大値である。或いは前述したように閾値以上となる画素の個数である。続いて、差分統計値を演算すべき座標軸上の全ての画素Pについて差分統計値演算が終了したかが判定され(ステップＳ１５)、終了していなければ（ステップＳ１５：NO）、差分統計値の演算が続行される（ステップＳ１４）。

このステップＳ１５における判定の結果、差分統計値を演算すべき座標軸上の全ての画素Pについて差分統計値演算が終了していれば（ステップＳ１５：Yes）、解析用画像生成部１１３によって、該演算された差分統計値が、座標軸と時間軸又はこれと相関関係にある数量軸とで張られた面に置かれることで、例えば解析用画像DTM（図３参照）や解析用画像DTM(ｘ)（図５参照）が生成される。このような解析用画像上では、差分統計値の値に応じた色や濃度等の割り当てにより、解析用画像DTMやDTM(ｘ)上でパターンPATが顕在化される(図３、図５、並びに図６（ｂ）及び（ｃ）参照)。

続いて、このように生成された解析用画像を、パターン解析部１１４によって自動でパターン解析することで、元となる画像における動状態或いは変化状態が解析され（ステップＳ１７）、その解析結果が、表示装置１１６或いはプリンタ１１７によって表示或いは出力され、或いは、記憶装置１１８に記憶される（ステップＳ１８）。

以上のように第１実施形態によれば、ステップＳ１４における差分統計値演算部１１２によって演算した差分統計値を用いることで、信号成分をノイズ成分に対して強められる。この際、例えば差分統計値として「最大値」を用いれば、視野内で局所的に発生する動く対象物を感度良く捉えられ、画像の動状態が解析可能となる。特に本発明によれば、例えば図6に例示した車両D１０１の如き、対象物がどこにあるかを予め特定しなくても、この対象物を特定する処理も含めて、解析可能であるので、実用上大変有利である。

＜第２実施形態＞
本発明の動状態解析システム及び方法、或いは、コンピュータを動状態解析システムとして機能させることが可能なコンピュータプログラムに係る第２実施形態を、図８から図１３を参照して説明する。第２実施形態では、第１実施形態と比較して、画像の取得に関する構成、及び画像データの属性が異なっており、更にこれに伴い処理の一部も異なっている。よって、第２実施形態について、第１実施形態と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図８から図１３を参照して説明する。

先ず、図８を参照して、本実施形態に係る動状態解析システムの構成について説明する。図８は、図１と同趣旨の、本実施形態に係る動状態解析システムのブロック図である。

図８において、動状態解析システム２００は、制御部２００ｃ、光学顕微鏡装置２０１、及び駆動装置２０４を備える。制御部２００ｃは、光学顕微鏡装置２０１からの画像が取り込まれる画像メモリ２０２と、駆動装置２０４における走査を制御する走査制御装置２０３とを備え、その他、第1実施形態の場合と同様に、差分演算部１１１、差分統計値演算部１１２、解析用画像生成部１１３、及びパターン解析部１１４を備える。動状態解析システム１００は更に、第1実施形態の場合と同様に、表示装置１１６、プリンタ１１７、及び記憶装置１１８を備えて構成されている。

光学顕微鏡装置２０１は、本発明に係る「撮像手段」の一例であり、多層構造体８００に光源光を照射し、その反射光と参照光との干渉を利用して、光学的に多層構造体８００内に存在する各反射界面からの微小な反射光を受光することで、各画像を取得する。より具体的には、多層構造体８００の表面に垂直な、即ち多層構造体８００の深度方向を走査方向として、その焦点位置或いは撮像位置が走査方向に沿って走査されつつ、各深度における表面画像或いは光学界面画像を撮像可能に構成されている。

画像メモリ２０２は、このように取得された複数の画像を、少なくとも一枚ずつ或いは複数枚ずつ、走査線に対応付けて、即ち各深度別に逐次に蓄える。

駆動装置２０４は、このような走査方向に沿って一定速度で連続的或いは間欠的な走査を行わせるべく、光学顕微鏡装置２０１の焦点位置或いは撮像位置を変更させる駆動を行い、走査制御装置２０３は、駆動装置２０４による駆動動作を、光学顕微鏡装置２０１における撮像動作と同期制御するように構成されている。

尚、駆動装置２０４は、光学顕微鏡装置２０１を多層構造体８００の表面に沿って（即ち、X方向やY方向に）移動可能に構成されてもよく、このように構成すれば、より大きな多層構造体８００の所望の平面位置における断面図を、最終的に得られる解析用画像として、生成可能となる。但し、例えば数ｍｍ角や数百μｍ角など、多層構造体８００がその平面サイズにおいて光学顕微鏡装置２０１の撮像可能な平面範囲と比べて十分に小さければ、このように光学顕微鏡装置２０１を多層構造体８００の表面に沿って移動させる必要はない。

このため、走査制御装置２０３による制御下で、駆動装置２０４により光学顕微鏡装置２０１が一定方向（即ち、深度方向）に連続的又は断続的或いは間欠的に走査されつつ、光学顕微鏡装置２０１による画像取得が順次行われ、時間軸と相関関係にある数量軸上で所定間隔或いは一定間隔で並ぶ複数の画像が取得される。即ち、各深度の光学界面図が取得される。そして、このように取得された画像或いは画像データが、画像メモリ２０２に走査線に対応付けられて、即ち各深度に対応付けられて逐次に蓄えられ、以下、第1実施形態の場合と基本的に同様に、差分演算部１１１及び差分統計値演算部１１２による演算、更に解析用画像生成部１１３やパターン解析部１１４による処理が行われることになる。

ここで第２実施形態における差分や差分統計値の演算について、図９を参照して説明を加える。ここに図９は、時間と相関関係にある数量軸上で所定間隔をおいて並ぶ複数の断面画像における、一方向或いは座標軸、及び画素の配列を図式的に示す概念図である。

図９において、光学顕微鏡装置２０１の対物レンズ６００は、太い矢印ARの如き光源光を照射し、その反射光を受光し、参照光との干渉を利用しての光学界面図SVを取得する。この際、駆動装置２０４により駆動されることで、その対物レンズ６００の焦点位置或いは撮像位置は、走査方向（即ち、深度方向或いはZ軸方向）に、図中細い矢印SCNで示したように順次走査され、各深度の光学界面図SV１、SV２、…、SVi、…、SVmを取得することになる。ここで、光学界面図SV1に着目すると、そのｘ軸に沿う方向を本発明に係る「一方向」の一例として、座標軸６０１を光学界面図SV1上に定義すると共にこれに直交する座標軸６０３を光学界面図SV1上に定義する。ここでは特に、光学界面図SV1におけるｙ方向の中心線の位置に、座標軸６０１を定義する。また、本発明に係る「時間軸と相関関係にある数量軸」の一例を、ここでのz軸と定義する。すると、この光学界面図SV上にある各画素Q（ｘ、ｙ、ｚ１）についての差分は、この画素Q（ｘ、ｙ、ｚ１）の値（例えば、色別の濃度）と一定時間ごとに矢印SCN方向にΔZだけずらして得られる画素（ｘ、ｙ、ｚ２）（但し、ｚ２＝ｚ１＋Δｚ）の値との差となる。即ち、差分演算部１１１（図８参照）により、このような差分が光学界面図SV１上にある座標軸６０３上の各画素Pについて逐次演算されることとなり、更に、差分統計値演算部１１２により、座標軸６０３上にあり且つ座標軸６０１上にある画素Q（x、ｙｃ,ｚ１）についての差分統計値が、座標軸６０３上にある複数の画素Pの差分を用いての差分統計値として演算される。更に、このような座標軸６０１上にある画素Q（x、ｙｃ,ｚ１）の差分統計値の演算を各ｘに対して行うことで、一枚の光学界面図SV１におけるｙ方向の中心線である座標軸６０１上の各画素Q（x、ｙｃ,ｚ１）についての差分統計値が得られる。更に、このような演算を、複数の光学界面図SV１、SV２、…、SVi、…、SVmについて同様に行うことで、最終的には、各光学界面図SViにおけるｙ方向の中心線である座標軸６０１上の各画素Q（x、ｙｃ,ｚ１）についての差分統計値が得られる。

更に第２実施形態における解析用画像生成部１１３により生成される解析用画像について、図１０を参照して説明を加える。ここに図１０は、解析用画像を図式的に示す概念図である。

図１０において、解析用画像STMは、図９に示したｙ方向の中心線である座標軸６０１のところにｙの値が固定されており、ｘの値及びｚの値をパラメータとする、一枚の解析用画像STM、即ち多層構造体８００のｙ方向の中央断面である。ここでは、図９においてｙ方向に沿って配列された複数の画素についての差分が、座標軸６０１上の画素Q（x、ｙｃ,ｚ）に対する差分統計値を演算するために専ら用いられているので、画素Q（x、ｙｃ,ｚ）における信号成分が相対的に強められる結果となっている。尚、図１０中、動状態パターンPATを粗いドット状で示しているが、実際の動状態パターンPATは、解析用画像STMの全体に対して、ドットが識別できない程度に細いか、又は或いはドット状ではなく連続的或いはアナログ的なパターンであってもよい。

尚、図９及び図１０に示したように、差分統計値が演算される画素Qを、ｙ方向の中心線上に固定された座標軸６０１上の画素Qにのみ限定する（その結果として、座標軸６０１に対応する一枚の解析用画像STMのみが最終的に得られる）必要はない。即ち、差分統計値が演算される画素Qを、ｙ軸に沿って所定間隔で配列された複数の座標軸６０１上の画素Qとしてもよい（その結果として、複数の座標軸６０１に対応する複数枚の解析用画像STM（ｙ）が最終的に得られることになる）。

例えば図１１に示すように、図９の場合と同様に差分を演算した後に、光学界面図SV1上にある座標軸６０３上の各画素Qについて、その上下において座標軸６０３上で幅６０４（但し、光学界面図のｙ方向の長さより短い幅）内にある複数の画素Qの差分を用いて、夫々演算してもよい。即ち、所定間隔で或いは画素単位で、座標軸６０３上に並ぶ複数の座標Qについての差分統計値を、自らを中心に幅６０４内に位置する他の複数の画素の差分を用いて演算してもよい。このような演算を、座標軸６０１に沿って配列された複数の座標軸６０３について行い、更に、これを複数の光学界面図SVについて行えば、例えば、図１２に示したように、動状態パターンPATを画像として夫々有する複数の解析用画像STM(ｙ)を生成できる。このように図９及び図１０の場合と異なり、図１１及び図１２の場合には、中心線付近についてのみならず、所望のｙ座標における複数の解析用画像STM(ｙ)が得られる。尚、図１１及び図１２は、図９及び図１０と夫々同趣旨の概念図であり、図２及び図３と同様の構成要素には同様の参照符号が付与されている。

ここで図１３を参照して、解析用画像生成部１１３により生成される解析用画像について、具体例を挙げて説明を加える。図１３（a）は、本実施形態により生成された解析用画像STMを示す平面図であり、図１３（ｂ）は、比較例における同趣旨の平面図である。

図１３（a）に示すように、解析用画像STM（y）中では、層７０１〜７０６について、各層の配置や、特に層７０４が薄くなっている層７０３と層７０５との間の層間ギャップGPについても、高い精度で、その層厚が計測可能とされている。これは主に、差分統計値演算部１１２によって差分統計値を演算する際に画像データにおけるランダム性が高いノイズ成分を弱めることにより、達成されるものと考察される。

図１３（b）に示すように、本実施形態の構成から差分統計値を演算する処理を除去して、差分をそのまま使って解析用画像を生成した比較例によれば、層７０１〜７０６について、各層の配置が明確ではなく、特に層７０４が薄くなっている領域では、不明確さが顕著であり、層間ギャップGPについても、高精度での層厚計測が不可能である。これは主に、差分統計値演算部１１２によって差分統計値を演算する際に画像データにおけるランダム性が高いノイズ成分を弱めることができていないためと考察される。

以上のように第２実施形態によれば、差分統計値演算部１１２によって差分統計値を演算する際に、画像データにおけるランダム性が高いノイズ成分を弱めることができるので、解析用画像上では、より高精度で、画像の動状態或いは変化状態を解析可能となる。また、微小ボイドや微小異物が分布していると想定される透明積層フィルムに対して本実施形態を適用し、この際、差分統計値として前述の「最大値」又は「閾値以上の画素の個数」を用いることにより、その深さ方向の分布状態が解析可能となる。

＜各種実施例＞
次に以上のように構成された実施形態を適用した各種実施例について説明する。

＜＜第1実施例＞＞
前述の第1実施形態を、細胞の活性度評価システムに適用した第1実施例について、図１４から図１６を参照して説明する。ここに図１４は、本実施例のシステムのブロック図であり、図１５は、本実施例のシステムにより撮像される、シャーレ内における細胞サンプルが動く様子を概念的に示すｘ−ｙ平面図であり、図１６（a）及び（ｂ）は、本実施例により生成される、ｘ軸及びy軸に夫々沿った方向の時間的変化を示す解析用画像である。

図１４において、細胞の活性度評価システム１０は、シャーレ内の細胞サンプル１１を評価対象とするものであり、倒立型光学顕微鏡の照明装置１２、対物レンズ１３及び撮像装置１４と、計測及び制御用のコンピュータ１５とを備えて構成される。

このように構成されているので、シャーレ内の底部に設置された透明ガラス上の細胞サンプル１１の透過顕微鏡像が、撮像装置１４で観測可能となる。この際、シャーレ内の環境を調整することで細胞サンプル１１を生きた状態に保つことができ、図１５に例示する如く動く細胞サンプル１１の画像が、動画或いは連続顕微鏡写真として、撮像装置１４により取り込まれる。更に、前述の差分演算部、差分統計値演算部及び解析用画像生成部として機能するコンピュータ１５によって、設定された時間毎に取り込まれた画像の差分の絶対値を算出し、更に差分統計値の一例として差分の最大値を算出することで、図１６（a）に例示する如き、横軸が原画像のＸ方向の座標であり且つ縦軸が時間軸の解析用画像と、図１６（ｂ）に例示する如き、横軸が原画像のＹ方向の座標であり且つ縦軸が時間軸の解析用画像を作成する。これらの解析用図面上では、動きがない箇所は、基本的に何らのパターンも描かれることの無い平素な箇所或いは領域となり、動きがある箇所は、該動きに応じて何らのかのパターンが描かれることになる。

本実施例によれば、差分統計値の一例として差分の最大値を用いて生成された解析用画像の細線化処理により、細胞サンプル１１の動きの総量、動きのパターン（例えば、直線運動か回転運動か）、動きの速度等を、高い精度で算出でき、細胞の活性度を数値化できる。

＜＜第２実施例＞＞
前述の第１実施形態を、自動操縦用動状態解釈システムに適用した第２実施例について、図１７及び図１８を参照して説明する。ここに図１７は、本実施例のシステムのブロック図であり、図１８は、本実施例により生成される、ｘ軸及びy軸に夫々沿った方向の時間的変化を示す解析用画像である。

図１７において、車両２５に搭載された自動操縦用動状態解釈システム２０は、車載カメラ２１と、計測及び制御用のコンピュータ２２とを備える。

このように構成されているので、前述の差分演算部、差分統計値演算部及び解析用画像生成部として機能するコンピュータ２２によって、取り込まれた画像の差分の絶対値を算出し、更に差分統計値の一例として差分の最大値を算出することで、図１８に例示する如き、横軸が原画像のＸ方向の座標であり且つ縦軸が時間軸である解析用画像と、横軸が原画像のＹ方向の座標であり且つ縦軸が時間軸である解析用画像とを作成する。これらの解析用図面上では、動きがない箇所は、基本的に何らのパターンも描かれることの無い平素な箇所或いは領域となり、動きがある箇所は、該動きに応じて何らのかのパターンが描かれることになる。

本実施例によれば、差分統計値の一例として差分の最大値を用いて生成された解析用画像上での流れのパターンから、自車である車両２５の進行方向、速度、消失点の座標などを知ることが可能となる。更に、例えば図６に示したように、自車以外の車両２５から見て視野を横切る対象物についても、その存在と方向、速度などを知ることも可能となる。

＜＜第３実施例＞＞
前述の第１実施形態を、手話入力システムに適用した第３実施例について、図１９及び図２０を参照して説明する。ここに図１９は、本実施例のシステムのブロック図であり、図２０（a）及び（ｂ）は、本実施例により生成される、ｘ軸及びy軸に夫々沿った方向の時間的変化を示す解析用画像である。

図１９において、手話入力システム３０は、話者３５の手３６の動き３７を動画又は連続写真として撮像するビデオカメラ３１と、計測及び制御用のコンピュータ３２とを備える。

このように構成されているので、前述の差分演算部、差分統計値演算部及び解析用画像生成部として機能するコンピュータ３２によって、取り込まれた画像の差分の絶対値を算出し、更に差分統計値の一例として差分の最大値を算出することで、図２０（a）に例示する如き、横軸が原画像のＸ方向の座標であり且つ縦軸が時間軸である解析用画像と、図２０（ｂ）に例示する如き、横軸が原画像のＹ方向の座標であり且つ縦軸が時間軸である解析用画像を作成する。これらの解析用図面上では、動きがない箇所は、基本的に何らのパターンも描かれることの無い平素な箇所或いは領域となり、動きがある箇所は、該動きに応じて何らのかのパターンが描かれることになり、手話の区切りは、動きの一時的に停止するパターンとして顕在化している。ここで特に、予め、手話における文字、単語、句、節、定型文章などと、図２０（a）及び（ｂ）に出現するパターンとの対応関係を特定しておき、例えば電子データとしてテーブル化しておけば、その後、実際に手話入力を行う際に、このテーブルを参照してのパターンマッチングによって、図２０（a）及び（ｂ）の如き解析用画像に基づいて、対応する手話の内容を解釈できる。

本実施例によれば、差分統計値の一例として差分の最大値を用いて生成された解析用画像上での流れのパターンから、手話者３５の手３６の動き３７を撮像することで、手話入力を、自動的に行うことが可能となる。

＜＜第４実施例＞＞
前述の第２実施形態を、層断面計測システムに適用した第４実施例について、図２１及び図２２を参照して説明する。ここに図２１は、本実施例のシステムのブロック図であり、図２２は、本実施例のシステムにより生成される解析用画像である、ｘ−ｚ層断面及びｙ−ｚ層断面である。

図２１において、層断面計測システム４０は、透明多層構造体サンプル４３を評価対象とするものであり、光学顕微鏡装置４１と、光学顕微鏡装置４１の焦点位置或いは撮像位置を透明多層構造体サンプル４３の表面に垂直な走査方向に、相対的に順次移動させる駆動装置４４と、計測及び制御用のコンピュータ４５とを備えて構成される。

このように構成されているので、光学顕微鏡装置４１の撮像位置を、透明多層構造体サンプル４３に対して、その表面の法線方向或いは深さ方向に順次に走査させることにより、或いは必要に応じて、更にその表面に沿って順次に走査させることにより、透明多層構造体サンプル４３の連続的な顕微鏡像が、光学顕微鏡装置４１で観測可能となる。ここで撮像される連続的な画像は、時系列でＺ軸を変化させて取得されるので、透明多層構造体サンプル４３の各深度における光学界面画像を表すことになる。この際、前述の差分演算部、差分統計値演算部、解析用画像生成部、及び走査制御部として機能するコンピュータ４５によって、取り込まれた画像の差分の絶対値を算出し、更に差分統計値を算出することで、図２２（a）に例示する如き、横軸が原画像のＸ方向の座標であり且つ縦軸が原画像のZ方向の座標である、解析用画像と、図２２（ｂ）に例示する如き、横軸が原画像のＹ方向の座標であり且つ縦軸が原画像のZ方向の座標である、解析用画像を作成する。これらの解析用図面上では、積層状態に変化がない箇所、即ち反射界面が存在しない箇所は、基本的に何らのパターンも描かれることの無い平素な箇所或いは領域となり、積層状態に変化がある箇所、即ち反射界面が存在する箇所には、積層パターンが現れることになる。

本実施例によれば、差分統計値を用いて生成された解析用画像により、ミクロンオーダといった非常に薄い層の位置や層厚、層間ギャップ或いは空隙の位置や厚みなどを、高い精度で計測できる。

尚、本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う動状態数値化システム及び方法、並びにコンピュータプログラムもまた、本発明の技術的範囲に含まれるものである。

本発明の第１実施形態に係る動状態解析システムのブロック図である。 第１実施形態の、時間軸上で並ぶ複数のフレーム画像における、座標軸及び画素の配列の一例を図式的に示す概念図である。 第１実施形態における解析用画像の一例を図式的に示す概念図である。 第１実施形態の、時間軸上で並ぶ複数のフレーム画像における、座標軸及び画素の配列の他の例を図式的に示す概念図である。 第１実施形態における解析用画像の他の例を図式的に示す概念図である。 図６（a）は、車載カメラにより撮像される動画を示す平面図であり、図６（ｂ）及び（ｃ）は夫々、その動画について解析用画像生成部により生成された解析用画像を概念的に示す概念図である。 第１実施形態の動状態解析システムの動作を示すフローチャートである。 本発明の第２実施形態に係る動状態解析システムのブロック図である。 第２実施形態の、数量軸上で並ぶ複数の断面画像における、座標軸及び画素の配列の一例を図式的に示す概念図である。 第２実施形態における解析用画像の一例を図式的に示す概念図である。 第２実施形態の、数量軸上で並ぶ複数の断面画像における、座標軸及び画素の配列の他の例を図式的に示す概念図である。 第２実施形態における解析用画像の他の例を図式的に示す概念図である。 図１３（a）は、本実施形態により生成された解析用画像を示す平面図であり、図１３（ｂ）は、比較例における同趣旨の平面図である。 本発明の第１実施例のシステムのブロック図である。 第１実施例のシステムにより撮像される細胞サンプルが動く様子を概念的に示すｘ−ｙ平面図である。 第１実施例により生成される、ｘ軸及びy軸に夫々沿った方向の時間的変化を示す解析用画像である。 本発明の第２実施例のシステムのブロック図である。 第２本実施例により生成される、ｘ軸及びy軸に夫々沿った方向の時間的変化を示す解析用画像である。 本発明の第３実施例のシステムのブロック図である。 第３実施例により生成される、ｘ軸及びy軸に夫々沿った方向の時間的変化を示す解析用画像である。 本発明の第４実施例のシステムのブロック図である。 第４実施例のシステムにより生成される解析用画像である、ｘ−ｚ層断面及びｙ−ｚ層断面である。

符号の説明

１０…細胞の活性度評価システム、２０…自動操縦用動状態解釈システム、３０…手話入力システム、４０…層断面計測システム、１００…動状態解析システム、１０１…撮像装置、１００ｃ…制御部、１０２…フレームバッファ、１１１…差分演算部、１１２…差分統計値演算部、１１３…解析用画像生成部、１１４…パターン解析部

Claims (7)

1. 時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像の差分を、画素単位で演算する差分演算手段と、
   前記画像上における少なくとも一方向に交わる配列をなす複数の画素についての、前記演算された差分の平均値、前記演算された差分の最大値及び前記演算された差分が閾値以上となる画素の個数のうち少なくとも一つである、差分統計値を、前記一方向に沿った座標軸上の各点に対応付けて演算する差分統計値演算手段と、
   該演算された差分統計値を、前記座標軸と前記時間軸又は前記数量軸とで張られた面に置くことで、解析用画像を生成する解析用画像生成手段と
   を備えることを特徴とする動状態解析システム。
2. 前記生成された解析用画像を、パターン解析するパターン解析手段を更に備えることを特徴とする請求項１に記載の動状態解析システム。
3. 動画を撮像して複数の画像を生成する撮像手段を更に備え、
   前記差分演算手段は、前記複数の画像に含まれる前記少なくとも二枚の画像の差分を演算する
   ことを特徴とする請求項１又は２に記載の動状態解析システム。
4. 前記差分演算手段は、前記数量軸に代えて、当該動状態解析システムの解析対象である積層体の表面に垂直に設定された走査線上における距離と相関関係にある数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像の差分を、画素単位で演算する
   ことを特徴とする請求項１又は２に記載の動状態解析システム。
5. 当該動状態解析システムの解析対象である積層体の表面に垂直に設定された走査線上に配列された複数の測定点で前記積層体内からの可視光を含む電磁波を受信することで、複数の画像を生成する撮像手段を更に備え、
   前記差分演算手段は、前記複数の画像に含まれる前記少なくとも二枚の画像の差分を演算する
   ことを特徴とする請求項１、２又は４に記載の動状態解析システム。
6. 時間軸又は時間と相関関係にある数量軸上で所定間隔をおいて並ぶ少なくとも二枚の画像の差分を、画素単位で演算する差分演算工程と、
   前記画像上における少なくとも一方向に交わる配列をなす複数の画素についての、前記演算された差分の平均値、前記演算された差分の最大値及び前記演算された差分が閾値以上となる画素の個数のうち少なくとも一つである、差分統計値を、前記一方向に沿った座標軸上の各点に対応付けて演算する差分統計値演算工程と、
   該演算された差分統計値を、前記座標軸と前記時間軸又は前記数量軸とで張られた面に置くことで、解析用画像を生成する解析用画像生成工程と
   を備えることを特徴とする動状態解析方法。
7. コンピュータを、請求項１から５のいずれか一項に記載の動状態解析システムとして機能させることを特徴とするコンピュータプログラム。

Images