JP2021149081A

JP2021149081A - 顕微鏡イメージングステッチ装置及びその方法

Info

Publication number: JP2021149081A
Application number: JP2020107124A
Authority: JP
Inventors: 遠鵬黄; Yuan-Peng Huang
Original assignee: Cal Comp Big Data Inc
Current assignee: Cal Comp Big Data Inc
Priority date: 2020-03-23
Filing date: 2020-06-22
Publication date: 2021-09-27
Also published as: CN113433684A; EP3885816A1

Abstract

【課題】イメージングステッチ装置及びその方法を提供する。【解決手段】被測定皮膚を検出するのに用いられる顕微鏡イメージングステッチ装置であって、光キャビティ１０、ビームスプリッタ２０、イメージセンサ３０、変位センサ４０及び制御回路を含み、光キャビティは被測定皮膚に接触し、被測定皮膚から反射された反射光を受け、ビームスプリッタは顕微レンズ１２１により反射光を受け、２つの異なる方向に沿って被測定光をイメージセンサ及び変位センサにそれぞれ出力し、制御回路は、イメージセンサの画像信号及び変位センサの変位信号を受信し、複数の変位信号に基づいて複数の画像信号をステッチ画像にステッチする。【選択図】図２

Description

本発明はイメージングステッチ装置及びその方法に関し、特に、顕微鏡イメージングに用いられて被測定皮膚の曲率を表示できる顕微鏡イメージングステッチ装置及びその方法に関する。

現在、市場に流通している一般的なデジタルマイクロミラーデバイスは、ハンドヘルド消費性電子顕微鏡、携帯電話用顕微レンズ又はデスクトップ生物顕微鏡のいずれであっても、その使用方法はいずれも被測定物の表面のみに対して有限視野の拡大倍率の顕微鏡画像の観察を行うことができ、観察できる範囲のサイズは光学顕微システムの光路設計又は電子部品（例えば、ＣＣＤ又はＣＭＯＳ）のサイズにより制限され、仮に、観察者が選択されたレンズの倍率が高いほど、視野範囲が小さい。この時、観察しようとする被測定領域が視野範囲より大きい場合、デジタルマイクロミラーデバイスを移動しなければならず、又は被測定物を異なる領域に移動して観察しなければならない。一般的な肉眼に比べて倍率が高い顕微鏡観察領域に対し、高次の商業生物顕微鏡はさらに連続した隣接する複数枚の写真を撮影し、拡大した写真をそれぞれ表示することにより、大きい視野領域における各拡大した写真の詳細を観察及び分析することができ、特に、ある特定領域の生物学的特徴（例えば、大規模な病理学的特徴分析、病徴の拡散状態等）を判断することに対し、極めて重要である。

従来技術において拡大した各写真をそれぞれ表示することができるが、人体の面積が最も大きい器官「皮膚」に対し、一度にデジタルマイクロミラーデバイスの数倍視野を有する単一顕微鏡画像を表示する方法がない。さらに、前述の従来技術における各枚の写真はいずれも２次元（ｔｗｏ−ｄｉｍｅｎｔｉｏｎａｌ）の平面写真であり、観察しようとする表面が例えば、人体の皮膚である非平面である場合、顔の皮膚、四肢の皮膚又は胴体等の各部位の皮膚であっても、いずれも平面ではない立体曲面であり、平面イメージのみを表示する場合、射影ひずみ（ｐｅｒｓｐｅｃｔｉｖｅｄｉｓｔｏｒｔｉｏｎ）により皮膚における、例えば、樽状ひずみ（ｂａｒｒｅｌｄｉｓｔｏｒｔｉｏｎ）又は糸巻形ひずみ（ｐｉｎｃｕｓｈｉｏｎｄｉｓｔｏｒｔｉｏｎ）である幾何学的特性をひずみ、使用時に誤判定が発生しやすい。そのため、従来のデジタルマイクロミラーデバイスは前述の使用状況の需要を解決することができない。

このため、顕微鏡イメージングステッチ装置及びその方法を如何に設計するか、特に、従来技術の皮膚の幾何学的特性の射影ひずみを改善できず及び一度に数倍視野を有する単一顕微鏡画像を表示できない技術的課題を如何に解決するかは、本願の発明者が研究される重要課題である。

本発明の１つの目的は顕微鏡イメージングステッチ装置を提供することであり、従来技術における一度に数倍視野を有する単一顕微鏡画像を表示することができない技術的課題を解決し、皮膚の幾何学的特性による射影ひずみを改善することができ、大規模の顕微鏡画像の解釈を便利に行い及び解釈の精確率を向上させる目的を達する。

前述の目的を達するために、本発明により提供された被測定皮膚を検出するのに用いられる顕微鏡イメージングステッチ装置は、光キャビティ、ビームスプリッタ、イメージセンサ、変位センサ及び制御回路を含む。ここで、光キャビティは第１平面及び第２平面が互いに平行するように設置された切断直円錐体を有し、第２平面より小さい第１平面は被測定皮膚に接触し、第２平面は第１平面に対して発光し、被測定皮膚から反射された反射光を受ける。ビームスプリッタは顕微レンズにより反射光を受け、２つの異なる方向に沿って第１被測定光及び第２被測定光を出力する。イメージセンサは第１被測定光を受け、画像信号を出力する。変位センサは第２被測定光を受け、変位信号を出力する。制御回路はイメージセンサ及び変位センサに結合し、画像信号及び変位信号を受信し、複数の変位信号に基づいて複数の画像信号をステッチ画像にステッチする。

さらに、制御回路は少なくとも１つの皮膚部位標識をさらに受信し、各皮膚部位標識は各被測定皮膚に対応する所定曲率を含み、制御回路は複数の変位信号及び少なくとも１つの皮膚部位標識に基づいて複数の画像信号を、所定曲率を有するステッチ画像にステッチする。

さらに、前記顕微鏡イメージングステッチ装置は、制御回路に結合される３軸ジャイロをさらに含み、３軸ジャイロはケーシング内に固設され、３次元信号を制御回路に出力し、制御回路は画像信号、変位信号及び３次元信号を受信し、複数の変位信号及び複数の３次元信号に基づいて複数の画像信号を、実際の曲率を有するステッチ画像にステッチする。

さらに、前記顕微鏡イメージングステッチ装置は、第２平面に環設される複数の発光ユニットをさらに含み、複数の発光ユニットは第１平面に向けて発光し、複数の発光ユニットのそれぞれの側辺の延長線と第１平面の法線との間に挟む最小角度は３０°である。

さらに、制御回路がそのうちの１つの画像信号を受信した場合、制御回路は閾値及び少なくとも１つの変位信号に基づいて、もう１つの画像信号を続けて受信するか否かを判断する。

さらに、閾値は２ｍｍであり、イメージセンサの視野は３ｍｍ×３ｍｍである。

さらに、第１被測定光の光強度が反射光の光強度に占める割合は９９％、９５％又は９０％であり、第２被測定光の光強度が反射光の光強度に占める割合は１％、５％又は１０％である。

本発明のもう１つの目的は顕微鏡イメージングステッチ方法を提供することであり、従来技術における一度に数倍視野を有する単一顕微鏡画像を表示できない技術的課題を解決し、皮膚の幾何学的特性による射影ひずみを改善することができ、大規模の顕微鏡画像の解釈を便利に行い及び解釈の精確率を向上させる目的を達する。

前述のもう１つの目的を達するために、本発明により提供された顕微鏡イメージングステッチ方法は被測定皮膚を検出するのに用いられ、前記顕微鏡イメージングステッチ方法は、切断直円錐体から被測定皮膚に対して発光するステップと、ビームスプリッタは顕微レンズにより被測定皮膚から反射された反射光を受け、２つの異なる方向に沿って第１被測定光及び第２被測定光を出力するステップと、イメージセンサは第１被測定光を受け、画像信号を出力するステップと、変位センサは第２被測定光を受け、変位信号を出力するステップと、制御回路は画像信号及び変位信号を受信し、複数の変位信号に基づいて複数の画像信号をステッチ画像にステッチするステップと、を含む。

さらに、制御回路は３次元信号をさらに受信し、複数の変位信号及び複数の３次元信号に基づいて複数の画像信号を、実際の曲率を有するステッチ画像にステッチする。

さらに、前記顕微鏡イメージングステッチ方法は、制御回路がそのうちの１つの画像信号を受信した場合、制御回路は閾値及び少なくとも１つの変位信号に基づいて、もう１つの画像信号を続けて受信するか否かを判断するステップをさらに含む。

さらに、イメージセンサの視野の周縁から内に１ｍｍ収縮する領域はそのうちの１つの画像信号ともう１つの画像信号とが画像ステッチする重なる所である。

さらに、前記顕微鏡イメージングステッチ方法は、さらに、切断直円錐体が被測定皮膚において１ｍｍ／ｓである速度で移動するステップを含む。

本発明に記載された顕微鏡イメージングステッチ装置を使用する時、光キャビティによって被測定皮膚から反射された反射光を受け、その後ビームスプリッタによってイメージセンサ（例えば、ＣＣＤ又はＣＭＯＳ）に第１被測定光を出力し、変位センサ（例えば、光学的ＸＹ２次元センサ）に第２被測定光を出力し、反射光の大多数のエネルギーが依然としてイメージセンサに配分されたため、後続のステッチ画像の構成に影響を与えることがなく、変位センサとイメージセンサが同期に実行することができるため（制御回路は変位信号が閾値より大きいと判断した場合）、制御回路は均一且つスムーズに複数の画像信号に対しステッチ処理を行うことができる。詳しくは、測定する前に、各被測定皮膚に対応する皮膚部位標識を入力し又は予め設定し記憶することができ、各皮膚部位標識が各被測定皮膚の曲率（例えば、人体の顎皮膚の曲率が人体の前額皮膚の曲率より大きい）を含むため、制御回路は複数の変位信号及び皮膚部位標識に基づき、複数の画像信号を、曲率を有するステッチ画像にステッチすることができ、前記曲率は大多数の人体皮膚形態に適合する既定値であることができ、制御回路は従来の完全に平らな画像に比べて少ない射影ひずみを有するステッチ画像を取得させることができ、皮膚の幾何学的特性に対する誤判定を効果的に低減させ、例えば、制御回路に結合される３軸ジャイロが組み合わせられた場合、精確な曲率を有するステッチ画像をさらに取得することができる。

そのため、本発明に記載の顕微鏡イメージングステッチ装置は従来技術における一度に数倍視野を有する単一顕微鏡画像を表示できない技術的課題を解決することができ、皮膚の幾何学的特性による射影ひずみを改善することができ、大規模の顕微鏡画像の解釈を便利に行い及び解釈の精確率を向上させる目的を達することができる。

本発明が予め設定される目的を達するために取った技術、手段及び効果をさらに理解することができるために、以下の本発明にかかる詳細な説明及び図面を参照し、これによって、本発明の特性及び特徴を詳細且つ具体的に理解することができ、しかしながら、図面は参考及び説明するためのものに過ぎず、本発明を限定するものではない。

図１は本発明の顕微鏡イメージングステッチ装置におけるシステム構成図である。図２は本発明の顕微鏡イメージングステッチ装置における第１実施例の構成図である。図３は本発明の顕微鏡イメージングステッチ装置における皮膚部位標識を示す図である。図４は本発明の顕微鏡イメージングステッチ装置におけるステッチ画像を示す図である。図５は本発明の顕微鏡イメージングステッチ装置におけるステッチ画像を示す図である。図６は本発明の顕微鏡イメージングステッチ装置における第２実施例の構成図である。図７は本発明の顕微鏡イメージングステッチ装置における顔の皮膚イメージングを示す図である。

以下、特定の具体的な実施例により本発明の実施形態を説明し、当業者であれば、本明細書に掲載された内容により本発明の他の利点及び効果を簡単に理解することができる。本発明は、他の異なる具体的な実施例により実施又は応用することができ、本発明の明細書における各項の詳細も異なる視点及び応用に基づいて本発明の精神を逸脱しない限り、様々な補正と変更を行うことができる。

理解しなければならないのは、本明細書に記載の図面に示される構造、比例、サイズ、部品の数量などが、当業者に理解され及び閲覧されるために、いずれも明細書に掲載される内容と組み合わせるためのものに過ぎず、本発明の実施可能な限定条件を限定するものではないため、技術面の実質的な意義を有せず、如何なる構造の補正、比例関係の変更又はサイズの調整は、本発明により生み出せる効果及び達成できる目的を影響しない限り、いずれも本発明に掲載される技術内容が含まれる範囲内にある。

本発明にかかる技術内容及び詳細な説明について、図面と合わせて以下のように説明する。

図１〜図２を参照する。ここで、図１は本発明の顕微鏡イメージングステッチ装置におけるシステム構成図であり、図２は本発明の顕微鏡イメージングステッチ装置における第１実施例の構成図である。

本発明に記載された第１実施例において、顕微鏡イメージングステッチ装置は光キャビティ１０、ビームスプリッタ２０、イメージセンサ３０、変位センサ４０、制御回路５０及び３軸ジャイロ６０を含む。ここで、光キャビティ１０は第１平面１１及び第２平面１２が互いに平行するように設置された切断直円錐体を有し、第２平面１２より小さい第１平面１１は被測定皮膚１に直接接触し、第２平面１２は第１平面１１に対して発光し、被測定皮膚１から反射された反射光１００を受ける。さらに、本発明に記載された顕微鏡イメージングステッチ装置は第２平面１２に環設される複数の発光ユニット１２２をさらに含み、第２平面１２には反射光１００を受ける顕微レンズ１２１が穿設されている。複数の発光ユニット１２２は第１平面１１に向けて発光し、第１平面１１に接触する被測定皮膚１を照射する。複数の発光ユニット１２２のそれぞれの側辺の延長線と第１平面１１の法線との間に挟む最小角度は３０°である。ここで、第１平面１１の側辺と第２平面１２の側辺との間には光を通さない環状面１３を有し、環状面１３には光線を反射するためのアルミニウム金属薄膜が覆設される。本発明の第１実施例において、複数の発光ユニット１２２は互いに交差するように配列された複数の白色発光ユニット（未図示）及び複数の励起光発光ユニット（未図示）を含み、複数の白色発光ユニットは複数の励起光発光ユニットと同時に発光することができず、各励起光発光ユニットは波長が３５０ナノメートル〜４００ナノメートルの間の励起光が発光し、人体の皮膚から蛍光を励起させる。

特に、励起光の最適化した特定の波長は３６５ナノメートル（誤差値が正負５ナノメートル内である）であり、紫外線（ＵＶ）に属する。皮膚病を引き起こしやすいプロピオニバクテリウムアクネス（ｐｒｏｐｉｏｎｉｂａｃｔｅｒｉｕｍａｃｎｅｓ）を例として、それは皮膚表層毛孔内によく見られる一種の菌群であり、にきび（ａｃｎｅ）になる主な原因の１つでもある。皮膚における毛孔の清潔程度も、皮膚病を引き起こす可能性を影響し、但し、通常の毛孔の平均細孔径が約０．９ｍｍのみであり、顕微鏡を使用しなければ観察することができない。但し、一般的に、可視光を主要光源とするデジタルマイクロミラーデバイスは、波長が限定されるため、毛孔内のプロピオニバクテリウムアクネスの繁殖状況と効果的に清潔されるか否かを効果的に区別と観察し難い。このため、検出するために蛍光顕微鏡が必要である。前述のプロピオニバクテリウムアクネスが代謝過程に「ポルフィリン」（ｐｏｒｐｈｙｒｉｎ）と称する化学物質を生成することができ、ポルフィリンの化学構造は紫外線周波数帯に属する励起光（主な吸収ピークが３６５ｎｍである）により可視光周波数帯のオレンジ色の蛍光（主な吸収ピークが６６０ｎｍである）が励起されることができる。そのため、オレンジ光点の光強度、点状領域のサイズ、点状分布を観察することによりプロピオニバクテリウムアクネスが各皮膚領域における繁殖状況を間接的に取得することができる。前記プロピオニバクテリウムアクネスは例示的な説明に過ぎず、本発明の応用はそれに限定されない。

ビームスプリッタ２０は顕微レンズ１２１により反射光１００を受け、２つの異なる方向に沿って第１被測定光１０１及び第２被測定光１０２を出力する。さらに、ビームスプリッタ２０は第１被測定光１０１をイメージセンサ３０に出力し、ビームスプリッタ２０は第２被測定光１０２を変位センサ４０に出力する。本発明に記載された第１実施例において、前記ビームスプリッタ２０はビームスプリッタ（ｂｅａｍｓｐｌｉｔｔｅｒ）であることができ、それは調波分離器（ｈａｒｍｏｎｉｃｓｅｐａｒａｔｏｒ）又は二色性ビームスプリッタ（ｄｉｃｈｒｏｉｃｂｅａｍｓｐｌｉｔｔｅｒ）を含むことができる。ビームスプリッタ２０はある波長範囲に属する反射光１００の一部のエネルギーを反射して第２被測定光１０２を形成し、その残りの波長範囲に属する反射光１００の一部のエネルギーを透過して第１被測定光１０１を形成する。本発明に記載された第１実施例において、第１被測定光１０１の光強度が反射光１００の光強度に占める割合は９９％、９５％又は９０％であり、第２被測定光１０２の光強度が反射光１００の光強度に占める割合は１％、５％又は１０％である。即ち、第１被測定光１０１と第２被測定光１０２との関係は９９％：１％、９５％：５％又は９０％：１０％である。反射光１００の大多数のエネルギーが依然としてイメージセンサ３０に配分されたため、後続のステッチ画像の構築に対して影響を与えることができない。前記ビームスプリッタ２０は蛍光共鳴エネルギー移動（ｆｌｕｏｒｅｓｃｅｎｃｅｒｅｓｏｎａｎｃｅｅｎｅｒｇｙｔｒａｎｓｆｅｒ、ＦＲＥＴ）、リアルタイム生細胞イメージング（ｒｅａｌ−ｔｉｍｅｌｉｖｅ−ｃｅｌｌｉｍａｇｉｎｇ）又は蛍光イメージング（ｆｌｕｏｒｅｓｃｅｎｃｅｉｍａｇｉｎｇ）などの分野に用いることができるが、前述が例示的な説明に過ぎず、本発明の応用はそれに限定されていない。

イメージセンサ３０は第１被測定光１０１を受け、画像信号１０３を出力する。ここで、前記イメージセンサ３０はＣＣＤ又はＣＭＯＳにより構成される感光部品であることができ、ＣＣＤ又はＣＭＯＳを強化する低光検出感度の顕微レンズ（ｍｉｃｒｏｌｅｎｓ）構造を含むことができる。本発明の第１実施例において、顕微レンズ１２１とイメージセンサ３０により構成される視野（ＦＯＶ）が３ｍｍ×３ｍｍである。使用時、切断直円錐体の第１平面１１を被測定物の表面（例えば、顔の皮膚）にフラットフィッティングし、例えば、進行速度が１ｍｍ／ｓであるような走査式移動を行い、ステッチ用の写真ギャラリーを取得するために、同時に連続的又は非連続的に撮影する。

変位センサ４０は第２被測定光１０２を受け、変位信号１０４を出力する。ここで、前記変位センサ４０は光学的ＸＹ２次元センサであることができる。前記光学的ＸＹ２次元センサは低解像度ＣＭＯＳ及びマイクロプログラム制御装置（ＭＣＵ）を含むことができ、低解像度ＣＭＯＳの迅速処理という特性により前後連続の２枚の画像の差異を迅速に判断し、その速度が１５００ｐｃ／ｓ（枚／秒）に達することができる。これにより、ＭＣＵはデジタル画像の関連及び追跡（ｄｉｇｉｔａｌｉｍａｇｅｃｏｒｒｅｌａｔｉｏｎａｎｄｔｒａｃｋｉｎｇ、ＤＩＣａｎｄｔｒａｃｋｉｎｇ）の関連技術により、現在視野の画像の移動方向又は変位センサ４０の移動方向を取得し、さらに、後続に応用されるために、（Ｘ、Ｙ）の２次元数値を含む変位信号１０４を出力し、そのうちのＸ、Ｙのそれぞれの数値は所定の絶対零度の各方向に相対する移動距離を代表する。前述の第１平面１１は被測定皮膚１に接触するため、もう１つの次元Ｚは確定値であるため検出する必要がない（図２に示すように）。強調すべきことは、ＸＹの２次元方向の変位センサにおいて、物理的な３軸加速度計（ａｃｃｅｌｅｒｏｍｅｔｅｒ）のような他の検出方法を選択して代替することができず、その主な原因は３軸加速度計の変位の速度が低いためである。さらに、規格がｌｏｗｇに属する加速度計の精度が明らかに不足であり、光学式マウス用の光学的ＸＹ２次元センサに用いられる精度は皮膚の顕微鏡イメージングの応用に十分であり、本来の光路を利用して反射光１００に対して直接分光した後に達成することができ、統合した設計が容易である。

制御回路５０はイメージセンサ３０及び変位センサ４０に結合され、制御回路５０は画像信号１０３、変位信号１０４及び皮膚部位標識１０５を受信し、複数の変位信号１０４及び皮膚部位標識１０５に基づいて、複数の画像信号１０３を、所定曲率を有するステッチ画像１０６にステッチし、制御回路５０はステッチ画像１０６を表示ユニット７０に出力する。前記所定曲率は予め組み込まれて記憶されるものであることができ、各皮膚部位標識１０５は各被測定皮膚に対応する所定曲率を含み、即ち、本発明は仮想顔画像を予め組み込むことができる。前記制御回路５０は画像信号プロセッサ（ｉｍａｇｅｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ、ＩＳＰ）の回路基板を含むことができる。本発明の第１実施例において、イメージセンサ３０により構成される視野（例えば、３ｍｍ×３ｍｍ）の周縁から内に１ｍｍ収縮する領域はそのうちの１つの画像信号１０３ともう１つの画像信号１０３とが顕微鏡イメージングステッチ（ｍｉｃｒｏｓｃｏｐｉｃｉｍａｇｉｎｇｓｔｉｔｃｈｉｎｇ）した重なる所であり、重ねた画像（ｓｕｐｅｒｉｍｐｏｓｅｄｉｍａｇｅｓ）、屈曲の所の曲線適合（ｃｕｒｖｅｆｉｔｔｉｎｇ）、雑音消去又は画像構造補正などの用途にすることができる。ここで、制御回路５０は伝送線８０により表示ユニット７０に結合されるため、ステッチ画像１０６を伝送線８０により表示ユニット７０に出力する。

３軸ジャイロ６０は第２平面１２に結合されるケーシング２内に固設され、３次元信号１０７を制御回路５０に出力する。制御回路５０は画像信号１０３、変位信号１０４、皮膚部位標識１０５及び３次元信号１０７を受信し、複数の変位信号１０４、皮膚部位標識１０５及び複数の３次元信号１０７に基づいて、複数の画像信号１０３を、実際の曲率を有するステッチ画像１０６にステッチする。前記実際の曲率は現在の被測定対象者の真実な顔の表面の真実な曲率を有することができ、実際の測定された被測定対象者の顔の表面の複数の３次元信号１０７により取得することができる。本発明の第１実施例において、前記３次元信号１０７は（ａ、ｂ、ｃ）の３次元数値を含み、ここで、ａ、ｂ、ｃのそれぞれの数値は所定の絶対零度の各方向に相対する回転角度（図２に示すように）を代表する。さらに、制御回路５０はそのうちの１つの画像信号１０３を受信する時、制御回路５０は閾値及び少なくとも１つの変位信号１０４に基づいて、もう１つの画像信号１０３を続けて受信するか否かを判断する。本発明の第１実施例において、前記閾値は２ｍｍであることができ、即ち、制御回路５０は画像信号１０３が現在の位置から既に２ｍｍ変位したと判断した時、もう１つの画像信号１０３を受信して画像ステッチを行う。座標の定義は１つの視野を１つの点（例えば、３ｍｍ×３ｍｍの中央点）とするため、連続した２つの画像信号１０３は２ｍｍの間隔で重なり、即ち、前述の１ｍｍの重なる所を生成する。

図３を参照するように、これは本発明の顕微鏡イメージングステッチ装置の皮膚部位標識を示す図である。ここで、各皮膚部位標識１０５は各被測定皮膚１の所定曲率を含む。本発明の第１実施例において、皮膚部位標識１０５は前額部Ａ、右眼Ｂ、左眼Ｃ、右頬Ｄ、左頬Ｅ及び下顎Ｆを含むことができる。実際に人体の皮膚を検出する時、現在の検出している領域が人体の正確な相対位置に位置することを表示するように、顔全体又は全身皮膚に対する検出を完全に行う必要がないと考慮する。このため、被測定皮膚１に対して検出前又は検出すると同時に、皮膚部位標識１０５を入力し、制御回路５０は皮膚部位標識１０５により現在の検出している人体部位がどこにあるかを取得することができるため、顔全体又は全身の皮膚に対する検出を完全に行わないとしても、表示ユニット７０は、依然として各皮膚部位標識１０５に基づいて各被測定皮膚１の所定曲率などに対して数値の差異を表示することができ、仮想顔イメージにおいて検出した一部の人体皮膚のステッチ画像１０６を表示する。例えば、皮膚部位標識１０５が右眼Ｂである時、表示ユニット７０に表示されるステッチ画像１０６は誤判定のために左眼Ｃに表示することができない。さらに、本発明は各被測定皮膚に対応する所定曲率及び３軸ジャイロ６０により出力される３次元信号１０７を結合することができるため、本発明の顕微鏡イメージングステッチ装置は前記仮想顔イメージと真実の検出した被測定皮膚１に基づいて取得された３次元数値（ａ、ｂ、ｃ）とを互いに組み合わせて且つ部分的に組合せることによりさらに精確な人間の顔の画像を形成することができる。又は、前記仮想顔イメージの基礎上において、真実に検出された被測定皮膚１により取得される３次元数値（ａ、ｂ、ｃ）に基づいて仮想顔画像を補正し、さらに、真実の状況に適合するステッチ画像１０６を表示し、即ち、制御回路は実際の曲率に基づいて所定曲率に対してリアルタイムに同期補正することができる。しかしながら、前述は例示的な説明に過ぎず、本発明の応用はそれに限定されない。

図４及び図５に示すように、これは本発明の顕微鏡イメージングステッチ装置のステッチ画像を示す図である。本発明の顕微鏡イメージングステッチ装置を実際に使用する時、画像信号１０３は連続した状況でなければ、制御回路５０が画像ステッチを行うことができない。図４に示すように、第１平面１１は被測定皮膚１における移動経路３において、複数の画像信号１０３は順にステッチし及び部分的に重なる。非平面である被測定皮膚１にあった場合、制御回路５０は皮膚部位標識１０５及び３次元信号１０７に基づいて、複数の画像信号１０３に対して曲率（即ち１／Ｒであり、ここで、Ｒは曲率半径である）のリアルタイムな補正を行い、制御回路５０は屈曲の所の複数の画像信号１０３に対して曲線適合（ｃｕｒｖｅｆｉｔｔｉｎｇ）を行うことができ、スムーズ（ｓｍｏｏｔｈ）な曲線を生成させ、又は信号の雑音除去という効果に達することができる。

３軸ジャイロ６０は各視野（例えば、３ｍｍ×３ｍｍ）の絶対回転角度又は１つ前の画像信号１０３に対する相対回転角度、それにＸ、Ｙの変位量を加えて測定し、即ち、５つの物理量（Ｘ、Ｙ、ａ、ｂ、ｃ）を統合して３次元立体の表面画像をステッチすることができる。３次元パズルのように、各パズルはいずれも独自的及び自身により撮影される視野を有する。毎回の走査はいずれも独立した事件であるため、即ち、零度に改めて戻る原点（絶対零度）であり、イメージセンサ３０が第１枚の写真を撮影した後原点（ｘ＝０、ｙ＝０、ａ＝０、ｂ＝０、ｃ＝０）を有した後に移動し始める。ソフトウェア又はアルゴリズムにより視野が２ｍｍごとに移動するともう１枚の写真を撮影するように定義する場合、変位センサ４０は既に絶対零度から２ｍｍを超えるように移動した後、即ち、もう１つの画像信号１０３をキャプチャーするように制御回路５０をトリガー（ｔｒｉｇｇｅｒ）し、イメージセンサ３０が撮影動作を行わせると同時に、制御回路５０も３軸ジャイロ６０の３次元信号１０７をキャプチャーする。このように、例えば、（ｘ＝２、ｙ＝１、ａ＝１、ｂ＝１、ｃ＝１）の情報を取得することができ、制御回路５０は連続する２つの画像信号１０３に対し３次元空間においてステッチさせる。

図６は本発明の顕微鏡イメージングステッチ装置における第２実施例の構成図である。本発明の第２実施例と前述の第１実施例とはほぼ同じであるが、ケーシング２が環状面１３の外を被覆することにより、第１平面１１を露出させ、ケーシング２の外にボタン２００及び指示ランプ２０１が配置される。前記ボタン２００はユーザが被測定皮膚１に対して走査を行う検出の始点と終点を定義させることができる。指示ランプ２０１は現在の検出モデル又は電力状態を表示することができる。前述の実体のボタン２００もソフトウェアにおける仮想ボタンにより代替することができるが、前述は例示的な説明に過ぎず、本発明の応用はそれに限定されない。

本発明に記載された顕微鏡イメージングステッチ装置を使用する時、光キャビティ１０によって被測定皮膚１から反射された反射光を受け、その後ビームスプリッタ２０によってイメージセンサ３０（例えばＣＣＤ又はＣＭＯＳ）に第１被測定光１０１を出力し、変位センサ４０（例えば光学的ＸＹ２次元センサ）に第２被測定光１０２を出力し、反射光１００の大多数のエネルギーは依然としてイメージセンサ３０に配分されたため、後続のステッチ画像の構成に影響を与えることがなく、また、変位センサ４０とイメージセンサ３０は同期に実行することができるため（制御回路は変位信号が閾値より大きいと判断した場合）、制御回路５０は複数の画像信号１０３に対し均一且つスムーズにステッチ処理を行うことができる。詳しくは、測定する前に各被測定皮膚１に対応する皮膚部位標識１０５を入力し又は予め設定して記憶することができ、各皮膚部位標識１０５は各被測定皮膚１の曲率（例えば、人体の顎皮膚の曲率が人体の前額皮膚の曲率より大きい）を含むため、制御回路５０は複数の変位信号１０４及び皮膚部位標識１０５に基づいて、複数の画像信号１０３を、曲率を有するステッチ画像１０６にステッチすることができ、制御回路５０は伝統的な完全に平らな画像に比べて少ない射影ひずみを有するステッチ画像１０６を取得させることができ、皮膚の幾何学的特性に対する誤判定を効果的に低減させる。非平面である被測定皮膚１にあった場合、制御回路５０は皮膚部位標識１０５及び３軸ジャイロ６０の３次元信号１０７に基づいて、複数の画像信号１０３に対して曲率（即ち、１／Ｒである）をリアルタイムに補正する。図７に示すように、これは本発明の顕微鏡イメージングステッチ装置の顔の皮膚イメージングを示す図である。

皮膚科の顕微鏡イメージの判断分析に対し、本発明は前代未聞の観察方法を提供することができ、伝統的なデジタルの目の前のものしか見えない（小領域が見えるが大範囲が見えない）欠点を解決すると同時に、技術上にイメージ特性のみを使用する方法でイメージステッチを行うことを捨て、本発明は実際の物理量パラメータ（Ｘ、Ｙ、ａ、ｂ、ｃ）と組み合わせて実際のイメージの空間分布を取得することができ、これにより、実際のサイズの３次元表面分布モデルを構成し、視覚化の解釈と比較追跡に有利であり、さらに多くの画像情報を提供することができる。

そのため、本発明に記載された顕微鏡イメージングステッチ装置は従来技術の一度に数倍視野を有する単一顕微イメージを表示できない技術的課題を解決することができ、皮膚の幾何学的特性による射影ひずみを改善することができ、大規模の顕微イメージの解釈を便利に行い及び解釈の精確率を向上させる目的を達することができる。

以上の記述は、本発明の好ましい実施例の詳細な説明と図面に過ぎず、本発明の特徴はそれに限定されず、本発明を限定するものではなく、本発明の全部範囲は以下に記述される特許請求の範囲に準ずべき、本発明の特許請求の範囲の精神及び他の類似な変更に適合する実施例であれば、いずれも本発明の範囲内に含まれるべき、当業者であれば、容易に想到できる変更又は補正はいずれも以下の本願の請求の範囲に含まれるべきである。

１被測定皮膚
２ケーシング
３移動経路
１０光キャビティ
１１第１平面
１２第２平面
１３環状面
２０ビームスプリッタ
３０イメージセンサ
４０変位センサ
５０制御回路
６０３軸ジャイロ
７０表示ユニット
８０伝送線
１００反射光
１０１第１被測定光
１０２第２被測定光
１０３画像信号
１０４変位信号
１０５皮膚部位標識
１０６ステッチ画像
１０７３次元信号
１２１顕微レンズ
１２２発光ユニット
Ａ前額部
Ｂ右眼
Ｃ左眼
Ｄ右頬
Ｅ左頬
Ｆ下顎
Ｒ曲率半径
２００ボタン
２０１指示ランプ

Claims

被測定皮膚を検出するのに用いられる顕微鏡イメージングステッチ装置であって、
第１平面及び第２平面が互いに平行するように設置された切断直円錐体を有し、前記第２平面より小さい前記第１平面が前記被測定皮膚に接触し、前記第２平面は前記第１平面に対して発光し、前記被測定皮膚から反射された反射光を受ける光キャビティと、
顕微レンズにより前記反射光を受け、２つの異なる方向に沿って第１被測定光及び第２被測定光を出力するビームスプリッタと、
前記第１被測定光を受け、画像信号を出力するイメージセンサと、
前記第２被測定光を受け、変位信号を出力する変位センサと、
前記イメージセンサ及び前記変位センサに結合し、前記画像信号及び前記変位信号を受信し、複数の前記変位信号に基づいて複数の前記画像信号をステッチ画像にステッチする制御回路と、を含むことを特徴とする顕微鏡イメージングステッチ装置。
前記制御回路は少なくとも１つの皮膚部位標識をさらに受信し、各前記皮膚部位標識は各前記被測定皮膚に対応する所定曲率を含み、前記制御回路は複数の前記変位信号及び前記少なくとも１つの皮膚部位標識に基づいて複数の前記画像信号を、前記所定曲率を有する前記ステッチ画像にステッチする、ことを特徴とする請求項１に記載の顕微鏡イメージングステッチ装置。
前記制御回路に結合される３軸ジャイロをさらに含み、前記３軸ジャイロはケーシング内に固設され、３次元信号を前記制御回路に出力し、前記制御回路は前記画像信号、前記変位信号及び前記３次元信号を受信し、複数の前記変位信号及び複数の前記３次元信号に基づいて複数の前記画像信号を実際の曲率を有する前記ステッチ画像にステッチする、ことを特徴とする請求項１に記載の顕微鏡イメージングステッチ装置。
前記第２平面に環設される複数の発光ユニットをさらに含み、前記複数の発光ユニットは前記第１平面に向けて発光し、前記複数の発光ユニットのそれぞれの側辺の延長線と前記第１平面の法線との間に挟む最小角度は３０°である、ことを特徴とする請求項１に記載の顕微鏡イメージングステッチ装置。
前記制御回路がそのうちの１つの前記画像信号を受信した場合、前記制御回路は閾値及び少なくとも１つの前記変位信号に基づいて、もう１つの前記画像信号を続けて受信するか否かを判断する、ことを特徴とする請求項１に記載の顕微鏡イメージングステッチ装置。
前記閾値は２ｍｍであり、前記イメージセンサの視野は３ｍｍ×３ｍｍである、ことを特徴とする請求項５に記載の顕微鏡イメージングステッチ装置。
前記第１被測定光の光強度が前記反射光の光強度に占める割合は９９％、９５％又は９０％であり、前記第２被測定光の光強度が前記反射光の光強度に占める割合は１％、５％又は１０％である、ことを特徴とする請求項１に記載の顕微鏡イメージングステッチ装置。
被測定皮膚を検出するのに用いられる顕微鏡イメージングステッチ方法であって、
切断直円錐体から前記被測定皮膚に対して発光することと、
ビームスプリッタは顕微レンズにより前記被測定皮膚から反射された反射光を受け、２つの異なる方向に沿って第１被測定光及び第２被測定光を出力することと、
イメージセンサは前記第１被測定光を受け、画像信号を出力することと、
変位センサは前記第２被測定光を受け、変位信号を出力することと、
制御回路は前記画像信号及び前記変位信号を受信し、複数の前記変位信号に基づいて複数の前記画像信号をステッチ画像にステッチすることと、を含むことを特徴とする顕微鏡イメージングステッチ方法。
前記制御回路は少なくとも１つの皮膚部位標識をさらに受信し、各前記皮膚部位標識は各前記被測定皮膚に対応する所定曲率を含み、前記制御回路は複数の前記変位信号及び前記少なくとも１つの皮膚部位標識に基づいて複数の前記画像信号を、前記所定曲率を有する前記ステッチ画像にステッチする、ことを特徴とする請求項８に記載の顕微鏡イメージングステッチ方法。
前記制御回路は３次元信号をさらに受信し、複数の前記変位信号及び複数の前記３次元信号に基づいて複数の前記画像信号を実際の曲率を有する前記ステッチ画像にステッチする、ことを特徴とする請求項８に記載の顕微鏡イメージングステッチ方法。
前記制御回路がそのうちの１つの前記画像信号を受信した場合、前記制御回路は閾値及び少なくとも１つの前記変位信号に基づいて、もう１つの前記画像信号を続けて受信するか否かを判断するステップを含む、ことを特徴とする請求項８に記載の顕微鏡イメージングステッチ方法。
前記閾値は２ｍｍであり、前記イメージセンサの視野は３ｍｍ×３ｍｍである、ことを特徴とする請求項１１に記載の顕微鏡イメージングステッチ方法。
前記イメージセンサの視野の周縁から内に１ｍｍ収縮する領域はそのうちの１つの前記画像信号ともう１つの前記画像信号とがイメージステッチする重なる所である、ことを特徴とする請求項１１に記載の顕微鏡イメージングステッチ方法。
前記第１被測定光の光強度が前記反射光の光強度に占める割合は９９％、９５％又は９０％であり、前記第２被測定光の光強度が前記反射光の光強度に占める割合は１％、５％又は１０％である、ことを特徴とする請求項８に記載の顕微鏡イメージングステッチ方法。
前記切断直円錐体が前記被測定皮膚において１ｍｍ／ｓである速度で移動するステップを含む、ことを特徴とする請求項８に記載の顕微鏡イメージングステッチ方法。