JP2019022477A - 染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析 - Google Patents

Abstract

【課題】染色体を分断化しかつ核型分析することの認知的負担を低減する末端間の解決策を提供する。【解決手段】クラウドソーシングを採用するのと同時にクラウドソーシングに関連する問題点に対処することによって、エキスパートに対する依存が低減される方法。クラウドソーシングを通して特定されたセグメントは、ディープ畳み込みネットワーク（ＣＮＮ）を採用することによって実現される分類を改善するために前処理される。【選択図】図２Ａ

Description

優先権の主張
本願は、２０１７年７月１９日に出願された特許文献１からの優先権を主張するものである。先述の出願の内容全体が参照により本明細書に組み込まれる。

本明細書における実施形態は、一般的に、細胞遺伝学に関し、より詳細には、染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析のためのシステムおよび方法に関する。

中期染色体分析は、細胞遺伝学において利用される主要な技法のうちの１つである。中期の間の染色体セグメントまたは転座の観察は、細胞ゲノムの構造変化を指示でき、かつ、診断目的に使用されることが多い。中期でのマイクロ写真撮影による染色体の核型分析は、細胞伸展画像の個々の染色体を特徴付けることによって行われる。現在、細胞画像から染色体を手動で分断化し、かつ、分断化された染色体を２４タイプのうちの１つに、または異常細胞の場合は既知の転座のタイプのうちの１つに分類するために、かなりの手間および時間が費やされる。このような画像における染色体の分断化は、画像において、画像処理技法によって容易に分離できないような重なり合っている染色体がある場合、特に労力を要し、かつ、手動で行われることが多い。伸展画像からの染色体のセグメンテーションおよび分類を妥当な精度で自動化するための多くの技法が提案されているが、領域の臨界の場合、人間が介在すること（ｈｕｍａｎ ｉｎ ｔｈｅ ｌｏｏｐ）が依然必要とされることが多い。

インド特許出願第２０１７２１０２５６７４号

本開示の実施形態は、従来のシステムにおいて本発明者によって認識された上述の技術的問題の１つまたは複数に対する解決策としての技術的な改善を提示する。

一態様では、中期染色体のデジタル画像を受信することと、デジタル画像の分断化のためのクラウドソーシングを最適化することであって、最適化されたクラウドソーシングは、デジタル画像を複数のセクションに分割すること、同時に、複数のセクションのそれぞれを、クラウドソーシング要員として参加している１人または複数人の作業者に割り当てて、割り当てられたセクションを分断化することであって、割り当てられたセクション内に完全に交差するまたは存在する染色体の輪郭をマーキングすることを含む、分断化することによってセグメントを得ること、クラウドソーシング要員からスパマーを特定しかつ排除するために１人または複数人の作業者から受信したセグメントを分析することであって、分析するステップは、誤ったマーキングをチェックすること、マーキングの正確さをチェックすること、およびマーキングの対象範囲を最大化することを含む、分析すること、および、分析に基づく分類のために分析されたセグメントから一致したセグメントのセットを選択することを含む、最適化することと、を含む、プロセッサ実施方法が提供される。

別の態様では、１つまたは複数のデータ記憶デバイスであって、１つまたは複数のプロセッサに動作可能に結合され、かつ、１つまたは複数のプロセッサによって、中期染色体のデジタル画像を受信することと、デジタル画像の分断化のためのクラウドソーシングを最適化することであって、最適化されたクラウドソーシングは、デジタル画像を複数のセクションに分割すること、同時に、複数のセクションのそれぞれを、クラウドソーシング要員として参加している１人または複数人の作業者に割り当てて、割り当てられたセクションを分断化することであって、割り当てられたセクション内に完全に交差するまたは存在する染色体の輪郭をマーキングすることを含む、分断化することによってセグメントを得ること、クラウドソーシング要員からスパマーを特定しかつ排除するために１人または複数人の作業者から受信したセグメントを分析することであって、分析するステップは、誤ったマーキングをチェックすること、マーキングの正確さをチェックすること、およびマーキングの対象範囲を最大化することを含む、分析すること、および、分析に基づく分類のために分析されたセグメントから一致したセグメントのセットを選択することを含む、最適化することと、を実行するために構成される命令を記憶するように構成される、データ記憶デバイスを含むシステムが提供される。

さらに別の態様では、コンピュータ可読プログラムを組み入れた非一時的なコンピュータ可読媒体を含むコンピュータプログラム製品であって、コンピュータ可読プログラムは、コンピューティングデバイス上で実行される時、コンピューティングデバイスに、中期染色体のデジタル画像を受信することと、デジタル画像の分断化のためのクラウドソーシングを最適化することであって、最適化されたクラウドソーシングは、デジタル画像を複数のセクションに分割すること、同時に、複数のセクションのそれぞれを、クラウドソーシング要員として参加している１人または複数人の作業者に割り当てて、割り当てられたセクションを分断化することであって、割り当てられたセクション内に完全に交差するまたは存在する染色体の輪郭をマーキングすることを含む、分断化することによってセグメントを得ること、クラウドソーシング要員からスパマーを特定しかつ排除するために１人または複数人の作業者から受信したセグメントを分析することであって、分析するステップは、誤ったマーキングをチェックすること、マーキングの正確さをチェックすること、およびマーキングの対象範囲を最大化することを含む、分析すること、および分析に基づく分類のために分析されたセグメントから一致したセグメントのセットを選択することを含む、分析すること、を含む、最適化することと、を行わせる、コンピュータプログラム製品が提供される。

本開示の一実施形態では、１つまたは複数のハードウェアプロセッサは、第１の閾値未満の信頼度に関連付けられた１人または複数人の作業者を排除することであって、信頼度は作業者のマーキングがマーキングされたセグメントの数のモードに近い回数を表す、排除することと、第２の閾値未満の品質に関連付けられた１人または複数人の作業者を排除することであって、品質は、命令の誤解および一貫して劣っている分断化に基づく敵対的マーキングを表す、排除することと、第３の閾値未満のセグメントの数に関連付けられた１人または複数人の作業者を排除することと、を含み、第１の閾値、第２の閾値、および第３の閾値は、経験値である、１つまたは複数のフィルタリングステップによってセグメントを分析するステップを行うようにさらに構成される。

本開示の一実施形態では、１つまたは複数のハードウェアプロセッサは、ディープ畳み込みニューラルネットワーク（ＣＮＮ）を使用して一致したセグメントのセットを分類するようにさらに構成され、分類するステップは、一致したセグメントの画像を二値化することと、二値化された画像、および染色体に関連付けられたタイトフィットする矩形の全面積の画素値の合計に基づく白色値を使用して一致したセグメントから折れ曲がった染色体を特定すること、一致したセグメントの二値化された画像上のフィットした線の傾きに基づいて折れ曲がった染色体の折れ曲がっている向きを計算すること、折れ曲がった染色体の折れ曲がっている中心を計算することであって、折れ曲がった染色体は曲げ軸に沿ってそれぞれ１つの腕を包含する、計算すること、および、曲げ軸に沿って腕をとじ合わせて、折れ曲がった染色体を再構築することで、矯正した染色体を得ることによって、折れ曲がった染色体を矯正することを含む。１つまたは複数のハードウェアプロセッサは、動原体の位置およびこの関連の長さを使用して染色体の長さを正常化するように、およびディープＣＮＮを使用して染色体をこの正常化された長さに基づいて分類するようにさらに構成される。

前述の全般的な説明および以下の詳細な説明は両方共例示でありかつ単に説明のためのものであり、特許請求されるような本開示の実施形態を制限するものではないことは、理解されたい。

本明細書における実施形態は、図面を参照して以下の詳細な説明からより良く理解されるであろう。

本開示の一実施形態に従って、染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析のためのシステムの例示のブロック図 本開示の一実施形態に従って、染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析のためのコンピュータ実施方法を示す例示のフロー図 本開示の一実施形態に従って、染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析のためのコンピュータ実施方法を示す例示のフロー図 クラウドソーシング要員による中期染色体のデジタル画像におけるマーキングの例を示す説明図 クラウドソーシング要員による中期染色体のデジタル画像におけるマーキングの例を示す説明図 クラウドソーシング要員による中期染色体のデジタル画像の所定の範囲におけるマーキングの例を示す説明図 クラウドソーシング要員による中期染色体のデジタル画像の所定の範囲におけるマーキングの例を示す説明図 本開示の一実施形態に従って、折れ曲がった染色体を矯正することに関わるステップ（ａ〜ｇ）を示す説明図 本開示の一実施形態に従って、負の傾きを有する左の方へ折れ曲がった染色体を示す説明図 本開示の一実施形態に従って、正の傾きを有する右の方へ折れ曲がった染色体を示す説明図 本開示の一実施形態に従って、フィルタリング中に排除されたクラウドソーシング要員からの応答の例（ａ〜ｄ）を示す説明図 本開示の一実施形態に従って、クラウドソーシング要員から受信した試料（ａ〜ｃ）のアノテーションを示す説明図

本明細書における任意のブロック図が本発明の主題の原理を組み入れる例証となるシステムの概念視点を表すことは、当業者によって理解される。同様に、任意のフローチャート、フロー図、状態遷移図、および疑似コードなどが、コンピュータ可読媒体において実質的に表されるため、コンピューティングデバイスまたはプロセッサが明示的に示されるか否かにかかわらず、かかるコンピューティングデバイスまたはプロセッサによって実行可能であるさまざまなプロセスを表す。

例示の実施形態は、添付の図面を参照して説明される。図において、参照番号の最上位桁は、参照番号が最初に現われる図を特定する。都合が良ければどこにでも、同じまたは同様の部分を指すために図面全体を通して同じ参照番号が使用される。開示される原理の例および特徴が本明細書に説明されるが、開示される実施形態の趣旨および範囲から逸脱することなく、修正、適合、および他の実装が可能である。以下の詳細な説明は、単なる例示としてみなされることが意図され、真の範囲および趣旨は、以下の特許請求の範囲によって示される。

詳細な説明を示す前に、以下の論述の全てが、特定の実装が説明されているかにかかわらず、本質的に限定ではなく例示であることは、留意されたい。

染色体は、人体の遺伝コードを包含する細胞核における細長いロープ状構造である。人体は２３対の染色体を有する。染色体分析の核型分析は、ダウン症、エドワーズ症候群、慢性骨髄白血病、およびターナー症候群のような遺伝的異常を検出するための有用な技法である。これらの異常は、種々の疾患に対応する、既知の染色体転座およびセグメントの形で明白である。核型分析は、細胞を培養し、中期の間に細胞の核から染色体を分離しかつそれらをマイクロ写真撮影が可能なようにスライド上で染色することによって行われる。最後に、染色体画像は、種々の染色体セグメントを分類しかつ隔離するためにエキスパートによって分析される。染色体を核型分析する診断的重要性にもかかわらず、細胞培養からの画像の染色体を分断化しかつ分類するために、かなりの手動による時間および手間が必要とされる。本開示のシステムおよび方法は、セグメンテーションおよび分類作業中に関わる認知的負荷を低減し、かつ、誤差がある場合は訂正するためだけにエキスパートに依存することを低減することを目的とする。

核型分析における最も困難な問題は、中期伸展画像において重なり合う染色体のセグメンテーションおよび分類であり、文字通り、重なり合う染色体のセグメンテーションを自動化するための多数の試みがなされているが、成功は限られている。これは、壊れた染色体がさらなる分析に使用できないため、偽陰性率を増加させる可能性がある、偽陽性および染色体断片化の別の大きな要因となり得る非分割クラスタなどの状況に起因する場合がある。１つの別の課題は、染色体が種々の方向に折れ曲がっていることが多いことである。染色体を矯正するのに利用可能ないくつかの視覚ベースの方法があるが、これらの方法は、曲げ度が変動する染色体には適用不可能である。顕微鏡画像のセグメンテーションによるグラウンドトルース作成に対する手動の手間は、生物医学的分析の基本的なステップである。作業の単調さおよび時間のかかる性質によって、トレーニング段階のグラウンドトルースを拡大縮小することは困難である。

本開示のシステムおよび方法は、染色体セグメントにアノテーションを付けるための非エキスパート群の使用、および個々の染色体をカテゴリー分けするための深層分類モデルを組み合わせる、染色体の機械補助のセグメンテーションおよび分類のための末端間の解決策を提供することによって、これらの課題に対処する。本開示のシステムおよび方法は、染色体境界にアノテーションを付けるためにクラウドソーシングプラットフォーム（非エキスパート群）に頼っており、該境界はその後、抽出され、かつ核型分析のために分類エンジンに送り込まれる。とりわけ、折れ曲がった染色体を矯正することは、分類精度を改善するために分類のためのディープニューラルネットワークに染色体画像を送る込む前に行われる。

ここで図面、より詳細には図１〜図８を参照するが、該図面では、同様の参照符号は図全体を通して一貫して対応する特徴を指す。これらの図には、好ましい実施形態が示されており、これらの実施形態は、以下の例示のシステムおよび方法に照らして説明される。

図１は、本開示の一実施形態に従って、染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析のためのシステム１００の例示のブロック図を示す。一実施形態では、システム１００は、１つまたは複数のプロセッサ１０４と、通信インターフェースデバイスまたは入力／出力（Ｉ／Ｏ）インターフェース１０６と、１つまたは複数のプロセッサ１０４に動作可能に結合される１つまたは複数のデータ記憶デバイスまたはメモリ１０２とを含む。ハードウェアプロセッサである１つまたは複数のプロセッサ１０４は、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、状態機械、グラフィックコントローラ、論理回路構成、および／または動作命令に基づいて信号を操作する任意のデバイスとして実装可能である。いくつかある機能の中で特に、プロセッサは、メモリに記憶されたコンピュータ可読命令をフェッチしかつ実行するように構成される。一実施形態では、システム１００は、ラップトップコンピュータ、ノートブック、ハンドヘルドデバイス、ワークステーション、メインフレームコンピュータ、サーバ、およびネットワーククラウドなどのさまざまなコンピューティングシステムにおいて実装可能である。

Ｉ／Ｏインターフェースデバイス１０６は、さまざまなソフトウェアおよびハードウェアインターフェース、例えば、ウェブインターフェース、およびグラフィカルユーザインターフェースなどを含むことができ、かつ、例えば、ＬＡＮケーブルなどの有線ネットワーク、および、ＷＬＡＮ、セルラー、または衛星などの無線ネットワークを含む、多種多様のネットワークＮ／Ｗおよびプロトコルタイプ内の複数の通信を容易にすることができる。一実施形態では、Ｉ／Ｏインターフェースデバイスは、多数のデバイスを互いにまたは別のサーバに接続するための１つまたは複数のポートを含むことができる。

メモリ１０２は、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）およびダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの揮発性メモリ、および／または、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含む当技術分野で既知の任意のコンピュータ可読媒体を含むことができる。一実施形態では、システム１００の１つまたは複数のモジュール（図示せず）はメモリ１０２に記憶できる。

図２Ａおよび図２Ｂは、本開示の一実施形態に従って、染色体のクラウドソーシングおよびディープラーニングベースの分断化ならびに核型分析のためのコンピュータ実施方法２００を示す例示のフロー図を示す。一実施形態では、システム１００は、１つまたは複数のプロセッサ１０４に動作可能に結合される１つまたは複数のデータ記憶デバイスもしくはメモリ１０２を含み、１つまたは複数のプロセッサ１０４によって方法２００のステップを実行するために構成される命令を記憶するように構成される。

方法２００のステップは、ここで、図１のシステム１００の構成要素に関して詳細に説明される。本開示の一実施形態によると、１つまたは複数のプロセッサ１０４は、ステップ２０２において、中期染色体のデジタル画像を受信するように構成される。本開示によると、デジタル画像を分断化するためにエキスパートに依存することはない。その代わりに、方法は、非エキスパート群に頼る。ＣｒｏｗｄＦｌｏｗｅｒ（商標）による作業者は、所与の画像の染色体を分断化するために採用された。分断化することは、ある画像における染色体全ての外郭または輪郭をマーキングすることを伴う。図３Ａおよび図３Ｂは、クラウドソーシング要員による中期染色体のデジタル画像におけるマーキングの２つの例を示す。最初に、１作業者は、ある画像における染色体全てにマーキングすることを必要とされたが、同じ画像を複数の作業者にあてがうことによって冗長性をもたらしている。図３Ａは、とりわけ、このようなシナリオにおいて見られるマーキングを示す。２つの欠点が指摘された。第１に、作業者は、マイクロタスクを完了することなく疲れてやる気をなくしてしまう。平均して、作業者は２０の染色体をマーキングするだけになる。第２に、それぞれの作業者は、同じ画像をあてがわれた別の４人の作業者によってのみ交差評価されることになるため、交流に乏しかった。群で作業する時の重大な課題は、誤ったマーキングまたはスパムマーキングを特定すること、および対象範囲を最大化することである。本開示の中で、（以降で説明される際に特定される）スパマーによるマーキングは、誤ったマーキングまたはスパムマーキングと称される。それ故に、本開示の一実施形態では、１つまたは複数のプロセッサ１０４は、ステップ２０４において、デジタル画像を分断化するためにクラウドソーシングを最適化するように構成される。第１に、一実施形態では、ステップ２０４ａにおいて、デジタル画像は複数のセクションに分割される。ステップ２０４ｂにおいて、複数のセクションのそれぞれは、同時に、クラウドソーシング要員として参加している１人または複数人の作業者に割り当てられて、割り当てられたセクションを分断化することによってセグメントを得る。分断化の一部として、作業者はここで、図３Ｂに示されるように、点線の矩形によって強調される範囲内に完全に交差するまたは存在する染色体をマーキングすることが必要とされた。あるセクションを複数の作業者に同時に割り当てることによって、冗長性が徹底される。大幅な対象範囲の改善が観察された。しかしながら、数人の作業者は、点線の境界でマーキングをやめてしまった。この影響は、作業者にスクリーンショット、および境界にわたる染色体のマーキングを描く例を与える非常に明示的な命令によって対処された。これらの影響の後に、２つのタイプのスパマー、つまり、図４Ａに示されるように、染色体のそれらのグリッドにおける全てを対象範囲とする大きな外郭をマーキングした作業者、およびｉｉ）図４Ｂに見られるように、染色体をマーキングしない／部分的にマーキングする作業者が観察された。さらに、作業者の一部は、重なり合った染色体のマーキングを融合させてしまい、それによって、スパマーを特定しかつ排除することが必要になる。

それ故に、一実施形態では、１つまたは複数のプロセッサ１０４は、ステップ２０４ｃにおいて、１人または複数人の作業者から受信したセグメントを分析するように構成される。このステップは、誤ったマーキングをチェックすること、マーキングの正確さをチェックすること、およびマーキングの対象範囲を最大化することによって、クラウドソーシング要員からスパマーを特定しかつ排除するのに役立つ。ｍの作業者およびｎのデジタル画像があるとする。それぞれの画像はｔのセクションにさらに分割可能であり、Ｉ_ijはｉ番目の画像のＪ番目の部分を表す。Ｓ_ijはＩ_ijのセグメンテーションを提供する作業者の組とする。Ｈ_kを、作業者ｋが割り当てられていた部分を表すタプル（ｉ、ｊ）のセットとする。さらに、ｃ_ijkを、Ｉ_ijのｋ番目の作業者によってマーキングされたセグメントの数とする。

一実施形態では、フィルタリングステップは、第１の閾値未満の信頼度に関連付けられた１人または複数人の作業者を排除することであって、本明細書で以下に説明されるように、信頼度は作業者のマーキングが、マーキングされたセグメントの数のモードに近い回数を表す、排除することを含むことができる。Ｃ_ijを、設定されたＳ_ij上で算出されたｃ_ijkのモードとする。全ての作業者が計数について一致しない場合、Ｃ_ijは中央値に等しいと言明されてよく、同点の場合、より高い値が選定されてよい。さらに、本開示によると、作業者の信頼度は以下によって測定される。

上記は、作業者がモードにほとんど一致している回数を表す。第１の閾値未満の信頼度の全ての作業者は排除されてよい。このフィルタリング機構は、真の染色体への相関関係がほとんどないセグメントをマーキングする傾向にある最も明らかなスパマーを除去する。

一実施形態では、別のフィルタリングステップは、第２の閾値未満の品質に関連付けられた１人または複数人の作業者を排除することであって、品質は敵対的マーキングを表し、該マーキングは、本明細書で後述されるように、命令の誤解、および一貫して劣っている分断化に基づいている、排除することを含むことができる。Ｏ_ijklを、Ｉｉｊに対して作業者ｋによってマーキングされたｌ番目のセグメントとする。本開示によると、スコアＴ（Ｏ_ijkl）は、他の作業者によって提供された最良適合に関して以下に示されるように定められる。

よって、本開示によると、作業者の品質は、該作業者のマーキングの予想される品質、ｑ（ｋ）＝Ｅ［ｔ（Ｏ_ijkl）］によって説明できる。さらなる一実施形態では、別のフィルタリングステップは、第３の閾値未満のセグメントの数に関連付けられた１人または複数人の作業者を排除することを含んでよく、以下のようにする。
１）［ｗ_l、・・・、ｗ_N］はｎの作業者の群を表す。
２）［ａ_l、・・・・・・、ａ_M］はマーキングされなければならない画像セクションを表す。
３）Ｎｅｂｗ（ｉ）は作業者ｉが作業していた画像セクションの指標である。
４）Ｎｅｂａ（ｊ）は区域ｊに対して作業していた作業者の指標である。
５）Ｃ_ijは区域ｊに対して作業者ｉがマーキングした染色体の数である。
６）Ｃ_jは画像区域ｊにおける染色体の数の真値である。
７）ｓ_iは、作業者のラベルノイズを管理する各作業者に関連付けられた標準偏差である、すなわち、作業者によって提供されたラベルは分散ｓ_iによるゼロ平均ガウス確率変数を加えた区域の真の計数：Ｃ_ij＝Ｃ_j＋Ｎ（０、ｓ_i）である。本開示によると、Ｃ_jおよびモデルパラメータｓ_i全ての真値は推定されるものとする。一実施形態によると、ハード期待値最大化（ＥＭ）は以下に示されるように表されてよい。
初期化：

反復ステップ：
モデル推定：

ラベル推定：

全ての作業者のノイズ品質が推定されると、平均ｅｘｐ（（ｌｏｇ（ｓ_i））＋（２＊ｖａｒ（ｌｏｇ（ｓ_i）））より悪いノイズの作業者は排除されてよい。

一実施形態では、第１の閾値、第２の閾値、および第３の閾値は、経験値である。

ステップ２０４ｃにおける分析後にスパマーが特定されかつ排除されると、ステップ２０４ｄにおいて、一致したセグメントのセットは、最良のセグメンテーションの分析および特定に基づいた分類のために分析済みのセグメントから選択される。一致した染色体は、スコアＴ（．）に基づいた欲張り法で選択される。セグメンテーションラベルが選択されると、選択されたマーキングが大幅に重なり合った全ての他の作業者からのラベルは除去される。このプロセスは、選択されるべき残っているセグメンテーションラベルが無くなるまで繰り返される。

本開示の一実施形態によると、１つまたは複数のプロセッサ１０４は、ステップ２０６において、ディープ畳み込みニューラルネットワーク（ＣＮＮ）を使用して一致したセグメントのセットを分類するようにさらに構成される。分類するステップは、以降で説明されるように、最初に、ステップ２０６ａにおいて、折れ曲がった染色体を矯正した後、ステップ２０６ｂにおいて、染色体の長さを正常化し、最後に、ステップ２０６ｃにおいて、ディープＣＮＮを使用して染色体を正常化された長さに基づいて分類することを含む。

ステップ２０４ｄにおいて、個々の染色体がデジタル画像から分断化され、かつ一致したセグメントが選択された後、これらは、分類部に送り込まれて染色体のタイプを判断する。光学顕微鏡から得られた染色体画像の自動分類の主な課題のうちの１つは、染色体が種々の向きに折れ曲がっていることが多いことである。曲げの箇所および程度が種々の染色体に対してさまざまに変動するため、分類の問題はより複雑になる。従って、本開示によると、自動矯正方法は、折れ曲がった染色体を矯正するために採用される。当技術分野で既知の矯正方法は、非常に湾曲した染色体を矯正するには効果的であったが、弱冠湾曲した染色体には良好に機能しない恐れがある。

本開示によると、提示された矯正アルゴリズムはより広範に適用可能である。これは、以降で説明されるように分類を改善するためのいくつかの前処理ステップを伴う。ステップ２０６ａでは、折れ曲がった染色体は矯正される。図５は、本開示の一実施形態に従って、折れ曲がった染色体を矯正することに関わるステップ（ａ〜ｇ）を示す。これに向けて、第１に、一致したセグメントの図５ａに見られる原画像は、図５ｂに示されるように二値化され、染色体の折れ曲がっている向き（図５ｃ）、すなわち、特定の染色体が矯正されているか折れ曲がっているかどうかが判断される。これは、まっすぐの染色体の直立のタイトフィットする矩形が、折れ曲がった染色体の範囲と比較して少ない空白域を包含するという事実に基づいて行われる。従って、本開示によると、白色値「Ｗ」は、（全ての黒画素が値＝０であるとしての白画素の総数を表す）二値化染色体画像、および、タイトフィットする矩形の全面積の画素値の合計の比率として定められる。Ｗ≧Ｗ_Tである染色体はまっすぐな染色体とラベル表示され、この場合、Ｗ_Tは、値が、検討中のデータセットに対して経験的に１７０であると判断される白色閾値である。さらに、湾曲した染色体の曲げ方向が判断される。図５ｃに示されるように線が二値化染色体に合わせられ、この線の傾きの兆候を使用して、染色体の曲げ方向を判断する。図６Ａおよび図６Ｂは、本開示の一実施形態に従って、負の傾きを有する左の方へ折れ曲がった染色体、および正の傾きを有する右の方へ折れ曲がった染色体を示す。

一実施形態では、前処理ステップは、折れ曲がった染色体の折れ曲がっている中心を計算することであって、折れ曲がった染色体は曲げ軸に沿ってそれぞれ１つの腕を包含する、計算することをさらに含む。水平投影ベクトルの最大値および最小値を見つける前に、水平投影ベクトルの分布曲線は、いわゆる、Ｓａｖｉｔｚｋｙ Ｇｏｌａｙフィルタを適用して望まれない局部的な最大値または最小値の一因となる場合がある小さな歪みを無視することによって平滑化される。このステップの結果、染色体は、図５ｄに示されるように、曲げ軸に沿ってそれぞれ１つの腕を包含する２つの部分画像に分けられるが、これは染色体が最も細い場合である。

さらに、本開示の一実施形態によると、染色体腕は、曲げ軸に沿ってとじ合わせられ、折れ曲がった染色体を再構築することで、矯正した染色体を得る。それぞれの部分画像は、ほぼまっすぐの物体である染色体の１つの腕を包含する。２つの部分画像を回転させて、２つの腕が同じ方向になるようにする。この目的のために、それぞれの部分画像は−９０度から９０度に回転させ、この垂直投影ベクトルは、それぞれの回転ステップにおいて算出される。染色体のそれぞれの腕の特定の形状によって、腕が部分画像内で垂直位置にある場合、垂直投影ベクトルは最小幅を実証する。同様のやり方で、上側の腕を回転させて垂直位置になるようにする。２つの腕をとじ合わせることは、整合した上側の腕の下側の黒部分、および整合した下側の腕の上側の黒部分をトリミングし、かつ上側画像を水平方向に移行させて、染色体の上側部分を下側部分に正確に置くことができるようにすることによって行われる。移行させることは、図５ｅに示されるように、上側画像の最下白画素が下側画像の最上白画素の正に最上部にあるように行われる。図５ｅから見ることができるように、染色体腕をとじ合わせた後、染色体画像のいくつかの画素は失われる。これに対処するために、再構築が行われる。このプロセスでは、とじ合わせた染色体の空の部分の２つの外端点（非連結）は、図５ｆにおいて見ることができるように、見出され、かつ、単一の直線として使用して連結される。囲まれた範囲における画素は、次いで、図５ｇに示されるように、空の画素と同じ水平レベルで画素の平均値が埋められる。これは、染色体が水平バンドを有するため行われる。よって、矯正された染色体の同じ水平レベルにおける画素のシェードは同じとするべきである。

染色体セグメント画像は、クラウドソーシングを介したセグメンテーションの結果、サイズが変動する。種々の染色体の最も特異な特徴は、染色体の長さ、および動原体の位置である。この際立った特徴を存続させるために、本開示によると、ステップ２０６ｂにおいて、動原体の位置、およびこの関連の長さを使用して、染色体の長さの正常化が行われる。染色体の動原体は、染色体の最も細い部分である。まっすぐな染色体について、動原体は、行の画素の合計が最も低い、すなわち、白画素または幅の数が最も少ない行番号を見出すことによって見つけられる。湾曲した染色体の場合、折れ曲がっている中央が動原体の位置である。

染色体が折れ曲がっている時、折れ曲がっている方への表面は、長さが収縮され、外面は拡張されている。物体の中心軸の長さは折れ曲がった後も同じ長さのままであることが想定される。染色体の矯正後、染色体の真の長さは、上側切断線の中央から上側縁部までの距離と、下側切断線の中央から下側縁部までの距離とを共に加えることによって算出される。真の長さは、２３対の染色体のそれぞれの核型画像にわたって、０〜１００の値に正常化される。

人間では、それぞれの細胞は通常、計４６の２３対の染色体を包含する。常染色体と呼ばれるこれらの対の２２は、男性および女性両方において同一である。２３番目の対は性染色体ＸおよびＹであり、男性および女性において異なっている。本開示によると、ステップ２０６ｃでは、染色体は、ディープＣＮＮを使用してステップ２０６ｂで得られる正常化された長さに基づいて分類される。

実験結果
データセット：染色体間の重なり合い度が変動する４００の染色された画像で構成されるデータセットであり、このうちの２００は検査のために、残りはトレーニングおよびバリデーションのために保持される。

本開示の方法の有効性は、５０の画像のコントロールセットを検討することによって評価され、これら画像のそれぞれは４６の染色体を包含することが知られた。しかしながら、この事実は、クラウドソーシング要員には明らかにされなかった。それぞれの画像は（３×３）の９セクションに区分され、それぞれの作業者は１０の異なる画像から選定された１０の部分に対してセグメンテーションを行うことが必要とされた。

少数の作業者が完了せずに仕事から離れたため、合計２３０の作業者が分断化プロセスに貢献した。τ＝２およびｋ≧３の閾値は、フィルタリングのための第１のステップとして採用された。これによって、３２の作業者の貢献が除去された。また、平均Ｔ（．）スコアは残りの作業者に対して評価され、０．４の閾値が使用されて、追加の９１の作業者が除去された。図７は、本開示の一実施形態に従って、フィルタリング中に排除されたクラウドソーシング要員からの応答の例（ａ〜ｄ）を示す。矩形は作業者に割り当てられたセクションの輪郭を描いている。特定された種々のタイプのスパマーは、（ａ）割り当てられたセクション内の１つの大きなマーキング、（ｂ）割り当てられたセクション外の大きなマーキング、（ｃ）不完全なマーキング、および（ｄ）１グリッド当たり１つだけの染色体のマーキングであった。スパマーを排除した後、ステップ２０４ｄは一致したセグメントのセットを選択するために採用されたが、Ｔ（．）の非常に低いスコアを有する数個の誤ったマーキングは排除されなかったことが観察された。そのため、０．１の閾値がＴ（．）上で採用されて、セグメンテーションラベルを最終的な推奨で選択可能とする。

これらのステップの後、平均で、１画像あたり３５．９の染色体が特定された。図８は、本開示の一実施形態に従って、フィルタリングおよび完全一致ステップ後のクラウドソーシング要員から受信した試料（ａ〜ｃ）のアノテーションを示す。１８００の個々の染色体画像は、それらの染色体タイプによって手動でアノテーションが付けられたが、分類平衡を維持している。（トレーニングセットにおける２００の全画像から導き出された）これらの画像のうちの１６００は、ディープＣＮＮ分類部をトレーニングするためのトレーニングおよびバリデーションセットに対して使用された。トレーニングした分類部は、（検査セットにおける２００の全画像からの）残りの２００の染色体画像に対して検査した。矯正および前処理をせずに、得られた平均分類精度は６８．５％だった。しかしながら、前処理を行うと、分類精度は８６．７％まで改善した。これらの結果は、分類のためにアノテーションされたトレーニングデータが多くなるように改善させる可能性が非常に高い。

本開示によると、クラウドソーシングされたセグメンテーションおよび自動化された分類中のいずれの誤差も訂正するためのインターフェースが医者に提供されてよい。医者は、インターフェース上の対応する分類からおよびこれに焦点を合わせてマーキングする特定の染色体を選択できる。医者（エキスパート）は、セグメンテーションまたは分類どちらかにおいて任意の誤差を見つける場合、これらを修正し、かつ訂正された応答をシステムに保存することができる。

よって、本開示によると、本明細書において上述されたシステムおよび方法は、クラウドソーシング、前処理、およびディープラーニングの組み合わせを使用して染色体を分断化しかつ分類することを容易にする。この場合、非エキスパート群は、（核型分析中に染色体画像を手動で分断化しかつこれらにアノテーションを付ける臨床医とは対照的に）細胞画像から染色体を分断化するために利用される。該染色体はその後、矯正され、かつ分類のために（階層型）ディープニューラルネットワークに送り込まれる。本開示のシステムおよび方法を使用して行われた実験、および得られた結果は、染色体を分断化しかつ核型分析する認知的負担の大幅な低減を指示する。誤ったマーキングまたはスパムマーキングのみならず、セグメンテーションラベルの対象範囲の最大化の課題にも対処している。さらに、分類精度を改善するために、分類のために染色体画像をディープ畳み込みネットワーク（ＣＮＮ）に送り込む前に、折れ曲がった染色体の矯正および染色体長さ正常化のように染色体セグメントの前処理によって該画像の分類のために、ディープラーニングが採用されている。本開示の方法およびシステムは、染色体を分断化しかつ核型分析することを促し、かつこれらの認知的負担を大幅に低減する結果をもたらす末端間のパイプラインの形の解決策を提供する。当該方法およびシステムは、染色体が折れ曲がっている状況でも、計算コストが低く、時間効率が良く、堅牢で信頼できるものである。

本明細書には、当業者が、本開示の実施形態を作成かつ使用できるように本明細書における主題が記載されている。ここで定められる主題の実施形態の範囲は、当業者が想到するような他の修正を含むことができる。このような他の修正は、これらが特許請求の範囲の文言と相違しない同様の要素を有するか、これらが該文言と本質的でない相違を有する等価の要素を含む場合、該実施形態の範囲内にあることが意図される。

ここで定められる主題の実施形態の範囲は、当業者が想到するような他の修正を含むことができる。このような他の修正は、これらが特許請求の範囲の文言と相違しない同様の要素を有するか、これらが該文言と本質的でない相違を有する等価の要素を含む場合、該実施形態の範囲内にあることが意図される。

しかしながら、保護の範囲が、このようなプログラムにまで、加えて、メッセージを有するコンピュータ可読手段にまで拡張されること、および、このようなコンピュータ可読記憶手段が、サーバもしくはモバイルデバイス、または任意の適したプログラマブルデバイス上でプログラムが起動する時に、当該方法の１つまたは複数のステップを実装するためのプログラムコード手段を包含することを理解されたい。ハードウェアデバイスは、例えば、サーバもしくはパーソナルコンピュータなどのような任意の種類のコンピュータ、またはその任意の組み合わせを含めて、プログラム可能な任意の種類のデバイスとすることができる。デバイスは、例えば、特定用途向け集積回路（ＡＳＩＣ）のようなハードウェア手段、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、もしくはハードウェア手段とソフトウェア手段、例えばＡＳＩＣとＦＰＧＡとの組合せ、または少なくとも１つのマイクロプロセッサ、およびソフトウェアモジュールが配置されている少なくとも１つのメモリとすることができる手段も含むことができる。よって、この手段は、ハードウェア手段およびソフトウェア手段の両方を含むことができる。本明細書において説明される方法の実施形態は、ハードウェアおよびソフトウェアで実装可能である。デバイスは、ソフトウェア手段を含むこともできる。代替的には、本開示の実施形態は、例えば複数のＣＰＵを使用して、異なるハードウェアデバイスで実装されてよい。

本明細書における実施形態は、ハードウェア要素およびソフトウェア要素を含むことができる。ソフトウェアで実装される実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されない。本開示のシステムを含み、かつ本明細書に説明されるさまざまなモジュールによって果たされる機能は、他のモジュールにおいて、または他のモジュールの組合せにおいて実装されてよい。この説明の目的で、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと関連して使用するためのプログラムを備える、記憶する、通信する、伝える、または移送することができる、任意の装置とすることができる。本明細書に説明されるさまざまなモジュールは、ソフトウェアモジュールとしておよび／またはハードウェアモジュールとして実装されてよく、任意のタイプの非一時的なコンピュータ可読媒体または他の記憶デバイスに記憶されてよい。非一時的なコンピュータ可読媒体のいくつかの非限定的な例は、ＣＤ、ＤＶＤ、ＢＬＵ−ＲＡＹ、フラッシュメモリ、およびハードディスクドライブを含む。

さらに、プロセスのステップ、方法のステップ、または技法などについて逐次的な順番で説明されている場合があるが、かかるプロセス、方法、および技法は、他の順番で機能するように構成されてよい。換言すると、説明可能であるステップのいずれの順序または順番も、ステップがその順番で行われるという必要条件を必ずしも指示するわけではない。本明細書に説明されるプロセスのステップは、実用的な任意の順番で行われてよい。さらに、ステップの中に、同時に行われるものがあってよい。

例証されたステップは、示された例示の実施形態の説明のために述べられたものであり、継続している技術開発が、特定の機能を果たすような形で変化していくことは見込まれる。これらの例は、例証を目的として本明細書に提示されたものであり、限定を目的としたものではない。さらに、機能を構築するブロックが持つ境界は、説明の便宜上、本明細書では随意に定められている。それらの指定される機能および関係が適切に果たされる限り、代替的境界を定めることが可能である。本明細書に包含される教示に基づいた（本明細書に説明されるものの等価、拡張、変形、変態などを含む）代替策は、当業者には明らかとなる。このような代替策は、開示された実施形態の範囲および趣旨の範囲内にある。また、「備える」、「有する」、「包含する」、および「含む」という言葉、および他の類似の形態は、意味が同義であり、かつ、これらの言葉のいずれか１つに続く項目（単数または複数）が、かかる項目（単数または複数）の網羅的な列挙を意味するものでも、列挙された項目（単数または複数）のみに限定することを意味するものでもないという点において、オープンエンドであることが意図されている。本明細書および添付の特許請求の範囲において使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」が、その文脈において別段明確に指し示していない限り、複数物への言及を含んでいることも留意されなければならない。

本開示および例は単に例示とみなされるものとし、開示された実施形態の真の範囲および趣旨は以下の特許請求の範囲によって指示されるものとすることが意図される。

Claims (8)

1. 中期染色体のデジタル画像を受信すること（２０２）と、
   前記デジタル画像の分断化のためのクラウドソーシングを最適化すること（２０４）であって、最適化された前記クラウドソーシングは、
   前記デジタル画像を複数のセクションに分割すること（２０４ａ）、
   同時に、前記複数のセクションのそれぞれを、クラウドソーシング要員として参加している１人または複数人の作業者に割り当てて、割り当てられた前記セクションを分断化することであって、前記割り当てられたセクション内に完全に交差するまたは存在する染色体の輪郭をマーキングすることを含む、分断化することによってセグメントを得ること（２０４ｂ）、
   前記クラウドソーシング要員からスパマーを特定しかつ排除するために前記１人または複数人の作業者から受信した前記セグメントを分析することであって、前記分析するステップは、誤ったマーキングをチェックすること、マーキングの正確さをチェックすること、およびマーキングの対象範囲を最大化することを含む、分析すること（２０４ｃ）、および、
   前記分析に基づく分類のために分析された前記セグメントから一致したセグメントのセットを選択すること（２０４ｄ）を含む、最適化することと、を含む
   ことを特徴とするプロセッサ実施方法（２００）。
2. 前記セグメントを分析するステップは、第１の閾値未満の信頼度に関連付けられた１人または複数人の作業者を排除することであって、前記信頼度は作業者のマーキングがマーキングされたセグメントの数のモードに近い回数を表す、排除することと、第２の閾値未満の品質に関連付けられた１人または複数人の作業者を排除することであって、前記品質は、命令の誤解、および一貫して劣っている分断化に基づく敵対的マーキングを表す、排除することと、第３の閾値未満のセグメントの数に関連付けられた１人または複数人の作業者を排除することと、を含む、１つまたは複数のフィルタリングステップを含み、前記第１の閾値、前記第２の閾値、および前記第３の閾値は、経験値である
   請求項１に記載のプロセッサ実施方法。
3. ディープ畳み込みニューラルネットワーク（ＣＮＮ）を使用して前記一致したセグメントのセットを分類することをさらに含み、前記分類するステップは、前記一致したセグメントの画像を二値化すること、二値化された前記画像、および前記染色体に関連付けられたタイトフィットする矩形の全面積の画素値の合計に基づく白色値を使用して前記一致したセグメントから折れ曲がった染色体を特定すること、前記一致したセグメントの前記二値化された画像上のフィットした線の傾きに基づいて前記折れ曲がった染色体の折れ曲がっている向きを計算すること、前記折れ曲がった染色体の折れ曲がっている中心を計算することであって、前記折れ曲がった染色体は曲げ軸に沿ってそれぞれ１つの腕を包含する、計算すること、および、前記曲げ軸に沿って前記腕をとじ合わせて、前記折れ曲がった染色体を再構築することで、矯正した染色体を得ることによって、折れ曲がった染色体を矯正すること（２０６a）と、動原体の位置およびこの関連の長さを使用して前記染色体の長さを正常化すること（２０６ｂ）と、ディープＣＮＮを使用して前記染色体をこの正常化された前記長さに基づいて分類すること（２０６ｃ）と、を含む
   請求項１に記載のプロセッサ実施方法。
4. １つまたは複数のデータ記憶デバイス（１０２）であって、１つまたは複数のプロセッサ（１０４）に動作可能に結合され、かつ、前記１つまたは複数のプロセッサによって、
   中期染色体のデジタル画像を受信することと、
   前記デジタル画像の分断化のためのクラウドソーシングを最適化することであって、最適化された前記クラウドソーシングは、
   前記デジタル画像を複数のセクションに分割すること、
   同時に、前記複数のセクションのそれぞれを、クラウドソーシング要員として参加している１人または複数人の作業者に割り当てて、割り当てられた前記セクションを分断化することであって、前記割り当てられたセクション内に完全に交差するまたは存在する染色体の輪郭をマーキングすることを含む、分断化することによってセグメントを得ること、前記クラウドソーシング要員からスパマーを特定しかつ排除するために前記１人または複数人の作業者から受信した前記セグメントを分析することであって、前記分析するステップは、誤ったマーキングをチェックすること、マーキングの正確さをチェックすること、およびマーキングの対象範囲を最大化することを含む、分析すること、を含む、最適化することと、
   前記分析に基づく分類のために分析された前記セグメントから一致したセグメントのセットを選択することと、を実行するために構成される命令を記憶するように構成される、データ記憶デバイスを含む
   ことを特徴とするシステム（１００）。
5. 前記１つまたは複数のハードウェアプロセッサは、第１の閾値未満の信頼度に関連付けられた１人または複数人の作業者を排除することであって、前記信頼度は作業者のマーキングがマーキングされたセグメントの数のモードに近い回数を表す、排除することと、第２の閾値未満の品質に関連付けられた１人または複数人の作業者を排除することであって、前記品質は、命令の誤解、および一貫して劣っている分断化に基づく敵対的マーキングを表す、排除することと、第３の閾値未満のセグメントの数に関連付けられた１人または複数人の作業者を排除することと、を含む、１つまたは複数のフィルタリングステップであって、前記第１の閾値、前記第２の閾値、および前記第３の閾値は、経験値である、フィルタリングステップによって前記セグメントを分析する前記ステップを行うようにさらに構成される
   請求項４に記載のシステム。
6. 前記１つまたは複数のハードウェアプロセッサは、ディープ畳み込みニューラルネットワーク（ＣＮＮ）を使用して前記一致したセグメントのセットを分類するようにさらに構成され、前記分類するステップは、前記一致したセグメントの画像を二値化すること、二値化された前記画像、および前記染色体に関連付けられたタイトフィットする矩形の全面積の画素値の合計に基づく白色値を使用して前記一致したセグメントから折れ曲がった染色体を特定すること、前記一致したセグメントの前記二値化された画像上のフィットした線の傾きに基づいて前記折れ曲がった染色体の折れ曲がっている向きを計算すること、前記折れ曲がった染色体の折れ曲がっている中心を計算することであって、前記折れ曲がった染色体は曲げ軸に沿ってそれぞれ１つの腕を包含する、計算すること、および、前記曲げ軸に沿って前記腕をとじ合わせて、前記折れ曲がった染色体を再構築することで、矯正した染色体を得ることによって、折れ曲がった染色体を矯正することと、動原体の位置およびこの関連の長さを使用して前記染色体の長さを正常化することと、ディープＣＮＮを使用して前記染色体をこの正常化された前記長さに基づいて分類することと、を含む
   請求項４に記載のシステム。
7. コンピュータ可読プログラムを組み入れた非一時的なコンピュータ可読媒体を含むコンピュータプログラム製品であって、
   前記コンピュータ可読プログラムは、コンピューティングデバイス上で実行される時、前記コンピューティングデバイスに、
   中期染色体のデジタル画像を受信することと、
   前記デジタル画像の分断化のためのクラウドソーシングを最適化することであって、最適化された前記クラウドソーシングは、
   前記デジタル画像を複数のセクションに分割すること、
   同時に、前記複数のセクションのそれぞれを、クラウドソーシング要員として参加している１人または複数人の作業者に割り当てて、割り当てられた前記セクションを分断化することであって、前記割り当てられたセクション内に完全に交差するまたは存在する染色体の輪郭をマーキングすることを含む、分断化することによってセグメントを得ること、
   前記クラウドソーシング要員からスパマーを特定しかつ排除するために前記１人または複数人の作業者から受信した前記セグメントを分析することであって、前記分析するステップは、誤ったマーキングをチェックすること、マーキングの正確さをチェックすること、およびマーキングの対象範囲を最大化することを含む、分析すること、および、
   前記分析に基づく分類のために分析された前記セグメントから一致したセグメントのセットを選択することを含む、最適化することと、とを行わせる
   ことを特徴とするコンピュータプログラム製品。
8. 前記コンピュータ可読プログラムは、さらに、前記コンピューティングデバイスに、ディープ畳み込みニューラルネットワーク（ＣＮＮ）を使用して前記一致したセグメントのセットを分類させ、前記分類するステップは、前記一致したセグメントの画像を二値化すること、二値化された前記画像、および前記染色体に関連付けられたタイトフィットする矩形の全面積の画素値の合計に基づく白色値を使用して前記一致したセグメントから折れ曲がった染色体を特定すること、前記一致したセグメントの前記二値化された画像上のフィットした線の傾きに基づいて前記折れ曲がった染色体の折れ曲がっている向きを計算すること、前記折れ曲がった染色体の折れ曲がっている中心を計算することであって、前記折れ曲がった染色体は曲げ軸に沿ってそれぞれ１つの腕を包含する、計算すること、および、前記曲げ軸に沿って前記腕をとじ合わせて、前記折れ曲がった染色体を再構築することで、矯正した染色体を得ることによって、折れ曲がった染色体を矯正することと、動原体の位置およびこの関連の長さを使用して前記染色体の長さを正常化することと、ディープＣＮＮを使用して前記染色体をこの正常化された前記長さに基づいて分類することと、を含む
   請求項７に記載のコンピュータプログラム製品。

Images