JP2022061020A - デュアルエンコーダアテンションｕ－ネット - Google Patents

デュアルエンコーダアテンションｕ－ネット Download PDF

Info

Publication number
JP2022061020A
JP2022061020A JP2021162638A JP2021162638A JP2022061020A JP 2022061020 A JP2022061020 A JP 2022061020A JP 2021162638 A JP2021162638 A JP 2021162638A JP 2021162638 A JP2021162638 A JP 2021162638A JP 2022061020 A JP2022061020 A JP 2022061020A
Authority
JP
Japan
Prior art keywords
attention
computer
binary file
feature
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021162638A
Other languages
English (en)
Other versions
JP7288488B2 (ja
Inventor
アビヒシェック バハダン
Vahadane Abhishek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Publication of JP2022061020A publication Critical patent/JP2022061020A/ja
Application granted granted Critical
Publication of JP7288488B2 publication Critical patent/JP7288488B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】画像、アニメーション、動画又は音声などのバイナリファイルの特徴を予測するための方法、コンピュータプログラム及びコンピュータシステムを提供する。【解決手段】方法は、バイナリファイルを受信し４０２、デュアルエンコーダのアテンションベースのＵ－ネットアーキテクチャに基づいて、バイナリファイルの潜在空間に対応する特徴値を算出し４０４、算出された特徴値に基づいて、新たなバイナリファイルを生成する４０６。【選択図】図４

Description

本開示は、一般に、機械学習の分野、より具体的にはニューラルネットワークに関する。
画像、アニメーション、及び音声などのバイナリファイルは、大量のデータの作成及び符号化を可能にした。例えば、医学の分野では、デジタルパソロジによってスライド画像全体から生物学的成分に関する情報を抽出することが可能になった。ヘマトキシリン及びエオシンは、世界の病理学研究室で使用されている一般的な染色技術である。典型的な実例として、ヘマトキシン染料は、核を青に染色し、エオシンは、細胞質と細胞外基質をピンクに染色する。細胞と核は、組織の基本要素であり、そのような構成要素の統計は、正確な診断とともに、新しいバイオマーカの開発に利用できる。核の大きさ、形状、密度、局所的なテクスチャ、核の近くの空間的特徴、及び局所的な組織構造（腺）は、スライド画像全体において癌の活動に関する重要な手がかりを提供する。あるいは、オーディオの分野では、声及び音声の認識は、集団の中から話者を識別する、あるいは話者が話している内容を識別することに使用され得る。
実施形態は、画像、アニメーション、動画、又は音声などのバイナリファイルの特徴を予測するための方法、システム、及びコンピュータにより読み取り可能な媒体に関する。ある形態は、バイナリファイルの特徴を予測するための方法である。この方法は、バイナリファイルを受信することを含み得る。バイナリファイルの潜在空間に対応する特徴値は、デュアルエンコーダのアテンションベースのＵ－ネットアーキテクチャに基づいて算出される。新しいバイナリファイルは、算出された特徴値に基づいて生成される。
別の形態は、バイナリファイルの特徴を分離するためのコンピュータシステムを提供する。コンピュータシステムは、１以上のプロセッサ、１以上のコンピュータ読み取り可能なメモリ、１以上のコンピュータ読み取り可能な有形記憶装置、及び１以上の記憶装置の少なくとも１つを介して１以上のプロセッサの少なくとも１つにより実行するための、１以上の記憶装置の少なくとも１つに保存されたプログラム命令、を含み得る。これにより、コンピュータシステムは、方法を実行することができる。この方法は、バイナリファイルを受信することを含み得る。バイナリファイルの潜在空間に対応する特徴値は、デュアルエンコーダのアテンションベースのＵ－ネットアーキテクチャに基づいて算出される。算出された特徴値に基づいて、新しいバイナリファイルが生成される。
さらに別の態様は、バイナリファイルの特徴を予想するコンピュータ読み取り可能な媒体を提供する。コンピュータ読み取り可能な媒体は、１以上のコンピュータ読み取り可能な記憶装置と、１以上の有形記憶装置のうちの少なくとも１つに記憶されたプログラム命令とを含み得、ブログラム命令は、プロセッサにより実行される。プログラム命令は、プロセッサにより実行され、それに応じてバイナリファイルの受信を含み得る方法を実行する。バイナリファイルの潜在空間に対応する特徴値は、デュアルエンコーダのアテンションベースのＵ－ネットアーキテクチャに基づいて算出される。算出された特徴値に基づいて、新たなバイナリファイルが掲載される。
これら及び他の目的、特徴、及び利点は、例示的な実施形態を詳述した以下の説明から明らかになるであろう。これらは、添付の図面を参照して読まれることになる。当業者が詳細な説明と併せて容易に理解できることを明確にするために、図の様々な特徴は縮尺通りではない。
本発明は、プロセッサにより実行可能なバイナリファイルの特徴を予測する方法であって、
バイナリファイルを受信し、
前記バイナリファイルの潜在空間に対応する特徴値を算出し、
算出された前記特徴値に基づいて、新たなバイナリファイルを生成する。
少なくとも１つの実施形態における、ネットワークコンピュータ環境を示す図である。 少なくとも１つの実施形態における、バイナリファイルの特徴予想システムのブロック図である。 少なくとも１つの実施形態における、図２に図示された、デュアルエンコーダアテンションユニット（ＤＥＡＵ）のブロック図である。 少なくとも１つの実施形態における、バイナリファイルにおける特徴を記載したプログラムにより実行されるステップを示した動作フローチャートである。 少なくとも１つの実施形態における、図１に図示されたコンピュータとサーバの内部及び外部の構成要素のブロック図である。 少なくとも１つの実施形態における、図１に図示されたコンピュータシステムを含む例示的クラウドコンピューティング環境のブロック図である。 少なくとも１つの実施形態における、図６の例示的クラウドコンピューティング環境の機能層のブロック図である。
請求された構造及び方法の詳細な実施形態をここに開示する。しかしながら、開示された実施形態は、請求された構造及び方法の単なる例示であると理解され得る。しかしながら、これらの構造及び方法は、多くの異なる形態で具体化され、本明細書に記載の例示的な実施形態に限定されると解釈すべきではない。むしろ、これらの例示的な実施形態は、本開示が完璧かつ完全であり、当業者にその範囲を完全に伝えるように提供される。本説明では、本実施形態を不必要に曖昧にすることを回避するため、周知の特徴及び技術は省略されてもよい。
実施形態は、一般的に、機械学習の分野、より具体的にはニューラルネットワークに関連する。以下に説明する例示的な実施形態は、とりわけ、バイナリファイルの特徴を予測するためのシステム、方法、及びコンピュータプログラムを提供する。したがって、いくつかの実施形態は、デュアルエンコーダアテンション機構を使用して、バイナリファイルの特徴の予測を可能にすることにより、コンピューティング分野を改善する可能性がある。さらに、いくつかの実施形態は、細胞の核及びそれらに対応する境界を予測するために、所定のヘマトキシリン及びエオシンの組織構造画像における核のインスタンスを正確に分類するエンドツーエンドの深層学習フレームワークを提供することにより、医学の分野を改善する可能性がある。
前述のように、画像、アニメーション、及び音声などのバイナリファイルは、大量データの作成及び符号化を可能にした。例えば、医学の分野では、デジタルパソロジによりスライド画像全体から生物学的成分に関する情報を抽出することが可能になった。ヘマトキシリン及びエオシンは、世界の病理学研究室で使用されている一般的な染色技術である。典型的な実例として、ヘマトキシン染料は、核を青に染色し、エオシンは、細胞質と細胞外基質をピンクに染色する。細胞と核は、組織の基本要素であり、そのような構成要素の統計は、新しいバイオマーカの開発と正確な診断に利用することができる。核の大きさ、形状、密度、局所的なテクスチャ、核の近くの空間的特徴、及び局所的な組織構造（腺）は、スライド画像全体における癌の活動に関する重要な手がかりを提供する。しかしながら、バイナリファイルを手動で調べることは面倒な場合がある。さらに、ファイルの多様性、例えば不透明度、大きさ、形状、及び色における多様性は、特徴における多様性として現れ、自動的な特徴予測を困難にする可能性がある。追加の技術的課題は、バイナリファイルにおいて特徴が接触又は重複することにより発生する。あるいは、オーディオの分野で、声及び音声の認識は、集団の中から話者を識別する、又は話者が話す内容を識別するために使用し得る。
しかしながら、例示的な実施形態は、バイナリファイルから特徴を予測及び分離するために、深層学習アプローチを使用する。疑似ハードアテンションゲートを備えたニューラルネットワークを使用して、ネットワーク全体のアテンション機構を即席で作成することにより、ネットワークのアテンションキャッチ能力を向上させることができる。デュアルエンコーダアーキテクチャを使用してアテンションプライヤ情報をエンコードすることができ、アテンションプライヤ情報は、入力画像から生成することができる。さらに、アテンションスキップモジュール（ＡＳＭ）は、アテンションプライヤと入力特徴マップの双方を利用し、特徴予想パフォーマンスを向上させることができる。
本明細書には、様々な例示的な実施形態における方法、装置（システム）、及びコンピュータ読み取り可能な媒体のフローチャート図、及び／又はブロック図を参照して、形態が記載されている。フローチャート図及び／又はブロック図の各ブロック、及びフローチャート図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ読み取り可能なプログラム命令により実行できると理解され得る。
ここで図１を参照すると、バイナリファイルの特徴を予測し、それらの対応する境界を決定するための特徴予測システム１００（以下、「システム」という。）を示すネットワーク化されたコンピュータ環境の機能ブロック図が示されている。図１は、１つの実行の例示のみを提供し、異なる実施形態が実行され得る環境を制限する意図ではない、と理解すべきである。設計及び実装の要件に基づいて、記載された環境に対して多くの変更を加えることができる。
システム１００は、コンピュータ１０２とサーバコンピュータ１１４を含み得る。コンピュータ１０２は、通信ネットワーク１１０（以下、「ネットワーク」という。）を介して、サーバコンピュータ１１４と通信できる。コンピュータ１０２は、プロセッサ１０４と、データ記憶装置１０６に記憶され、ユーザとインターフェイスにより接続することができ、サーバコンピュータ１１４と通信するソフトウェアプログラム１０８と、を含み得る。図５を参照して以下に説明するように、コンピュータ１０２は、内部構成要素８００Ａと外部構成要素９００Ａのそれぞれを含み得る。そして、サーバコンピュータ１１４は、内部構成要素８００Ｂと外部構成要素９００Ｂをそれぞれ含み得る。コンピュータ１０２は、例えば、モバイルデバイス、電話、パーソナルデジタルアシスタンス、ネットブック、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、又は、プログラムを実行し、ネットワークにアクセスし、データベースにアクセスできるいかなるタイプのコンピューティング装置である。
サーバコンピュータ１１４は、図６、７を参照して以下に説明するように、サービスとしてのソフトウェア（ＳａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、又は、サービスとしてのインフラストラクチャ（ＩａａＳ）等の、クラウドコンピューティングサービスモデルにおいて動作され得る。サーバコンピュータ１１４は、また、プライベートクラウド、コミュニティクラウド、パブリッククラウド、又はハイブリットクラウド等の、クラウドコンピューティングデプロイモデルに配置され得る。
バイナリファイルの特徴及び境界を予測するために使用され得るサーバコンピュータ１１４は、データベース１１２と相互作用し得る特徴予測プログラム（以下、「プログラム」という。）１１６を実行することができる。プログラムの方法は、以下の図４を参照してより詳細に説明する。一実施形態では、プログラム１１６は主にサーバコンピュータ１１４上で実行され、コンピュータ１０２は、ユーザインターフェイスを含む入力装置として動作し得る。他の実施形態では、サーバコンピュータ１１４は、プログラム１１６によって使用されるデータの処理及び記憶のために使用され得、プログラム１１６は、主に１つ以上のコンピュータ１０２上で実行され得る。プログラム１１６は、スタンドアロンプログラムであり得るか、又は統合されてより大きなプログラムになり得ることに留意すべきである。
しかしながら、プログラム１１６の処理は、いくつかの場合、コンピュータ１０２とサーは１１４との間で任意の比率で共有され得ることに留意すべきである。他の実施形態では、１以上のコンピュータ、サーバコンピュータ、又はコンピュータとサーバコンピュータのいくつかの組み合わせ、例えば、ネットワーク１１０を介して単一のサーバコンピュータ１１４と通信する複数のコンピュータ１０２において、プログラム１１６は、動作できる。さらに他の実施形態では、例えば、プログラム１１６は、ネットワーク１１０を介して、複数のクライアントコンピュータと通信する複数のサーバコンピュータ１１４上で動作できる。さらに他の実施形態では、システムは全体として、単一のコンピュータ装置に統合及び実装され得る。あるいは、プログラムは、ネットワークを介して、サーバ及び複数のクライアントコンピュータと通信するネットワークサーバ上で動作できる。
ネットワーク１１０は、有線接続、無線接続、光ファイバ接続、又はそれらの組み合わせを含み得る。一般に、ネットワーク１１０は、コンピュータ１０２とサーバコンピュータ１１４との間の通信をサポートする接続及びプロトコルの任意の組み合わせであり得る。ネットワーク１１０は、様々なタイプのネットワークを含み得る。例えば、ローカルエリアネットワーク（ＬＡＮ）インターネット等の広域ネットワーク（ＷＡＮ）、公衆交換電話ネットワーク（ＰＳＴＮ）などのテレコミュニケーションネットワーク、無線ネットワーク、公衆交換ネットワーク、衛星ネットワーク、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、長期進化（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク等）、公衆陸上移動体通信網（ＰＬＭＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、プライベートネットワーク、アドホックネットワーク、イントラネット、光ファイバベースのネットワークなど、及び／又は、これら又は他のタイプのネットワークの組み合わせである。
図１に示す装置とネットワークの数又は配置は、例として示す。実際には、図１に示す装置とネットワークと比べて、追加の装置及び／又はネットワーク、より少ない装置及び／又はネットワーク、異なる装置及び／又はネットワーク、又は異なる配置の装置及び／又はネットワークがあり得る。さらに、図１に示す２以上の装置は、単一の装置内に実装され得る、又は図１に示す単一の装置は、複数の分散された装置として実装され得る。さらに、あるいは代替として、システム１００の装置のセット（１以上の装置）は、他のシステム１００のセットの装置によって実行される１以上の機能を実行することができる。
ここで図２を参照すると、特徴データエンコーダシステム２００のブロック図が示される。特徴データエンコーダシステム２００は、とりわけ、前処理モジュール２０２、デュアルエンコーダアテンションＵ－ネット（ＤＥＡＵ）２０４、及び後処理モジュール２０６を含み得る。前処理モジュール２０２は、１つ以上の入力画像２０８を受信し、ＤＥＡ２０４に渡される又は入力され得る１以上のアテンションプライヤ（例えば、ヘマトキシリンチャネル）を生成し得る。ＤＥＡＵ２０４は、アテンション機構と共働し得る深層学習アーキテクチャを含み得る。ＤＥＡＵ２０４を、図３を参照してより詳細に説明する。後処理モジュール２０６は、ＤＥＡＵ２０４の出力に基づいて、インスタンスマスクとして特徴予測データ２１０を出力し得る。
後処理モジュール２０６は、予測された特徴及び境界確率マップを使用して、特徴予測データ２１０をさらに改良することができる。ＤＥＡＵ２０４の生の出力は、特徴予測データＩｎ∈ＲＨ×Ｗ及び境界予測データIｂ∈ＲＨ×Ｗを含み得る。後処理モジュール２０６は、接触特徴を分離すると同様に、特徴を意味に基づき分類することができる。ＩｎとＩｂの閾値は、経験的に決定された閾値から算出することができる。バイナリ境界マップ
Figure 2022061020000002
は、バイナリ特徴マップ
Figure 2022061020000003
から差し引くことができ、その結果、特徴インスタンスマップＺｉとなる。エネルギーランドスケープは、個別に接続された各構成要素の距離マップｄの形式で生成される。距離マップは、背景までの各ピクセルの距離であり得る。特徴マーカＩｍは、２ピクセル半径のディスク構造要素によりＺｉをエンコードすることにより、Ｚｉから生成され得る。距離マップと分離された特徴マーカは、マーカコントロール付ウォータシェッド技術において使用され、特徴インスタンスのＮ－アレイマスクを取得する。
図３を参照して、図２に示されたデュアルエンコーダアテンションＵ－ネット（ＤＥＡＵ）２０４の例を説明する。ＤＥＡＵ２０４は、とりわけ、１以上の入力ノード３０２Ａ－３０２Ｘ（例えば、Ｈ＆Ｅ画像エンコードパス）、１以上のアテンションプライヤ処理ノード３０４Ａ－３０４Ｘ（例えば、アテンションプライヤエンコードパス）、１以上のアテンションスキップモジュール（ＡＳＭｓ）３０６Ａ－３０６Ｘ、１以上の出力ノード３０８Ａ－３０８Ｘ、及び潜在空間３１０を含み得る。入力ノード３０２Ａ－３０２Ｘ、アテンションプライヤ処理ノード３０４Ａ－３０４Ｘ、及び出力ノード３０８Ａ－３０８Ｘの各々は、１以上の畳み込みカーネルが含まれる（例えば、３×３畳み込みカーネル）。入力ノード３０２Ａ－３０２Ｘの各々は、最大プーリング層（例えば、２×２最大プーリング層）により連続的に接続され得る。アテンションプライヤ処理ノード３０４Ａ－３０４Ｘの各々も、最大プーリング層（例えば、２×２最大プーリング層）により連続的に接続され得る。入力ノード３０２Ａ－３０２Ｘと、対応するアテンションプライヤ処理ノード３０４Ａ－３０４Ｘの各々は、スキップ接続により対応するＡＳＭｓ３０６Ａ－３０６Ｘに接続される。ＡＳＭｓ３０６Ａ－３０６Ｘの各々も、スキップ接続により、対応する出力ノード３０８Ａ－３０８Ｘに接続され得る。出力ノード３０８Ａ－３０８Ｘは、アップサンプリング接続（例えば、アップサンプリング係数２）によって、逆の順序で互いに連続的に送り込むことができる。最終出力モードである出力ノード３０８Ａは、例えば細胞核に対応する、特徴及び境界マップを含み得る２チャンネル出力を有し得る。
ＤＥＡＵ２０４は、Ｕ－ネットアーキテクチャ（すなわち、入力ノード３０２Ａ－３０２Ｘ）及びアテンションエンコードパス（ＡＥＰ）（すなわち、アテンションプライヤ処理ノード３０４Ａ－３０４Ｘ）を使用することができ、入力としてアテンションプライヤを取得し、分類ための意味ある特徴を生成することができる。新しいエンコードパスの次元は、Ｕ－ネットアーキテクチャと同じでもよい。ＡＥＰへの入力は、１以上のアテンションプライヤであり得るが、Ｕ－ネットアーキテクチャへの入力は、１以上の入力画像２０８（図２）であり得る。Ｕ－ネットアーキテクチャ及びＡＥＰから得られた特徴マップは、ネットワークの異なる深さにおいて、アテンションスキップモジュール３０６Ａ－３０６Ｘに送られ得る。
１以上の実施形態によれば、医学の分野では、ヘマトキシリンチャネルを１以上のアテンションプライヤとして使用して、核を分類できる。疎非負値行列因数分解（ＳＮＭＦ）を使用して、ＷＳＩｓで染色されたＨ＆Ｅの色の正規化ができる。ＳＮＭＦは、Ｈ＆Ｅ画像を染色カラー行列と光密度に因数分解し、染色分離に使用できる。同じ技術は、Ｈ＆Ｅ染色画像を、別々のＨチャネルとＥチャネルに分離することに使用できる。
１以上の実施形態によれば、音声データ処理の分野では、音声ファイルは、例えば、１以上の話者からの音声を含み得る。音声は、１以上の話者の中から話者を識別するために、又は、話者が話をしている可能性のある内容を識別するために、１以上のチャネルに分離され得る。
スキップ接続の各空間分解能において、対応するＡＳＭ３０６Ａ－３０６Ｘは、処理されたアテンション処理マップ
Figure 2022061020000004
と、特徴マップ
Figure 2022061020000005
を、２つの入力として受け取る。これらのベクトルは、カーネルＷｅ１とＷｅ２の１×１畳み込みにより、中間次元Ｆｉｎｔに変換される。これに続いて、出力をシグモイド関数σ２に渡す前に、ＲｅＬＵ関数σ１及びカーネル（Ｗｉｎｔ）を使用した他の１×１畳み込みを介して、要素毎の加算と非線形変換が行われる。これによりアテンション係数αｌ∈［0,1］が生成され得る。出力
Figure 2022061020000006
は、αlとｘｌの要素毎の乗算と、それに続く１×１の畳み込みによって取得できる。各畳み込み演算には、傾きによる誤差逆伝搬中に更新される得るパラメータが関連付けられるため、アテンション機構は、疑似ハードアテンションゲートと呼ばれる場合がある。スキップ接続Ｉでは、アテンション係数は次の数１で得られる。ここで、ｂ１とｂ２は、バイアス項である。
Figure 2022061020000007
ここで、図４を参照すると、バイナリファイルの特徴を予測するプログラムによって実行されるステップを示す動作フローチャート４００が示される。図４を、図１－３を参照して説明する。前述したように、プログラム１１６（図１）は、バイナリファイルに存在する特徴及びそれらの境界を迅速かつ効果的に予想することができる。
動作４０２において、バイナリファイルを受信する。バイナリファイルは、画像、動画、アニメーション、及び音声に対応し得る。例えば、バイナリファイルは、ヘマトキシン及びエオシンにより染色された組織画像に対応し得る。動作中、サーバコンピュータ１１４（図１）のプログラム１１６（図１）は、ネットワーク１１０（図１）を介して、コンピュータ１０２（図１）から１以上の入力画像２０８（図２）を受け取ること、又はデータベース１１２（図１）から入力画像２０８を取り出すことができる。
動作４０４において、バイナリファイルの潜在空間に対応する特徴値が算出される。このことは、１以上のアテンションプライヤの決定は、受信された入力バイナリファイルから決定されることを含み得る。１以上の確率マップは、１以上の決定されたアテンションプライヤに基づいて算出できる。インスタンスマスクは、１以上の算出された確率マップから生成され得る。インスタントマスクは、１以上のバイナリファイルに関連付けられた分離された特徴に対応し得る。
例えば、アテンションプライヤは、染色されたスライド画像から抽出されたヘマトキシリンチャネルに対応し得る。アテンションプライヤは、染色されたスライド画像の色を正規化し、色が正規化されたスライド画像を染色カラー行列及び光学密度計数に因数分解し、因数分解された画像をヘマトキシリンチャネル及びエオシンチャネルに分離することにより決定される。確率マップは、処理されたアテンション特徴マップと受信した画像から抽出されたヘマトキシリン及びエオシン特徴マップに対応し得る。確率マップは、処理されたアテンション特徴マップとヘマトキシリン及びエオシン特徴マップを、１以上の第１の畳み込みカーネルを使用して、第１の中間値に変換し、第２の中間値を生成するために、正規化線形ユニットと１以上の第２の畳み込みカーネルを介して、第１の中間値に対して要素毎の加算と非線形変換を実行ことにより、算出される。１以上の係数は、シグモイド関数を使用して第２の中間値から生成することができる。１つ以上の確率マップは、ヘマトキシリン及びエオシン特徴マップと１以上の第３の畳み込みカーネルと、１以上の係数を、要素毎に乗算することを介して、生成することができる。
動作において、前処理モジュール２０２（図２）は、受信された入力画像２０８（図２）から、アテンションプライヤを生成することができる。ＤＥＡＵ２０４（図２）の入力ノード３０２Ａ－３０２Ｘ（図３）は、入力画像２０８を受信する。ＤＥＡＵ２０４のアテンションプライヤ処理ノード３０４Ａ－３０４Ｘ（図３）は、前処理モジュール２０２からアテンションプライヤを受信し得る。ＤＥＡＵ２０４のアテンションスキップモジュール３０６Ａ－３０６Ｘ（図３）と出力ノード３０８Ａ－３０８Ｘ（図３）は、特徴マップと境界マップを含む２チャネル出力を生成し得る。後処理モジュール２０６（図２）は、特徴マップと及び境界マップを、ＤＥＡＵ２０４から受信する。そして、特徴マップと境界マップに基づき、インスタンスマスクとして使用するために特徴予測データ２１０（図２）を出力し得る。
動作４０６では、算出された特徴値に基づいて、新たなバイナリファイルを生成する。新たなバイナリファイルは、入力バイナリフィアルに類似し得る。動作中、プログラム１１６（図１）は、特徴予測データ２１０（図２）から新たなファイルを作成し、ファイルをデータベース１１２（図１）に格納し、又はファイルを、ネットワーク１１０（図１）を介して、コンピュータ１０２（図１）に転送してもよい。
図４は、１つの実施形態の例示のみを提供し、異なる実施形態がどのように実行され得るかに関して制限することを意図するものではないと理解される。記載された環境に対して、設計及び実行の要件に基づき、多くの変更が可能である。
図５は、例示的な実施形態である図１に記載されたコンピュータの内部及び外部の構成要素のブロック図である。図５は、単に一実施形態の例示を示すものであり、異なる実施形態が実行され得る環境に関する制限を意図するものではないと、理解されるべきである。記載された環境に対して、設計及び実行の要件に基づき、多くの変更が可能である。
コンピュータ１０２（図１）とサーバコンピュータ１１４（図１）は、図４に示す内部構成要素８００Ａ、Ｂと外部構成要素９００Ａ、Ｂの各々のセットを含み得る。内部構成要素８００のセットの各々は、１以上のプロセッサ８２０、１以上のバス８２６上の１以上のコンピュータ読み取り可能なＲＡＭ８２２と１以上のコンピュータ読み取り可能なＲＯＭ８２４、１以上のオペレーティングシステム８２８、及び１以上のコンピュータ読み取り可能な有形記憶装置８３０を含む。
プロセッサ８２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせにおいて、実行される。プロセッサ８２０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他のタイプの処理要素である。いくつかの実施形態において、プロセッサ８２０は、機能を実行するようにプログラムされた１以上のプロセッサを含む。バス８２６は、内部構成要素８００Ａ、Ｂ内で通信を可能とする構成要素を含む。
１以上のオペレーティングシステム８２８、ソフトウェアプログラム１０８（図１）、及びサーバコンピュータ１１４（図１）上のプログラム１１６（図１）は、１以上のそれぞれのＲＡＭ８２２（典型的にはキャッシュメモリを含む。）を介して、１以上の各プロセッサ８２０により実行するため、１以上のコンピュータ読み取り可能な有形記憶装置８３０の各々に格納される。図５に図示された実施形態において、コンピュータ読み取り可能な有形記憶装置８３０の各々は、内蔵ハードドライブの磁気ディスク記憶装置である。あるいは、コンピュータ読み取り可能な有形記憶装置８３０の各々は、半導体記憶装置、例えば、ＲＯＭ８２４、ＥＰＲＯＭ、フラッシュメモリ、光ディスク、磁気光学ディスク、ソリッドステートディスク、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は、コンピュータプログラム及びデジタル情報を格納できる別のタイプの非一時的なコンピュータ読み取り可能な有形記憶装置である。
内部構成要素８００Ａ、Ｂのセットの各々は、また、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、磁気テープ、磁気ディスク、光ディスク、又は半導体記憶装置などの１以上の携帯型コンピュータ読み取り可能な有形記憶装置から読み取り及び書き込みをするための、Ｒ／Ｗドライブ又はインターフェイス８３２を含む。ソフトウェアプログラム１０８（図１）及びプログラム１１６（図１）のようなソフトウェアプログラムは、１以上のそれぞれの携帯型コンピュータ読み取り可能な有形記装置９３６に記憶され、Ｒ／Ｗドライブ又はインターフェイスの各々を介して読み取られ、それぞれの有形記憶装置８３０にロードさせることができる。
内部構成要素８００Ａ、Ｂのセットの各々は、また、ＴＣＰ／ＩＰアダプタカード、ワイヤレスＷｉ－Ｆｉインターフェイスカード、３Ｇ、４Ｇ、５Ｇワイヤレスインターフェイスカード、又は、他の有線又は無線の通信リンクである、ネットワークアダプタ又はインターフェイスを含む。ソフトウェアプログラム１０８（図１）とサーバコンピュータ１１４（図１）上のプログラム１１６（図１）は、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、又は他の広域ネットワーク）及びそれぞれのネットワークアダプタ又はインターフェイス８３６を介して外部コンピュータから、コンピュータ１０２（図１）及びサーバコンピュータ１１４にダウンロードすることができる。ソフトウェアプログラム１０８及びサーバコンピュータ１１４上のプログラム１１６は、ネットワークアダプタ又はインターフェイス８３６から、それぞれの有形記憶装置８３０にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含み得る。
外部構成要素９００Ａ、Ｂのセットの各々は、コンピュータディスプレイモニタ９２０、キーボード９３０、及びコンピュータマウス９３４を含み得る。外部構成要素９００Ａ、Ｂは、また、タッチスクリーン、仮想キーボート、タッチパッド、ポインティングデバイス、及びその他のヒューマンインターフェイスデバイスを含み得る。内部構成要素８００Ａ、Ｂのセットの各々は、また、コンピュータディスプレイモニタ９２０、キーボード９３０、及びコンピュータマウス９３４にインターフェイスするためのディバイスドライバ８４０を含む。ディバイスドライバ８４０、Ｒ／Ｗドライブ又はインターフェイス８３２、及びネットワークアダプタ又はインターフェイス８３６は、ハードウェアとソフトウェア（有形記憶装置８３０及び／又はＲＯＭ８２４に格納された）を備える。
本開示は、クラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載された教示の実施は、クラウドコンピューティング環境に限定されないことは前もって理解される。むしろ、いくつかの実施形態は、現在知られている又は後で開発される他のタイプのコンピューティング環境と組み合わせて実行することができる。
クラウドコンピューティングは、サービス提供のモデルであり、構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス）の共通プールへの便利なオンデマンドネットワークアクセスを可能にする。コンピューティングリソースは、最小限の管理作業又はサービスのプロバイダとの対話により、迅速に提供されリリースされる。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、及び少なくとも４つのデプロイメントモデルが含まれ得る。
特性は以下の通りである。
オンデマンドセルフサービス：クラウド消費者は、サービスプロバイダと人間の対話を要求せずに、必要に応じて自動的に、サーバ時間、ネットワークストレージなどのコンピューティング能力を、一方的に提供できる。
広域ネットワークアクセス：能力は、ネットワーク上で利用可能であり、異種のシン又はシッククライアントプラットフォーム（携帯電話、ラップトップ、ＰＤＡなど）による使用を促進する標準メカニズムを介してアクセスされる。
リソースプーリング：マルチテナントモデルを使用して、複数の消費者に、需要に応じて動的に割り当てられ再割当される異なる物理的リソースと仮想リソースを提供するため、プロバイダのコンピューティングリソースはプールされる。消費者は、通常、提供されたリソースの正確な場所を制御又は知識を得ることはできないが、より高いレベルの抽象的概念（国、州、データセンタなど）において、場所を指定できる場合があるという点で、場所に依存しない感覚がある。
迅速な柔軟性：迅速にスケールアウトし、迅速にスケールインするようリリースするように、能力は、迅速かつ柔軟に、場合により自動的に、提供される。消費者にとって、提供のため利用可能な能力は、しばしば無制限に見え、いかなるときも、いかなる量も購入することができる。
測定されるサービス：クラウドシステムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、及びアクティブなユーザアカウント）に適した抽象化したあるレベルにおいて、計測能力を活用することにより、リソースの使用を自動的に制御及び最適化する。リソースの使用は、監視、制御、及び報告され、利用するサービスのプロバイダと消費者の双方に透明性を提供できる。
サービスモデルは、以下の通りである。
サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される能力は、クラウドインフラストラクチャで動作しているプロバイダのアプリケーションを使用することである。アプリケーションは、Ｗｅｂブラウザ（例えば、Ｗｅｂベースの電子メールなど）などのシンクライアントインターフェイスを介して、さまざまなクライアントデバイスからアクセスできる。消費者は、限られたユーザ固有のアプリケーション構成設定という可能性のある例外はあるが、ネットワーク、サーバ、オペレーティングシステム、ストレージ、又は個々のアプリケーション能力を含む、基盤となるクラウドインフラストラクチャを管理又は制御しない。
サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される能力は、プロバイダがサポートするプログラミング言語とツールを使用して作成された、消費者の作成または取得したアプリケーションを、クラウドインフラストラクチャに配置することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基盤となるクラウドインフラストラクチャを管理又は制御しない。しかし、配置されたアプリケーションと、場合によってはアプリケーションホスティング環境の構成を制御する。
サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される能力は、消費者がオペレーティングシステム及びアプリケーションを含む任意のソフトウェアを配置し動作できる場合に、処理、ストレージ、ネットワーク、及びその他の基本的なコンピューティングリソースを提供することである。消費者は、基盤となるクラウドインフラストラクチャを管理又は制御しないが、オペレーティングシステム、ストレージ、配置されたアプリケーションを制御し、及び可能であれば、選択したネットワーク構成（例えば、ホストファイアウォール）の限定的な制御をする。
デプロイメントモデルは、以下の通りである。
プライベートクラウド：クラウドインフラストラクチャは、組織のためにのみ運用される。クラウドインフラストラクチャは、組織又は第三者により管理され、オンプレミス又はオフプレミスで存在する場合がある。
コミュニティクラウド：クラウドインフラストラクチャは、複数の組織で共有されており、共通の懸念事項（ミッション、セキュリティ要件、ポリシー、及びコンプライアンス考慮など）を有する特定のコミュニティをサポートする。クラウドインフラストラクチャは、組織又は第三者により管理され、オンプレミス又はオフプレミスで存在する場合がある。
パブリッククラウド：クラウドインフラストラクチャは、一般の人々又は大規模な産業団体が利用でき、クラウドサービスを販売する組織により所有されている。
ハイブリットクラウド：クラウドインフラストラクチャは、一意のエンティティで留まるが、標準化させることにより、又はデータ及びアプリケーションを移動可能にする（例えば、クラウド間のロードバランスのためのクラウド破壊）独自技術により、共に結束された２以上のクラウド（プライベート、コミュニティ、又はパブリック）の組み合わせである。
クラウドコンピューティング環境は、ステートレス、低結合度、モジュール性、及び意味相互運用性に焦点を合わせるように指向されたサービスである。クラウドコンピューティングの中心は、相互接続されたノードのネットワークで構成されるインフラストラクチャである。
図６を参照すると、例示的なクラウドコンピューティング環境６００が示されている。図示するように、クラウドコンピューティング環境６００は、例えば、携帯情報端末（ＰＤＡ）又は携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、及び／又は、自動車コンピュータシステム５４Ｎ、などのクラウド消費者により使用されるローカルコンピューティング装置が通信できる、１以上のクラウドコンピューティングノード１０により構成される。クラウドコンピューティングノード１０は、互いに通信することができる。それらは、上述したプライベート、コミュニティ、パブリック、又はハイブリットクラウド、又はそれらの組み合わせである、１以上のネットワークにおいて、物理的又は仮想的に、グループ化できる（図示せず。）。これにより、クラウドコンピューティング環境６００は、クラウド消費者がローカルコンピューティング装置上でリソースを維持する必要がないサービスとして、インフラストラクチャ、プラットフォーム、及び／又はソフトウェアを提供することができる。図６に示すコンピューティング装置５４Ａ－Ｎのタイプは、例示のみを意図しており、クラウドコンピューティングノード１０及びクラウドコンピューティング環境６００は、任意のタイプのネットワーク及び／又はネットワークアドレス可能接続を介して（例えば、ウェブブラウザを使用して）、任意のタイプのコンピュータ化されたデバイスと通信できると、理解される。
図７を参照すると、クラウドコンピューティング環境６００（図６）により提供される機能的抽象化層７００のセットが示される。図７に示す構成要素、層、及び機能は、例示のみを目的としており、実施形態はそれに限定されないと、事前に理解されるべきである。記載されるように、以下の層及び対応する機能が提供される。
ハードウェア及びソフトウェア層６０は、ハードウェア及びソフトウェア構成要素を含む。ハードウェア構成要素の例として、メインフレーム６１、サーバ６２に基づくＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャ、サーバ６３、ブレードサーバ６４、記憶装置６５、及びネットワークとネットワーキング構成要素６６を含む。いくつかの実施形態では、ソフトウェア構成要素は、ネットワークアプリケーションサーバソフトウェア６７及びデータベースソフトウェア６８を含む。
仮想化層７０は、以下の例で示す仮想エンティティが提供され得る抽象化層を提供する。例えば、仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーション及びオペレーティングシステム７４、及び、仮想クライアント７５である。
一例において、管理層８０は、以下に説明する機能を提供できる。リソース提供部８１は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソース及び他のリソースの動的な獲得を提供する。計測・値付部８２は、リソースがクラウドコンピューティング環境内で利用されるときのコスト追跡、及びこれらのリソース消費に対する請求を提供する。一例では、これらのリソースは、アプリケーションソフトウェアライセンスを含み得る。セキュリティは、データ及びその他のリソースの保護と共に、クラウド消費者とタスクのＩＤ検証を提供する。ユーザポータル８３は、消費者及びシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービス品質管理部８４は、要求されるサービスレベルが充足するように、クラウドコンピューティング割当及び管理を提供する。サービス品質保証（ＳＬＡ）計画及び履行部８５は、ＳＬＡに従って、将来の要件が予想されるクラウドコンピューティングリソースの事前準備と獲得を提供する。
ワークロード層９０は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供されるワークロード及び機能の例には、マッピング及びナビゲーション９１、ソフトウェア開発及びライフサイクル管理９２、仮想教室教育の提供９３、データ分析処理９４、トランザクション処理９５、及び特徴予測９６が含まれる。特徴予測９６は、畳み込みニューラルネットワークを使用して、バイナリファイル（例えば、画像）から、特徴及び対応する境界を予測することができる。
いくつかの実施形態は、任意の可能な技術的詳細統合レベルにおける、システム、方法、及び／又はコンピュータ読み取り可能な媒体に関連し得る。コンピュータ読み取り可能な媒体は、プロセッサに動作を実行させるためのコンピュータ読み取り可能なプログラム命令を有するコンピュータ読み取り可能な非一時的記録媒体（又は複数の媒体）を含み得る。
コンピュータ読み取り可能な記録媒体は、命令実行デバイスによって使用されるための命令を保持及び記憶することができる有形装置であり得る。例えば、コンピュータ読み取り可能な記録媒体は、これらに限定されないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、又はこれらの任意の適切な組み合わせであり得る。コンピュータ読み取り可能な記録媒体のより具体的な非網羅的なリストには、以下が含まれる。携帯コンピュータディスケット、ハードドライブ、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的エンコードされたデバイス、例えば、パンチカード、又は指示がその中に記録された溝における隆起構造、及びこれらの任意の適切な組み合わせである。本明細書で使用されるコンピュータ読み取り可能な記録媒体は、例えば、電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体を通って伝播する電磁波（例えば、光ファイバーケーブルを通過する光パルス）、又はワイヤーを介して送信される電気信号、のような一時的な信号自体であると解釈されない。
本明細書に記載のコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記録媒体から、それぞれのコンピューティング／処理デバイスに、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又は、ワイヤレスネットワークを介して、外部コンピュータまたは外部記憶装置に、ダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又エッジサーバで構成され得る。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインターフェイスは、ネットワークからコンピュータ読み取り可能な命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ読み取り可能な記録媒体に記憶するために、コンピュータ読み取り可能な命令を転送する。
操作を実行するためのコンピュータ読み取り可能なプログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状況設定データ、集積回路の構成データ、又は、１以上のプログラム言語で記載されたソースコード又はオブジェクトコートの何れかである。プログラム言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラム言語と、Ｃプログラム言語又は同様のプログラム言語である処理プログラム言語を含む。コンピュータ読み取り可能なプログラム命令は、全部がユーザのコンピュータ上で、一部がスタンドアローンのソフトウェアパッケージとしてユーザのコンピュータ上で、一部がユーザのコンピュータ上で一部がリモートコンピュータ上で、又は全てがリモートコンピュータ又はサーバ上で実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介して、ユーザのコンピュータに接続、又は外部コンピュータ（例えば、インターネットサービスプロバイダを使用したインターネット経由）と接続できる。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルケートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、アスペクト又は操作を実行するために、コンピュータ読み取り可能なプログラム命令の状態情報を利用してパーソナライズすることにより、コンピュータ読み取り可能なプログラム命令を実行することができる。
これらのコンピュータ読み取り可能なプログラム命令は、汎用目的コンピュータ、特殊目的コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供され、マシーンを形成し、それにより、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令は、フローチャート及び／又はブロック図で特定された機能／行為を実行するための手段を作成する。これらのコンピュータ読み取り可能なプログラム命令は、また、コンピュータ、プログラム可能なデータ処理装置、及び／又は特定の方法で機能する他のデバイスで指示できる、コンピュータ読み取り可能な記録媒体に記憶される。それにより、その中に記憶された命令を有するコンピュータ読み取り可能な記録媒体は、フローチャート及び／又はブロック図において特定された機能／行為の態様を実行する命令を含む製品を備える。
コンピュータ読み取り可能なプログラム命令は、また、コンピュータ、他のプログラム可能なデータ処理装置、又は他の装置の上に搭載され、コンピュータ、他のプログラム可能なデータ処理装置、又は他の装置上で一連の操作ステップを実行させて、コンピュータ実行処理を生成し得る。それにより、コンピュータ、他のプログラム可能なデータ処理装置、又は他の装置で実行される命令は、フローチャート、及び／又はブロック図において特定される機能／行為を実施する。
図中のフローチャート及びブロック図は、さまざまな実施形態による、システム、方法、及び、コンピュータ読み取り可能な媒体の実装可能なアーキテクチャ、機能、及び動作を示す。これに関し、フローチャート及びブロック図の各ブロックは、モジュール、分類、又は命令の一部を表すことができ、これは、指定された論理機能を実行するための１つ以上の実行可能命令を含む。方法、コンピュータシステム、及びコンピュータ読み取り可能な媒体は、図に示されているより、追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含み得る。いくつかの代替の実装では、ブロックに示された機能は、図示されている順番とは異なる場合がある。例えば、連続して表示される２つのブロックは、実際には、同時に、又は実質的に同時に実行されることがあり、関連する機能に応じて、ブロックが逆の順序で実行される場合もある。ブロック図、及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図のブロックの組み合わせは、特定された機能又は動作を実行する特定目的のハードウェアベースのシステムにより、実装され、特定目的のハードウェアとコンピュータ命令の組み合わせを実装することに留意されたい。
本明細書の記載のシステム、及び／又は方法は、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせにおいて、実装され得ることが明らかである。これらのシステム、及び／又は方法を実装するために使用される実際の特定の制御ハードウェア又はソフトウェアコードは、この実装を制限するものではない。従って、システム、及び／又は方法の操作又は動作は、特定のソフトウェアコードを参照せずに、本明細書において説明される。ソフトウェア及びハードウェアは、本明細書の説明に基づいて、システム及び／又は方法を実装するように設計され得ることが理解される。
本明細書で使用される要素、行為、又は命令は、そのように明示的に記載されていない限り、重要または必須であると解釈されるべきではない。さらに、本明細書で使用される場合、冠詞「ａ」及び「ａｎ」は、１以上の項目を含むことを意図しており、「１つ以上」と交換可能に使用することができる。さらに、本明細書で使用される場合、「セット」という用語は、１以上の項目（例えば、関連する項目、関連しない項目、関連項目と非関連項目の組み合わせなど）を含むことを意図し、「１つ以上」と交換可能に使用され得る。１つのみ項目を意図する場合には、「１」又は類似する言語を使用する。また、本明細書で使用される場合、「ｈａｓ」「ｈａｖｅ」「ｈａｖｉｎｇ」などの用語は、オープンエンドの用語を意図する。さらに、「基づく」という用語は、特に明記しない限り、「基づく、少なくとも部分的に基づく」を意味することを意図する。
様々な態様及び実施形態の説明は、例示の目的で提示されている。しかし、網羅的であることを意図するものでななく、開示された実施形態に限定されることを意図するものでもない。特徴の組み合わせがクレーム及び／又は明細書に開示されていても、これらの組み合わせは、可能な実施の開示を制限することを意図するものではない。実際、これらの特徴の多くは、特にクレームに記載された及び／又は明細書に開示され方法によらず、組み合わせることができる。以下に列挙した各従属クレームは、１つクレームにのみ直接従属するものであるが、実行可能な開示には、クレームセットにおける全ての他のクレームと組み合わせた各従属クレームを含む。説明された実施形態の範囲から逸脱することなく、多くの修正及び変形が、当業者にとって明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実施の適用又は技術的改善を最もよく説明するよう選択され、又は他の当業者が本明細書に開示される実施形態を理解できるように選択される。

Claims (20)

  1. プロセッサにより実行可能なバイナリファイルの特徴を予測する方法であって、
    バイナリファイルを受信し、
    前記バイナリファイルの潜在空間に対応する特徴値を算出し、
    算出された前記特徴値に基づいて、新たなバイナリファイルを生成する、
    方法。
  2. 前記特徴値は、デュアルエンコーダアテンションベースのＵ－ネットアーキテクチャによって算出される、
    請求項１に記載の方法。
  3. 前記デュアルエンコーダアテンションベースのＵ－ネットアーキテクチャは、
    前処理モジュールと、後処理モジュールと、デュアルエンコーダＵ－ネットを備え、
    前記デュアルエンコーダＵ－ネットは、
    １以上の入力ノードと、１以上のアテンションプライヤ処理ノードと、１以上のアテンションスキップノードと、１以上の出力ノードと、を備える、
    請求項２に記載の方法。
  4. 受信された前記バイナリファイルは、画像、アニメーション、動画、及び音声のうち少なくとも１つを含む、
    請求項１に記載の方法。
  5. 前記特徴値の算出は、
    受信した前記バイナリファイルから１以上のアテンションプライヤを決定し、
    １以上の決定された前記アテンションプライヤに基づいて、１以上の確率マップを算出し、
    算出された前記１以上の確率マップからインスタンスマスクを生成し、前記インスタンスマスクは、前記バイナリファイルに関連付けられた予測された特徴に対応する、
    請求項１に記載の方法。
  6. 前記バイナリファイルは、ヘマトキシリン色素及びエオシン色素で染色された１以上の細胞のスライド画像に対応する、
    請求項５に記載の方法。
  7. 前記１以上のアテンションプライヤは、前記スライド画像から抽出されたヘマトキシリンチャネルに対応する、
    請求項６に記載の方法。
  8. 前記アテンションプライヤの決定は、
    前記スライド画像の色を正規化し、
    色が正規化された前記スライド画像を染色カラー行列と光学濃度係数に因数分解し、
    因数分解された画像を前記ヘマトキシリンチャネルとエオシンチャネルに分離する、
    請求項７に記載の方法。
  9. 前記確率マップは、処理されたアテンション特徴マップとヘマトキシリン及びエオシン特徴マップに対応する、
    請求項５に記載の方法。
  10. 前記確率マップの算出は、
    前記処理されたアテンション特徴マップと前記ヘマトキシリン及びエオシン特徴マップを、１以上の第１の畳み込みカーネルを使用して、第１の中間値に変換し、
    正規化線形ユニット及び１以上の第２の畳み込みカーネルを介して、前記第１の中間値に対して、要素ごとの加算及び非線形変換を実行し、第２の中間値を生成し、
    シグモイド関数を使用して、前記第２の中間値から１以上の係数を生成し、
    前記１以上の係数を、前記ヘマトキシリン及びエオシン特徴マップ及び１以上の第３の畳み込みカーネルと、要素毎に乗算することにより、１以上の確率マップ値を生成する、
    請求項９に記載の方法。
  11. 前記１以上の係数と前記１以上の確率マップ値を、１以上の第１、第２、及び第３の畳み込みカーネルに誤差逆伝搬することをさらに含む、
    請求項１０に記載の方法。
  12. バイナリファイルの特徴を予測するコンピュータシステムであって、
    コンピュータプログラムコードを格納するように構成された１以上のコンピュータ読み取り可能な非一時的記録媒体と、
    前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって指示された動作をするように構成された１以上のコンピュータプロセッサと、を備え、
    前記コンピュータプログラムコードは、
    １以上のコンピュータプロセッサがバイナリファイルを受信するように構成された受信コードと、
    前記１以上のコンピュータプロセッサが前記バイナリファイルの潜在空間に対応する特徴値を算出させるように構成された算出コードと、
    前記１以上のコンピュータプロセッサが算出された前記特徴値に基づき新たなバイナリファイルを生成するように構成された生成コードと、を含む、
    コンピュータシステム。
  13. 前記特徴値は、デュアルエンコーダアテンションベースのＵ－ネットアーキテクチャにより算出される、
    請求項１２に記載のコンピュータシステム。
  14. 受信された前記バイナリファイルは、画像、アニメーション、動画、及び音声のうち少なくとも１つを含む、
    請求項１２に記載のコンピュータシステム。
  15. 前記特徴値の算出は、
    受信した前記バイナリファイルから１以上のアテンションプライヤを決定し、
    １以上の決定された前記アテンションプライヤに基づいて、１以上の確率マップを算出し、
    １以上の算出された前記確率マップからインスタンスマスクを生成し、
    前記インスタンスマスクは、前記バイナリファイルに関連付けられた予測された特徴に対応する、
    請求項１２に記載のコンピュータシステム。
  16. 前記バイナリファイルは、ヘマトキシリン色素及びエオシン色素で染色された１以上の細胞のスライド画像に対応する、
    請求項１５に記載のコンピュータシステム。
  17. 前記１以上のアテンションプライヤは、前記スライド画像から抽出されたヘマトキシリンチャネルに対応する、
    請求項１６に記載のコンピュータシステム。
  18. 前記アテンションプライヤの決定は、
    前記スライド画像の色を正規化し、
    色を正規化した前記スライド画像を染色カラー行列と光学濃度係数に因数分解し、
    因数分解された画像を前記ヘマトキシリンチャネルとエオシンチャネルに分離する、
    請求項１７に記載のコンピュータシステム。
  19. 前記確率マップは、処理されたアテンション特徴マップとヘマトキシリン及びエオシン特徴マップに対応し、
    前記確率マップの算出は、
    前記処理されたアテンション特徴マップと前記ヘマトキシリン及びエオシン特徴マップを、１以上の第１の畳み込みカーネルを使用して第１の中間値に変換し、
    正規化線形ユニット及び１以上の第２の畳み込みカーネルを介して、前記第１の中間値に対して要素ごとの加算及び非線形変換を実行し、第２の中間値を生成し、
    シグモイド関数を使用して、前記第２の中間値から１以上の係数を生成し、
    前記１以上の係数を、前記ヘマトキシリン及びエオシン特徴マップ及び１以上の第３の畳み込みカーネルと、要素毎に乗算することにより、１以上の確率マップ値を生成する、
    請求項１５に記載のコンピュータシステム。
  20. バイナリファイルの特徴を予測するコンピュータプログラムを格納した非一時的なコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムは、１以上のコンピュータプロセッサに、
    バイナリファイルを受信させ、
    前記バイナリファイルの潜在空間に対応する特徴値を算出させ、
    算出された前記特徴値に基づいて、新たなバイナリファイルを生成させる、
    非一時的なコンピュータ読み取り可能な記録媒体。
JP2021162638A 2020-10-05 2021-10-01 デュアルエンコーダアテンションｕ－ネット Active JP7288488B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/063,668 2020-10-05
US17/063,668 US20220108097A1 (en) 2020-10-05 2020-10-05 Dual encoder attention u-net

Publications (2)

Publication Number Publication Date
JP2022061020A true JP2022061020A (ja) 2022-04-15
JP7288488B2 JP7288488B2 (ja) 2023-06-07

Family

ID=76829307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021162638A Active JP7288488B2 (ja) 2020-10-05 2021-10-01 デュアルエンコーダアテンションｕ－ネット

Country Status (3)

Country Link
US (1) US20220108097A1 (ja)
EP (1) EP3979132A1 (ja)
JP (1) JP7288488B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272196B (zh) * 2022-07-11 2024-01-09 东北林业大学 组织病理图像中病灶区域预测方法
CN115471734B (zh) * 2022-09-23 2023-04-25 中国农业大学 木质包装ippc标识的辩伪方法、装置及服务器
CN115648215B (zh) * 2022-11-04 2024-01-26 北京能创科技有限公司 基于注意力机制和孪生反卷积的服务机器人抓取检测方法
CN116797614B (zh) * 2023-03-23 2024-02-06 天津大学 基于CBAUnet的双注意力快速舌轮廓提取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020081343A1 (en) * 2018-10-15 2020-04-23 Ventana Medical Systems, Inc. Systems and methods for cell classification
US20200286247A1 (en) * 2019-03-06 2020-09-10 Qualcomm Incorporated Radar-aided single image three-dimensional depth reconstruction
JP2020197797A (ja) * 2019-05-31 2020-12-10 株式会社東芝 画像処理装置及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3620983B1 (en) * 2018-09-05 2023-10-25 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for data analysis
WO2020182710A1 (en) * 2019-03-12 2020-09-17 F. Hoffmann-La Roche Ag Multiple instance learner for prognostic tissue pattern identification
KR20210145778A (ko) * 2019-03-26 2021-12-02 템퍼스 랩스, 인크. 조직병리학 슬라이드 이미지로부터 바이오마커를 결정하는 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020081343A1 (en) * 2018-10-15 2020-04-23 Ventana Medical Systems, Inc. Systems and methods for cell classification
US20200286247A1 (en) * 2019-03-06 2020-09-10 Qualcomm Incorporated Radar-aided single image three-dimensional depth reconstruction
JP2020197797A (ja) * 2019-05-31 2020-12-10 株式会社東芝 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20220108097A1 (en) 2022-04-07
EP3979132A1 (en) 2022-04-06
JP7288488B2 (ja) 2023-06-07

Similar Documents

Publication Publication Date Title
JP2022061020A (ja) デュアルエンコーダアテンションｕ－ネット
US10541822B2 (en) Expected group chat segment duration
US20210117732A1 (en) Image Object Recognition Through Multimodal Conversation Templates
JP7276974B2 (ja) 点群コーディングのための方法、装置およびコンピュータプログラム
US20200409451A1 (en) Personalized content for augemented reality based on past user experience
US20210271978A1 (en) Sim-to-real learning of 2d multiple sound source localization
US10671891B2 (en) Reducing computational costs of deep reinforcement learning by gated convolutional neural network
US20210157768A1 (en) Modify Content Management Rules Based on Sentiment
US11164078B2 (en) Model matching and learning rate selection for fine tuning
US9916280B2 (en) Virtualizing TCP/IP services with shared memory transport
US20230177355A1 (en) Automated fairness-driven graph node label classification
US20230177385A1 (en) Federated machine learning based on partially secured spatio-temporal data
US11445198B2 (en) Multi-quality video super resolution with micro-structured masks
US11615554B2 (en) Object oriented image normalization
JP2019512768A (ja) 不確実性を含むユーザ・モバイル・データに基づく位置コンテキスト推定のための方法、非一時的製品、およびシステム
US20230169661A1 (en) System and method for instance segmentation in pathological images using object-guided framework
EP3931749B1 (en) 3d hand pose estimation based on depth-image guided adversarial network
US11222200B2 (en) Video-based 3D hand pose and mesh estimation based on temporal-aware self-supervised learning
US20220014795A1 (en) Extended maximum coding unit size
US20230410387A1 (en) Color replacement for the colorblind using an automatic image colorization artificial intelligence model
US20220189057A1 (en) Difference-guided video analysis
WO2022186875A1 (en) Robust dialogue utterance rewriting as sequence tagging
KR20210144901A (ko) 영형 대명사 복원 및 해소
JP2024505334A (ja) マルチパーティ対話における談話解析のための構造自己認識モデル
KR20210125087A (ko) 출력 서브픽처 계층 세트를 시그널링하기 위한 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230526

R150 Certificate of patent or registration of utility model

Ref document number: 7288488

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150