JP2023039245A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】人間による目視により学習データの選別を行うことなく、学習に適した正常画像を精度良く選別することができる画像処理装置、画像処理方法、及びプログラムを提供することである。
【解決手段】画像処理装置１０は、プロセッサ１を備える画像処理装置１０であって、プロセッサ１は、内視鏡装置で撮影された検査動画を取得し、検査動画の撮影における内視鏡装置の操作情報を取得し、操作情報に基づいて検査動画を構成する複数のフレームから学習フレーム区間を特定し、学習フレーム区間のフレーム群を第１学習データとして出力する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に検査動画から学習データを出力する画像処理装置、画像処理方法、及びプログラムに関する。

病変部等の異常領域を画像から識別又は検出する方法として、大量の画像（学習データ）と教師データを用いてＡＩ(Artificial Intelligence：学習モデル)に学習させる方法が知られている。一般的に、大量の学習データを用意することで、より高性能なＡＩとなるように学習をさせることができる。しかしながら、内視鏡検査を含む医療分野において取得される画像の多くは、病変部を含まない正常な被写体を撮影した画像であり、病変部を撮影した画像を入手できる機会は少ない。また、病変部を撮影した画像が入手できたとしても、その病変の種類には偏りがある場合が多く、様々な種類の病変部の大量の学習データを用意することは困難であることが多い。

そこで、上述したように入手が容易な正常な被写体を撮影した画像を用いて、ＡＩを学習させる方法が提案されている。

例えば特許文献１では、正例となる学習用画像データも用いて機械学習を行わせる技術が記載されている。

特開２０２０－３０５６５号公報

ここで、機械学習に適した正常画像をＡＩに多く与えることで、高精度なＡＩを得ることができる。機械学習に適した正常画像とは、病変部や処置具が写っていなく、正常な粘膜がはっきりと視認できる画像（送気、送水、染色、高速なスコープ移動などのユーザ操作が発生していない画像）である。

しかしながら、検査動画は数万フレームから数十万フレームで構成され、その検査動画から学習に適した正常画像を選別する作業は、人間の目視により行われる場合が多く、膨大な時間を要する。

本発明はこのような事情に鑑みてなされたもので、その目的は、人間による目視により学習データの選別を行うことなく、学習に適した正常画像を精度良く選別することができる画像処理装置、画像処理方法、及びプログラムを提供することである。

上記目的を達成するための本発明の一の態様である画像処理装置は、プロセッサを備える画像処理装置であって、プロセッサは、内視鏡装置で撮影された検査動画を取得し、検査動画の撮影における内視鏡装置の操作情報を取得し、操作情報に基づいて検査動画を構成する複数のフレームから学習フレーム区間を特定し、学習フレーム区間のフレーム群を第１学習データとして出力する。

本態様によれば、学習フレーム区間が操作情報に基づいて特定され、特定された学習フレーム区間のフレーム群が第１学習データとして出力される。これにより本態様は、人間による目視での学習データの選別を行うことなく、学習に適した画像を精度良く選別することができる。

好ましくは、プロセッサは、操作情報に基づいて特殊操作が行われていない区間を学習フレーム区間として特定する。

好ましくは、操作情報は、観察が開始されたことを示す観察開始情報を有し、プロセッサは、観察開始情報に基づいて学習フレーム区間を特定する。

好ましくは、操作情報は、検査対象の臓器の特定部位を検出したことを示す検出情報を有し、プロセッサは、検出情報に基づいて学習フレーム区間を特定する。

好ましくは、操作情報は、送水実行、送気実行、吸引実行、光源切替、処置具使用、染色実施、特殊挿入のうち少なくとも一つを示す特殊操作情報を有し、プロセッサは、特殊操作情報に基づいて学習フレーム区間を特定する。

好ましくは、プロセッサは、複数の特殊操作情報に基づいて学習フレーム区間を特定する。

好ましくは、操作情報は、内視鏡装置のスコープの時系列的な挿入長に関する情報を有し、プロセッサは、挿入長の変化量が第１閾値の範囲内である場合に、学習フレーム区間として特定する。

好ましくは、操作情報は、内視鏡装置により静止画が撮影されたことを示す静止画撮影情報を有し、プロセッサは、静止画撮影情報に基づいて学習フレーム区間を特定する。

好ましくは、プロセッサは、検査動画を構成するフレームに基づいて内視鏡装置の操作状況を認識し、認識の結果に基づいて学習フレーム区間を特定する。

本態様によれば、検査動画を構成するフレームに基づいて内視鏡装置の操作状況が認識され、認識の結果に基づいて学習フレーム区間が特定される。

好ましくは、プロセッサは、検査動画を構成するフレームに基づいて、検査対象の臓器の特定部位を検出することにより、内視鏡装置の操作状況を認識し、特定部位を認識したフレーム以降の区間を学習フレーム区間として特定する。

好ましくは、プロセッサは、検査動画を構成するフレームに基づいて、送水実行、吸引実行、光源切替、処置具使用、染色実施、及び特殊挿入のうち少なくとも一つの特殊操作を検出することにより、内視鏡装置の操作状況を認識し、特殊操作を認識したフレーム以外を学習フレーム区間として特定する。

好ましくは、プロセッサは、検査動画を構成するフレームに基づいて、検査対象の臓器の各部位を認識することにより、内視鏡装置の操作状況を認識し、認識の結果に基づいて学習フレーム区間を特定する。

好ましくは、プロセッサは、出力された第１学習データを、病変を検出する病変検出器に入力し、病変検出器で病変が検出されたフレーム以外を、第２学習データとして出力する。

本発明の他の態様である画像処理方法は、プロセッサを備える画像処理装置の画像処理方法であって、プロセッサが、内視鏡装置で撮影された検査動画を取得する工程と、検査動画の撮影における内視鏡装置の操作情報を取得する工程と、操作情報に基づいて検査動画を構成する複数のフレームから学習フレーム区間を特定する工程と、学習フレーム区間のフレーム群を第１学習データとして出力する工程と、を行う。

本発明の他の態様であるプログラムは、プロセッサを備える画像処理装置が画像処理方法を実行するプログラムであって、プロセッサに、内視鏡装置で撮影された検査動画を取得する工程と、検査動画の撮影における内視鏡装置の操作情報を取得する工程と、操作情報に基づいて検査動画を構成する複数のフレームから学習フレーム区間を特定する工程と、学習フレーム区間のフレーム群を第１学習データとして出力する工程と、を実行させる。

本発明によれば、学習フレーム区間が操作情報に基づいて特定され、特定された学習フレーム区間のフレーム群が第１学習データとして出力されるので、人間による目視での学習データの選別を行うことなく、学習に適した画像を精度良く選別することができる。

図１は、画像処理装置の主な構成を示すブロック図である。 図２は、画像処理装置を使用して行われる画像処理方法を示すフローチャートである。 図３は、検査動画に関して説明する図である。 図４は、機械学習に適した正常画像の一例を示す図である。 図５は、検査動画の撮影に関する操作ログを示す図である。 図６は、学習フレーム区間に関して説明する図である。 図７は、画像処理装置の主な構成を示すブロック図である。 図８は、操作状況認識部が送水実行を認識する場合を説明する図である。 図９は、画像処理装置を使用して行われる画像処理方法を示すフローチャートである。 図１０は、学習フレーム区間特定部で特定される学習フレーム区間に関して説明する図である。 図１１は、画像処理装置の主な構成を示すブロック図である。 図１２は、画像処理装置を使用して行われる画像処理方法を示すフローチャートである。 図１３は、内視鏡装置の全体構成図である。 図１４は、内視鏡装置の機能ブロック図である。

以下、添付図面にしたがって本発明に係る画像処理装置、画像処理方法及びプログラムの好ましい実施の形態について説明する。

＜第１の実施形態＞
図１は、本実施形態の画像処理装置１０の主な構成を示すブロック図である。

画像処理装置１０は、例えばコンピュータに搭載される。画像処理装置１０は主に第１プロセッサ（プロセッサ）１及び記憶部１１を備える。第１プロセッサ１は、コンピュータに搭載されるＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）で構成される。記憶部１１は、コンピュータに搭載されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）で構成される。

第１プロセッサ１は、記憶部１１に記憶されるプログラムを実行することにより、様々な機能を実現する。第１プロセッサ１は、検査動画取得部１２、操作情報取得部１４、学習フレーム区間特定部１６、及び第１学習データ出力部１８として機能する。

検査動画取得部１２は、内視鏡装置５００（図１３及び図１４を参照）で撮影された検査動画ＭをデータベースＤＢから取得する。検査動画Ｍは画像処理装置１０を構成するコンピュータのデータ入力部を介して入力される。そして、検査動画取得部１２は入力された検査動画Ｍを取得する。

操作情報取得部１４は、検査動画Ｍの撮影における内視鏡装置５００の操作情報ＰをデータベースＤＢから取得する。操作情報Ｐは画像処理装置１０を構成するコンピュータのデータ入力部を介して入力される。そして、操作情報取得部１４は入力された操作情報Ｐを取得する。

検査動画Ｍ及び操作情報Ｐは、内視鏡装置５００から出力されて、データベースＤＢに記憶されている。操作情報Ｐは、検査動画Ｍを撮影した際の操作が時刻と共に記録されている。操作情報Ｐと検査動画Ｍは、関連してデータベースＤＢに記録されている。データベースＤＢには、大量の検査動画及び操作情報が記録されている。なお、図１では、画像処理装置１０がデータベースＤＢから検査動画Ｍ及び操作情報Ｐを取得する態様に関して説明しているがこれに限定されるものではない。例えば、検査動画Ｍ及び操作情報Ｐは、内視鏡装置５００から直接取得されてもよい。

図２は、本実施形態の画像処理装置１０を使用して行われる画像処理方法を示すフローチャートである。なお、画像処理方法は、画像処理装置１０の第１プロセッサ１が記憶部１１に記憶されているプログラムを実行することにより行われる。

先ず、検査動画取得部１２は、検査動画Ｍを取得する（動画取得工程：ステップＳ１０）。また、操作情報取得部１４は、検査動画Ｍの内視鏡装置５００から取得される操作情報Ｐを取得する（操作情報取得工程：ステップＳ１１）。その後、学習フレーム区間特定部１６は、操作情報Ｐに基づいて検査動画Ｍを構成する複数のフレームから学習フレーム区間を特定する（学習フレーム区間特定工程：ステップＳ１２）。その後、第１学習データ出力部１８は、学習フレーム区間のフレーム群を第１学習データとして出力する（第１学習データ出力工程：ステップＳ１３）。以下に、上述した各工程に関して詳細に説明を行う。

＜＜動画取得工程＞＞
先ず、検査動画取得部１２で行われる動画取得工程（ステップＳ１０）に関して説明を行う。

検査動画取得部１２は、内視鏡装置５００で撮影された検査の動画（検査動画Ｍ）を取得する。検査動画取得部１２は、様々な検査の動画を取得することができる。例えば、検査動画取得部１２は、下部内視鏡装置により取得された大腸の検査の検査動画を取得したり、上部内視鏡装置により取得された胃の検査の検査の検査動画を取得したりする。検査動画は、様々なフレームレートにより撮影されている。例えば、検査動画Ｍは３０ｆｐｓ（frames per second）又は６０ｆｐｓで撮影されている。

図３は、検査動画取得部１２で取得される検査動画Ｍに関して説明する図である。なお、検査動画Ｍは、下部内視鏡装置で撮影された大腸の検査を行った検査動画である。

図３に示すように、検査動画Ｍは時刻ｔ１から時刻ｔ２の間で行われた検査に関する動画である。検査動画Ｍは時系列的に連続する複数のフレームＮで構成されており、各フレームＮは撮影された時刻に関する情報を有している。検査動画Ｍには、機械学習に適した正常画像を有するフレームＮ、及び正常画像ではない異常画像を有するフレームＮが含まれている。

図４は、機械学習に適した正常画像の一例を示す図である。

図４に示した正常画像は、下部内視鏡装置での大腸の検査において取得された正常画像の一例である。このように、機械学習に適した正常画像は、病変部や処置具が写っていなく、正常な粘膜がはっきりと視認できる画像（送気、送水、染色、高速なスコープ移動などの特殊操作が行われていない画像）である。

一方、異常画像とは、正常画像とは逆に、病変部や処置具が写っており、正常な粘膜がはっきりと視認できない画像（送気、送水、染色、高速なスコープ移動などの特殊操作が発生している画像）である。

＜＜操作情報取得工程＞＞
次に、操作情報取得部１４で行われる操作情報取得工程（ステップＳ１１）に関して説明を行う。

操作情報取得部１４は、検査動画Ｍの撮影における内視鏡装置５００の操作情報Ｐを取得する。操作情報取得部１４は、様々な検査動画Ｍの撮影における操作情報Ｐを取得する。

例えば操作情報取得部１４は、検査において観察が開始されたことを示す観察開始情報を有する操作情報Ｐを取得する。術者は、検査対象の観察を行う場合に所定の入力装置（例えばフットペダルなど）により、観察開始情報の入力を内視鏡装置５００に行い、内視鏡装置５００は操作ログＱとして観察開始の時刻を含む観察開始情報を記録する。そして、学習フレーム区間特定部１６は、観察開始情報に基づいて学習フレーム区間を特定する。

また例えば、操作情報取得部１４は、検査対象の臓器の特定部位を検出したことを示す検出情報を有する操作情報Ｐを取得する。術者は、検査対象の臓器の特定部位を検出した場合に所定の入力装置（例えば内視鏡本体１００（図１３）に付されたボタンなど）により、検出情報の入力を内視鏡装置５００に行い、内視鏡装置５００は操作ログＱとして検査対象の臓器の特定部位を検出した時刻を含む検出情報を記録する。そして、学習フレーム区間特定部１６は、検出情報に基づいて学習フレーム区間を特定する。

また例えば、操作情報取得部１４は、送水実行、送気実行、吸引実行、光源切替、処置具使用、染色実施、特殊挿入のうち少なくとも一つを示す特殊操作情報を有する操作情報Ｐを取得する。特殊操作情報は、以下で説明するように内視鏡本体１００に設けられるボタン等により入力され、内視鏡装置５００は操作ログＱとして各情報を記録する。そして、学習フレーム区間特定部１６は、特殊情報に基づいて学習フレーム区間を特定する。

送水実行とは内視鏡装置５００の先端硬質部１１６（図１３）の送水ノズルから水（又は液体）を放出することであり、術者は例えば内視鏡装置５００の内視鏡本体１００にある送気送水ボタン１４１を押下することにより送水実行を行う。

また、送気実行とは内視鏡装置５００の先端硬質部１１６（図１３）の送気ノズルから空気を噴射することであり、術者は例えば内視鏡装置５００の内視鏡本体１００にある送気送水ボタン１４１を押下することにより送気実行を行う。

また、吸引実行とは内視鏡装置５００の先端硬質部１１６から吸引を行うことであり、術者は例えば内視鏡装置５００の内視鏡本体１００にある吸引ボタン１４２を押下することにより吸引実行を行う。

また、光源切替とは内視鏡装置５００の光源を切り替えることであり、術者は例えば内視鏡装置５００の内視鏡本体１００にある光源切替ボタン（不図示）を押下することにより光源切替を行う。例えば、術者は、光源切替ボタンを押下することにより、通常光から特殊光に光源を切り替える。

また処置具使用とは、内視鏡装置５００の先端硬質部１１６の鉗子口１２６から処置具を挿入して処置を行うことである。処置具が使用された場合には、内視鏡本体１００は使用された時刻を内視鏡装置５００に送り、内視鏡装置５００は操作ログＱとしてそれを記録する。

また、染色実施とは内視鏡装置５００の先端硬質部１１６から染料を噴射することであり、術者は例えば内視鏡装置５００の内視鏡本体１００にある染色実施ボタン（不図示）を押下することにより検査対象の臓器の一部分の染色を行う。例えば、検査対象の臓器の一部分の染色を行うことにより、病変部又は異常部の検出が容易に行うことができる。

また、特殊挿入とは、内視鏡装置５００のスコープ（挿入部）１０４の挿入が特殊な形態で行われる場合である。通常スコープ１０４を検査対象の臓器に挿入する場合には、スコープ１０４を直線的に動かして行われる。しかし、検査対象の臓器によっては、スコープ１０４を直線的な動きでは無く、例えばひねり操作などを行って挿入が行われる場合がある。特に、大腸の検査では、大腸の形状に沿ってスコープ１０４を挿入しなければならず特殊挿入が行われることが多い。例えば、内視鏡装置５００の内視鏡本体１００にはジャイロセンサが搭載されており、内視鏡本体１００は特殊挿入が行われたことを検出し、内視鏡装置５００は特殊挿入が行われた時刻を操作ログＱに記録する。

なお、上述した複数の特殊操作情報に基づいて、後で説明する学習フレーム区間が特定されてもよい。例えば、送水実行と処置具使用とが行われている場合には、学習フレーム区間としては特定されない。また、以上で説明した特殊操作は、具体例であり特殊操作の内容は特にこれらに限定されるものではない。

また例えば、操作情報取得部１４は、内視鏡装置５００のスコープ１０４の時系列的な挿入長に関する情報を有する操作情報Ｐを取得する。スコープ１０４には、センサ（不図示）が設けられており、そのセンサからの信号に基づいて内視鏡装置５００は、スコープ１０４の挿入長の変化量を操作ログＱに記録する。スコープ１０４の時系列的な挿入長に関する情報を用いることにより、手ブレ、被写体ブレが激しい区間や粘膜に寄りすぎて止まっているような区間を学習フレーム区間から除外することができる。例えば、スコープ１０４の挿入長の変化量が第１閾値の範囲内に有る場合には、正常にスコープ１０４が移動しているとして、学習フレーム区間特定部１６により、学習フレーム区間として特定される。

また例えば、操作情報取得部１４は、操作情報Ｐは、内視鏡装置５００により静止画が撮影されたことを示す静止画撮影情報を有する操作情報Ｐを取得する。術者は、検査中に例えば病変部や病変と推定される部分に関して静止画の撮影を行う。術者は、例えば内視鏡装置５００の内視鏡本体１００に撮像ボタン１４４を押下することにより、静止画の撮影を行う。内視鏡装置５００は、操作ログＱとして静止画の撮影を行った時刻を含む静止画撮影情報を記録する。そして、学習フレーム区間特定部１６は、静止画撮影情報に基づいて学習フレーム区間を特定する。

以上で説明したように、操作情報取得部１４は、様々な検査動画Ｍの撮影における内視鏡装置５００の操作情報Ｐを取得する。例えば、操作情報取得部１４は、上述した複数の操作情報Ｐが記録された操作ログＱを取得する。

以下に、操作ログＱに関して具体的な説明を行う。

図５は、検査動画Ｍの撮影に関する操作ログＱを示す図である。

操作ログＱは、下部内視鏡検査での操作ログＱを示す図である。なお、操作ログＱには操作内容とその操作が行われた時刻（時間：分：秒）が示されている。

操作ログＱによれば、時刻１１：５０：００に「検査開始」が行われている。ここで検査開始は、内視鏡装置５００の検査動画Ｍの撮影及び記録が開始したことを意味する。検査動画Ｍの撮影開始ボタンが押下されることにより検査開始が行われる。これにより、内視鏡装置５００は、操作ログＱに検査開始を時刻と共に記録する。

操作ログＱによれば、時刻１２：００：００に「回盲部到達」が行われている。術者は、内視鏡画像が表示されているディスプレイ装置４００により、スコープ１０４の先端が回盲部到達したことを確認すると、例えばフットペダルを押下することにより回盲部到達を入力する。これにより、内視鏡装置５００は、操作ログＱに回盲部到達を時刻と共に記録する。

操作ログＱによれば、時刻１２：１０：００に「送水開始」が行われている。術者は、送気送水ボタン１４１を押下することにより、送水を行う。これにより、内視鏡装置５００は、操作ログＱに送水開始を時刻と共に記録する。

操作ログＱによれば、時刻１２：１０：１０に「送水終了」が行われている。術者は、送気送水ボタン１４１を再び押下することにより、送水を終了する。これにより、内視鏡装置５００は、操作ログＱに送水終了を時刻と共に記録する。

操作ログＱによれば、時刻１２：２０：００に「静止画撮影」が行われている。術者は、撮像ボタン１４４を押下することにより、病変部又は病変部と推定される箇所を撮影する。これにより、内視鏡装置５００は、操作ログＱに静止画撮影を時刻と共に記録する。

操作ログＱによれば、時刻１２：２５：００に「第１光源切替」が行われている。術者は、光源切替ボタン（不図示）を押下して光源を通常光から特殊光に切替を行う。これにより、内視鏡装置５００は、操作ログＱに光源切替を時刻と共に記録する。

操作ログＱによれば、時刻１２：２５：３０に「第２光源切替」が行われている。術者は、光源切替ボタン（不図示）を押下して光源を特殊光から通常光に切替を行う。これにより、内視鏡装置５００は、操作ログＱに光源切替を時刻と共に記録する。

操作ログＱによれば、時刻１２：３０：００に「検査終了」が行われている。術者は、内視鏡装置５００の検査終了ボタンを押下することにより検査終了を行う。これにより、内視鏡装置５００は、操作ログＱに検査終了を時刻と共に記録する。

以上で説明したように、操作ログＱは、複数の様々な操作情報Ｐを含んでいる。なお、上述した操作ログＱは具体例であり、これに限定されるものではない。

＜＜学習フレーム区間を特定する工程＞＞
次に、学習フレーム区間特定部１６で行われる学習フレーム区間特定工程（ステップＳ１２）に関して説明を行う。

学習フレーム区間特定部１６は、操作情報取得部１４が取得した操作情報Ｐに基づいて、検査動画Ｍを構成する複数のフレームから学習フレーム区間を特定する。具体的には、学習フレーム区間特定部１６は、操作情報Ｐに基づいて特殊操作が行われていない区間を学習フレーム区間として特定する。これにより、学習フレーム区間は、機械学習に適した正常画像を有するフレームで構成されることになる。

図６は、学習フレーム区間に関して説明する図である。

図６には、操作ログＱに基づいて、検査動画Ｍから特定された学習フレーム区間（Ａ）～（Ｄ）が示されている。また、図６には、操作ログＱに記録されている操作情報Ｐが時刻と共に示されている。

学習フレーム区間特定部１６は、検査動画Ｍにおいて検査開始（１１：５０：００）から回盲部到達（１２：００：００）までの区間は、学習フレーム区間として特定しない。検査開始から回盲部到達までは、スコープ１０４を大腸の一番奥まで挿入している段階であり、いわゆる検査の準備段階である。この場合には、内視鏡スコープの挿入スピードが通常とは異なっていたり、特殊挿入が行われていたり、フレームが有する画像に検査対象が適切に写っていない場合がある。すなわち、この区間を構成するフレーム群には、異常画像が含まれる可能性が高い。したがって、学習フレーム区間特定部１６は、検査開始から回盲部到達までの区間は、学習フレーム区間として特定しない。

学習フレーム区間特定部１６は、検査動画Ｍにおいて回盲部到達（１２：００：００）から送水開始（１２：１０：００）までの区間は、学習フレーム区間（Ａ）として特定する。回盲部到達後は、スコープ１０４を抜去しながら大腸の検査（観察）が行われる。そして、次の特殊な操作が行われるまでは正常画像が取得されていると考えられる。したがって、学習フレーム区間特定部１６は、回盲部到達から送水開始までの区間は、学習フレーム区間（Ａ）とする。

学習フレーム区間特定部１６は、送水開始（１２：１０：００）から送水終了（１２：１０：１０）までの区間は、特殊操作（送水）が行われているとして、学習フレーム区間として特定しない。この区間におけるフレームには、送水行為が写っている異常画像が含まれる可能性が高い。したがって、学習フレーム区間特定部１６は、送水開始から送水終了までの区間は、学習フレーム区間として特定しない。

学習フレーム区間特定部１６は、送水終了（１２：１０：１０）から静止画撮影（１２：２０：００）までの区間は、学習フレーム区間（Ｂ）として特定する。送水終了から静止画撮影までの区間は、操作ログＱにおいて特に特殊操作が行われていない区間であり、正常画像のみで構成されている可能性が高い。したがって、学習フレーム区間特定部１６は、送水終了から静止画撮影までの区間は、学習フレーム区間（Ｂ）として特定する。

学習フレーム区間特定部１６は、静止画撮影時を構成する複数のフレームは、学習フレーム区間として特定しない。学習フレーム区間特定部１６は、静止画を撮影した場合には、病変部などの変位部が写っている異常画像である可能性が高いので、静止画撮影時のフレームは、学習フレーム区間として特定しない。

学習フレーム区間特定部１６は、静止画撮影（１２：２０：００）の後から光源切替（１２：２５：００）までの区間は、学習フレーム区間（Ｃ）として特定する。静止画撮影から光源切替までの区間は、操作ログＱにおいて特に特殊操作が行われていない区間であり、正常画像のみで構成されている可能性が高い。したがって、学習フレーム区間特定部１６は、静止画撮影から光源切替までの区間は、学習フレーム区間（Ｃ）として特定する。

学習フレーム区間特定部１６は、第１光源切替（１２：２５：００）から第２光源切替（１２：２５：３０）までの区間は、学習フレーム区間として特定しない。学習フレーム区間特定部１６は、光源に特殊光が用いて検査が行われている場合には特殊操作が行われている区間であり、異常画像が含まれている可能性が高い。したがって、学習フレーム区間特定部１６は、第１光源切替から第２光源切替の区間は学習フレーム区間として特定しない。

次に、学習フレーム区間特定部１６は、第２光源切替（１２：２５：３０）から検査終了（１２：３０：００）までの区間は、学習フレーム（Ｄ）として特定する。第２光源切替から検査終了までの区間は、操作ログＱにおいて特に特殊操作が記録されていない区間であり、この区間のフレームは正常画像のみで構成されている可能性が高い。したがって、学習フレーム区間特定部１６は、第２光源切替から検査終了までの区間は、学習フレーム区間として特定する。

以上で説明したように、学習フレーム区間特定部１６は、操作ログＱに基づいて、特殊操作が行われていない区間（異常画像が含まれていない区間）を学習フレーム区間として特定する。

＜＜第１学習データを出力する工程＞＞
次に、第１学習データ出力部１８で行われる第１学習データ出力工程（ステップＳ１３）に関して説明する。

第１学習データ出力部１８は、学習フレーム区間のフレーム群を第１学習データとして出力する。具体的には、第１学習データ出力部１８は、学習フレーム区間（Ａ）～（Ｄ）に対応するフレーム群を、第１学習データとして出力する。学習フレーム区間（Ａ）～（Ｄ）を構成するフレーム群は、操作情報Ｐに基づいて選択されており、特殊操作が行われていない機械学習に適した正常画像を有するフレームで構成されている。

以上で説明したように、画像処理装置１０によれば、学習フレーム区間が操作情報Ｐに基づいて特定され、特定された学習フレーム区間のフレーム群が第１学習データとして出力される。これにより本態様は、人間による目視による学習データの選別を行うことなく、学習に適した正常画像を精度良く効率的に選別することができる。また、本態様によれば、学習フレーム区間の特定において、操作情報Ｐを用いて、画像認識器が出力する結果は用いて行っていないので、画像認識器の誤認識により学習データに異常画像を有するフレームが混入することを抑制することができる。

＜第２の実施形態＞
次に、第２の実施形態に関して説明する。本実施形態の学習フレーム区間特定部１６は、操作情報Ｐ及び操作状況認識部２０で認識された操作状況に基づいて、学習フレーム区間を特定する。

図７は、本実施形態の画像処理装置１０の主な構成を示すブロック図である。なお、図１で既に説明を行った箇所は、同じ符号を付し説明を省略する。

画像処理装置１０は、第１プロセッサ１、記憶部１１、第２プロセッサ（プロセッサ）２で構成される。なお、第１プロセッサ１と第２プロセッサ２とは、同一のＣＰＵ（又はＧＰＵ）で構成されても良いし、別々のＣＰＵ（又はＧＰＵ）で構成されてもよい。第１プロセッサ１及び第２プロセッサ２は、記憶部１１に記憶されているプログラムを実行することにより機能ブロックに示される各機能を実現する。

第１プロセッサ１は、検査動画取得部１２、操作情報取得部１４、学習フレーム区間特定部１６、及び第１学習データ出力部１８で構成される。第２プロセッサ２は、操作状況認識部２０で構成される。

操作状況認識部２０は、公知の画像認識器で構成され、入力されたフレームが有する画像から様々な操作状況を認識することができる。なお、操作状況認識部２０は１つの画像認識器から構成されてもよいし、複数の画像認識器を組み合わせて構成されてもよい。

例えば、操作状況認識部２０は、入力されたフレームに基づいて、検査対象の臓器の特定部位を検出することにより、内視鏡装置５００の操作状況を認識する。そして学習フレーム区間特定部１６は、特定部位を認識したフレーム以降の区間を学習フレーム区間として特定する。例えば、操作状況認識部２０は、下部内視鏡の検査において、入力されたフレームから回盲部を認識し、学習フレーム区間特定部１６は回盲部を認識したフレーム以降の区間を学習フレーム区間として特定する。

また、操作状況認識部２０は、入力されたフレームに基づいて、送水実行、吸引実行、光源切替、処置具使用、染色実施、及び特殊挿入のうち少なくとも一つの特殊操作を検出することにより、内視鏡装置５００の操作状況を認識する。そして学習フレーム区間特定部１６は、特殊操作を認識したフレーム以外を学習フレーム区間として特定する。

また、操作状況認識部２０は、入力されたフレームに基づいて、検査対象の臓器の各部位を認識することにより、内視鏡装置５００の操作状況を認識する。そして学習フレーム区間特定部１６は、認識の結果に基づいて学習フレーム区間を特定する。例えば、操作状況認識部２０は、下部内視鏡の検査において、入力されたフレームから小腸を認識し、学習フレーム区間特定部１６は小腸が認識されたフレームを含む区間は学習フレーム区間として特定しない。また例えば、操作状況認識部２０は、上部内視鏡の検査において、入力されたフレームから食道及び胃を認識し、学習フレーム区間特定部１６は、食道用の機械学習を行う学習フレーム区間、胃用の機械学習を行う学習フレーム区間をそれぞれ特定してもよい。

図８は、操作状況認識部２０が送水実行を認識する場合を説明する図である。

図８に示したフレームＮには、送水を実行している画像が示されている。具体的には、フレームＮには送水ノズルＷが写っており、送水ノズルＷの先端から水が噴射されている。操作状況認識部２０にフレームＮが入力されると、操作状況認識部２０は、送水実行（特殊操作）を検出し、内視鏡装置５００の操作状況を認識する。

図９は、本実施形態の画像処理装置１０を使用して行われる画像処理方法を示すフローチャートである。なお、画像処理方法は、画像処理装置１０の第１プロセッサ１及び第２プロセッサ２が記憶部１１に記憶されているプログラムを実行することにより行われる。

先ず、検査動画取得部１２は、検査動画Ｍを取得する（動画取得工程：ステップＳ２０）。また、操作情報取得部１４は、検査動画Ｍの内視鏡装置５００から取得される操作情報Ｐを取得する（操作情報取得工程：ステップＳ２１）。また、操作状況認識部２０は、検査動画Ｍが入力され、操作状況の認識結果を出力する（操作状況認識工程：ステップＳ２２）。その後、学習フレーム区間特定部１６は、操作情報Ｐ及び操作状況の認識結果に基づいて検査動画Ｍを構成する複数のフレームから学習フレーム区間を特定する（学習フレーム区間特定工程：ステップＳ２３）。その後、第１学習データ出力部１８は、学習フレーム区間のフレーム群を第１学習データとして出力する（第１学習データ出力工程：ステップＳ２４）。

図１０は、本実施形態の学習フレーム区間特定部１６で特定される学習フレーム区間に関して説明する図である。なお、図６で既に説明を行った箇所は同じ符号を付し説明は省略する。また、図６で説明した場合と同様、操作情報取得部１４は操作ログＱを取得している。

学習フレーム区間特定部１６は、検査動画Ｍにおいて回盲部到達（１２：００：００）から送水開始（１２：１０：００）までの区間は、学習フレーム区間（Ａ）として特定する。また、操作状況認識部２０は、入力された検査動画Ｍから送水実行を認識する。具体的には、操作状況認識部２０は、操作ログＱにおける送水開始の時刻よりも＋αだけ遅れた時刻に送水開始を検出する。したがって、この場合には、学習フレーム区間特定部１６は、学習フレーム区間（Ａ）を送水開始（１２：１０：００）から＋αだけ延長する。これにより、機械学習に使用できる正常画像を有するフレームを漏れなく学習フレーム区間（Ａ）に含ませることができる。

また操作状況認識部２０は、操作ログＱにおける送水終了の時刻よりも＋βだけ遅れた時刻に送水終了を検出する。したがって、この場合には、学習フレーム区間特定部１６は、学習フレーム区間（Ｂ）を送水終了（１２：１０：１０）から＋βだけ短縮する。これにより、送水（特殊操作）が行われている異常画像を有するフレームが学習フレーム区間に含まれることを抑制することができる。

以上で説明したように、操作ログＱに記憶された操作が実際に画面上に反映されるまでタイムラグがある場合があるため、本実施形態は、操作状況認識部２０の画像認識結果を補助的に用いて、学習フレーム区間を特定する。これにより、本実施形態は、機械学習に適した正常画像で構成された学習フレーム区間をより正確に特定することができる。

＜第３の実施形態＞
次に、第３の実施形態について説明する。本実施形態では、第１学習データ出力部１８で出力された第１学習データをさらに病変検出器２２に入力し、病変が検出されたフレーム以外を第２学習データとして出力する。

図１１は、本実施形態の画像処理装置１０の主な構成を示すブロック図である。なお、図１及び図７で既に説明を行った箇所は、同じ符号を付し説明を省略する。

画像処理装置１０は、第１プロセッサ１、記憶部１１、第２プロセッサ２で構成される。なお、第１プロセッサ１と第２プロセッサ２とは、同一のＣＰＵ（又はＧＰＵ）で構成されても良いし、別々のＣＰＵ（又はＧＰＵ）で構成されてもよい。第１プロセッサ１及び第２プロセッサ２は、記憶部１１に記憶されているプログラムを実行することにより機能ブロックに示される各機能を実現する。

第１プロセッサ１は、検査動画取得部１２、操作情報取得部１４、学習フレーム区間特定部１６、及び第１学習データ出力部１８で構成される。第２プロセッサ２は、病変検出器２２及び第２学習データ出力部２４を有する。

病変検出器２２は、公知の病変検出器２２が用いられる。例えば、病変検出器２２は、病変検出の機械学習が行われた学習済みモデルにより構成される。

病変検出器２２には、第１学習データ出力部１８から出力される第１学習データが入力される。そして、病変検出器２２は、第１学習データの中から病変が写っているフレームを検出する。

ここで、第１学習データは、操作ログＱに基づいて正常画像のみで構成されるように特定されている。しかし、術者が特殊操作を行わない場合であってもフレームには、病変等が偶然に写り込んでいる場合がある。したがって、第１学習データ出力部１８から出力された第１学習データを、病変検出器２２に入力して病変を検出させる。そして、第２学習データ出力部２４は病変検出器２２で病変が検出されたフレーム以外を第２学習データとして出力する。

図１２は、本実施形態の画像処理装置１０を使用して行われる画像処理方法を示すフローチャートである。なお、画像処理方法は、画像処理装置１０の第１プロセッサ１及び第２プロセッサが記憶部１１に記憶されているプログラムを実行することにより行われる。

先ず、検査動画取得部１２は、検査動画Ｍを取得する（動画取得工程：ステップＳ３０）。また、操作情報取得部１４は、検査動画Ｍの内視鏡装置５００から取得される操作情報Ｐを取得する（操作情報取得工程：ステップＳ３１）。その後、学習フレーム区間特定部１６は、操作情報Ｐに基づいて検査動画Ｍを構成する複数のフレームから学習フレーム区間を特定する（学習フレーム区間特定工程：ステップＳ３２）。その後、第１学習データ出力部１８は、学習フレーム区間のフレーム群を第１学習データとして出力する（第１学習データ出力工程：ステップＳ３３）。その後、病変検出器２２に、第１学習データが入力される（病変検出工程：ステップＳ３４）。その後、第２学習データ出力部２４は、病変検出器２２の検出結果に基づいて、第２学習データを出力する（第２学習データ出力工程：ステップＳ３５）。

以上で説明したように、本実施形態では、第１学習データ出力部１８から出力された第１学習データを病変検出器２２に入力し、病変が検出されたフレーム以外のフレームで構成されるフレーム群を第２学習データとして出力する。これにより、正確に正常画像を揺するフレームで構成された学習データを出力することができる。

次に、上述した検査動画Ｍ及び操作情報Ｐを生成する内視鏡装置５００に関して説明する。

＜＜内視鏡装置の全体構成＞＞
本開示の技術で使用される検査動画Ｍ及び操作情報Ｐは、以下で説明する内視鏡装置（内視鏡システム）５００で取得され、その後データベースＤＢに保存される。なお、以下で説明する内視鏡装置５００は一例であり、これに限定されるものではない。

図１３は、内視鏡装置５００の全体構成図である。

内視鏡装置５００は、内視鏡本体１００、プロセッサ装置２００、光源装置３００及びディスプレイ装置４００を備える。なお、同図には内視鏡本体１００に具備される先端硬質部１１６の一部を拡大して図示する。

内視鏡本体１００は、手元操作部１０２及びスコープ１０４を備える。ユーザは、手元操作部１０２を把持して操作し、挿入部（スコープ）１０４を被検体の体内に挿入して、被検体の体内を観察する。なお、ユーザは医師及び術者等と同義である。また、ここでいう被検体は患者及び被検査者と同義である。

手元操作部１０２は、送気送水ボタン１４１、吸引ボタン１４２、機能ボタン１４３及び撮像ボタン１４４を備える。送気送水ボタン１４１は送気指示及び送水指示の操作を受け付ける。

吸引ボタン１４２は吸引指示を受け付ける。機能ボタン１４３は各種の機能が割り付けられる。機能ボタン１４３は各種機能の指示を受け付ける。撮像ボタン１４４は、撮像指示操作を受け付ける。撮像は動画像撮像及び静止画像撮像が含まれる。

スコープ（挿入部）１０４は、軟性部１１２、湾曲部１１４及び先端硬質部１１６を備える。軟性部１１２、湾曲部１１４及び先端硬質部１１６は、手元操作部１０２の側から、軟性部１１２、湾曲部１１４及び先端硬質部１１６の順に配置される。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続され、スコープ１０４の基端側に手元操作部１０２が接続される。

ユーザは、手元操作部１０２を操作し湾曲部１１４を湾曲させて、先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６は、撮像部、照明部及び鉗子口１２６を備える。

図１３では撮像部を構成する撮影レンズ１３２を図示する。また、同図では照明部を構成する照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを図示する。なお、撮像部は符号１３０を付して図１４に図示する。また、照明部は符号１２３を付して図１４に図示する。

観察及び処置の際に、図１４に示す操作部２０８の操作に応じて、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを介して、白色光（通常光）及び狭帯域光（特殊光）の少なくともいずれかが出力される。

送気送水ボタン１４１が操作された場合、送水ノズルから洗浄水が放出されるか、又は送気ノズルから気体が放出される。洗浄水及び気体は照明用レンズ１２３Ａ等の洗浄に用いられる。なお、送水ノズル及び送気ノズルの図示は省略する。送水ノズル及び送気ノズルを共通化してもよい。

鉗子口１２６は管路と連通する。管路は処置具が挿入される。処置具は適宜進退可能に支持される。腫瘍等の摘出等の際に、処置具を適用して必要な処置が実施される。なお、図１３に示す符号１０６はユニバーサルケーブルを示す。符号１０８はライトガイドコネクタを示す。

図１４、は内視鏡装置５００の機能ブロック図である。内視鏡本体１００は、撮像部１３０を備える。撮像部１３０は先端硬質部１１６の内部に配置される。撮像部１３０は、撮影レンズ１３２、撮像素子１３４、駆動回路１３６及びアナログフロントエンド１３８を備える。なお、ＡＦＥはAnalog Front Endの省略語である。

撮影レンズ１３２は先端硬質部１１６の先端側端面１１６Ａに配置される。撮影レンズ１３２の先端側端面１１６Ａと反対側の位置には、撮像素子１３４が配置される。撮像素子１３４は、ＣＭＯＳ型のイメージセンサが適用される。撮像素子１３４はＣＣＤ型のイメージセンサを適用してもよい。なお、ＣＭＯＳはComplementary Metal-Oxide Semiconductorの省略語である。ＣＣＤはCharge Coupled Deviceの省略語である。

撮像素子１３４はカラー撮像素子が適用される。カラー撮像素子の例としてＲＧＢに対応するカラーフィルタを備えた撮像素子が挙げられる。なお、ＲＧＢは赤、緑及び青のそれぞれの英語表記であるred、green及びyellowの頭文字である。

撮像素子１３４はモノクロ撮像素子を適用してもよい。撮像素子１３４にモノクロ撮像素子が適用される場合、撮像部１３０は、撮像素子１３４の入射光の波長帯域を切り替えて、面順次又は色順次の撮像を実施し得る。

駆動回路１３６は、プロセッサ装置２００から送信される制御信号に基づき、撮像素子１３４の動作に必要な各種のタイミング信号を撮像素子１３４へ供給する。

アナログフロントエンド１３８は、アンプ、フィルタ及びＡＤコンバータを備える。なお、ＡＤはアナログ及びデジタルのそれぞれの英語表記であるanalog及びdigitalの頭文字である。アナログフロントエンド１３８は、撮像素子１３４の出力信号に対して、増幅、ノイズ除去及びアナログデジタル変換等の処理を施す。アナログフロントエンド１３８の出力信号は、プロセッサ装置２００へ送信される。なお、図１４に示すＡＦＥは、アナログフロントエンドの英語表記であるAnalog Front End省略語である。

観察対象の光学像は、撮影レンズ１３２を介して撮像素子１３４の受光面に結像される。撮像素子１３４は、観察対象の光学像を電気信号へ変換する。撮像素子１３４から出力される電気信号は、信号線を介してプロセッサ装置２００へ送信される。

照明部１２３は先端硬質部１１６に配置される。照明部１２３は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを備える。照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂは、先端側端面１１６Ａにおける撮影レンズ１３２の隣接位置に配置される。

照明部１２３は、ライトガイド１７０を備える。ライトガイド１７０の射出端は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂの先端側端面１１６Ａと反対側の位置に配置される。

ライトガイド１７０は、図１３に示すスコープ１０４、手元操作部１０２及びユニバーサルケーブル１０６に挿入される。ライトガイド１７０の入射端は、ライトガイドコネクタ１０８の内部に配置される。

プロセッサ装置２００は、画像入力コントローラ２０２、撮像信号処理部２０４及びビデオ出力部２０６を備える。画像入力コントローラ２０２は、内視鏡本体１００から送信される、観察対象の光学像に対応する電気信号を取得する。

撮像信号処理部２０４は、観察対象の光学像に対応する電気信号である撮像信号に基づき、観察対象の内視鏡画像及び検査動画を生成する。

撮像信号処理部２０４は、撮像信号に対してホワイトバランス処理及びシェーディング補正処理等のデジタル信号処理を適用した画質補正を実施し得る。撮像信号処理部２０４は、ＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像又は検査動画を構成するフレームへ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。

ビデオ出力部２０６は、撮像信号処理部２０４を用いて生成された画像を表す表示信号をディスプレイ装置４００へ送信する。ディスプレイ装置４００は観察対象の画像を表示する。

プロセッサ装置２００は、図１３に示す撮像ボタン１４４が操作された際に、内視鏡本体１００から送信される撮像指令信号に応じて、画像入力コントローラ２０２及び撮像信号処理部２０４等を動作させる。

プロセッサ装置２００は、内視鏡本体１００から静止画像撮像を表すフリーズ指令信号を取得した場合に、撮像信号処理部２０４を適用して、撮像ボタン１４４の操作タイミングにおけるフレーム画像に基づく静止画像を生成する。プロセッサ装置２００は、ディスプレイ装置４００を用いて静止画像を表示させる。

プロセッサ装置２００は通信制御部２０５を備える。通信制御部２０５は、病院内システム及び病院内ＬＡＮ等を介して通信可能に接続される装置との通信を制御する。通信制御部２０５はＤＩＣＯＭ規格に準拠した通信プロトコルを適用し得る。なお、病院内システムの例として、ＨＩＳ（Hospital Information System）が挙げられる。ＬＡＮはLocal Area Networkの省略語である。

プロセッサ装置２００は記憶部２０７を備える。記憶部２０７は、内視鏡本体１００を用いて生成された内視鏡画像及び検査動画を記憶する。記憶部２０７は、内視鏡画像及び検査動画に付帯する各種情報を記憶してもよい。具体的には、記憶部２０７は、内視鏡画像及び検査動画の撮影における操作ログなどの操作情報を記憶する。なお、記憶部２０７に記憶された内視鏡画像、検査動画、操作ログなどの操作情報は、データベースＤＢに保存される。

プロセッサ装置２００は操作部２０８を備える。操作部２０８はユーザの操作に応じた指令信号を出力する。操作部２０８は、キーボード、マウス及びジョイスティック等を適用し得る。

プロセッサ装置２００は、音声処理部２０９及びスピーカ２０９Ａを備える。音声処理部２０９は音声として報知される情報を表す音声信号を生成する。スピーカ２０９Ａは、音声処理部２０９を用いて生成された音声信号を音声へ変換する。スピーカ２０９Ａから出力される音声の例として、メッセージ、音声ガイダンス及び警告音等が挙げられる。

プロセッサ装置２００は、ＣＰＵ２１０、ＲＯＭ２１１及びＲＡＭ２１２を備える。なお、ＲＯＭはRead Only Memoryの省略語である。ＲＡＭはRandom Access Memoryの省略語である。

ＣＰＵ２１０は、プロセッサ装置２００の全体制御部として機能する。ＣＰＵ２１０は、ＲＯＭ２１１及びＲＡＭ２１２を制御するメモリコントローラとして機能する。ＲＯＭ
２１１は、プロセッサ装置２００に適用される各種のプログラム及び制御パラメータ等が記憶される。

ＲＡＭ２１２は各種処理におけるデータの一時記憶領域及びＣＰＵ２１０を用いた演算処理の処理領域に適用される。ＲＡＭ２１２は内視鏡画像を取得した際のバッファメモリに適用し得る。

＜＜プロセッサ装置のハードウェア構成＞＞
プロセッサ装置２００はコンピュータを適用し得る。コンピュータは、以下のハードウェアを適用し、規定のプログラムを実行してプロセッサ装置２００の機能を実現し得る。なお、プログラムはソフトウェアと同義である。

プロセッサ装置２００は、信号処理を実施する信号処理部として各種のプロセッサを適用し得る。プロセッサの例として、ＣＰＵ及びＧＰＵ（Graphics Processing Unit）が挙げられる。ＣＰＵはプログラムを実行して信号処理部として機能する汎用的なプロセッサである。ＧＰＵは画像処理に特化したプロセッサである。プロセッサのハードウェアは、半導体素子等の電気回路素子を組み合わせた電気回路が適用される。各制御部は、プログラム等が記憶されるＲＯＭ及び各種演算の作業領域等であるＲＡＭを備える。

一つの信号処理部に対して二つ以上のプロセッサを適用してもよい。二つ以上のプロセッサは、同じ種類のプロセッサでもよいし、異なる種類のプロセッサでもよい。また、複数の信号処理部に対して一つのプロセッサを適用してもよい。なお、実施形態に記載のプロセッサ装置２００は内視鏡制御部の一例に相当する。

＜＜光源装置の構成例＞＞
光源装置３００は、光源３１０、絞り３３０、集光レンズ３４０及び光源制御部３５０を備える。光源装置３００は、ライトガイド１７０へ観察光を入射させる。光源３１０は、赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂを備える。赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂはそれぞれ、赤色、緑色及び青色の狭帯域光を放出する。

光源３１０は、赤色、緑色及び青色の狭帯域光を任意に組み合わせた照明光を生成し得る。例えば、光源３１０は赤色、緑色及び青色の狭帯域光を組み合わせて白色光を生成し得る。また、光源３１０は赤色、緑色及び青色の狭帯域光の任意の二色を組み合わせて狭帯域光を生成し得る。ここで、白色光は通常の内視鏡検査で使用される光であり通常光といい、狭帯域光を特殊光という。

光源３１０は赤色、緑色及び青色の狭帯域光の任意の一色を用いて狭帯域光を生成し得る。光源３１０は、白色光又は狭帯域光を選択的に切り替えて放出し得る。光源３１０は、赤外光を放出する赤外光源及び紫外光を放出する紫外光源等を備え得る。

光源３１０は、白色光を放出する白色光源、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを備える態様を採用し得る。かかる態様の光源３１０は、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを切り替えて、白色光又は狭帯域光のいずれかを選択的に放出し得る。

狭帯域光を通過させるフィルタは、異なる帯域に対応する複数のフィルタが含まれ得る。光源３１０は、異なる帯域に対応する複数のフィルタを選択的に切り替えて、帯域が異なる複数の狭帯域光を選択的に放出し得る。

光源３１０は、観察対象の種類及び観察の目的等に応じた、種類及び波長帯域等を適用し得る。光源３１０の種類の例として、レーザ光源、キセノン光源及びＬＥＤ光源等が挙げられる。なお、ＬＥＤはLight-Emitting Diodeの省略語である。

光源装置３００へライトガイドコネクタ１０８が接続された際に、光源３１０から放出された観察光は、絞り３３０及び集光レンズ３４０を介して、ライトガイド１７０の入射端へ到達する。観察光は、ライトガイド１７０及び照明用レンズ１２３Ａ等を介して、観察対象へ照射される。

光源制御部３５０は、プロセッサ装置２００から送信される指令信号に基づき、光源３１０及び絞り３３０へ制御信号を送信する。光源制御部３５０は、光源３１０から放出される観察光の照度、観察光の切り替え及び観察光のオンオフ等を制御する。

＜＜光源の変更＞＞
内視鏡装置５００では、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光を光源とすることができる。一方内視鏡装置５００は、特定の波長帯域の光（特殊光）を照射することもできる。以下に特定波長帯域の具体例に関して説明する。

＜＜第１例＞＞
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

＜＜第２例＞＞
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

＜＜第３例＞＞
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

＜＜第４例＞＞
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

＜＜第５例＞＞
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

＜＜特殊光画像の生成例＞＞
プロセッサ装置２００は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置２００は、特殊光画像取得部として機能する。そして、プロセッサ装置２００は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑及び青、或いはシアン、マゼンタ及びイエローの色情報に基づく演算を行うことで得る。なお、シアン、マゼンタ及びイエローは、それぞれの英語表記であるCyan、Magenta及びYellowの頭文字を用いてＣＭＹと表されることがある。

＜その他＞
上記実施形態において、各種の処理を実行する処理部（第１プロセッサ１及び第２プロセッサ２）（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

第１プロセッサ１及び／又は第２プロセッサ２は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ ：第１プロセッサ
２ ：第２プロセッサ
１０ ：画像処理装置
１１ ：記憶部
１２ ：検査動画取得部
１４ ：操作情報取得部
１６ ：学習フレーム区間特定部
１８ ：第１学習データ出力部
２０ ：操作状況認識部
２２ ：病変検出器
２４ ：第２学習データ出力部

Claims (15)

1. プロセッサを備える画像処理装置であって、
   前記プロセッサは、
   内視鏡装置で撮影された検査動画を取得し、
   前記検査動画の撮影における前記内視鏡装置の操作情報を取得し、
   前記操作情報に基づいて前記検査動画を構成する複数のフレームから学習フレーム区間を特定し、
   前記学習フレーム区間のフレーム群を第１学習データとして出力する、
   画像処理装置。
2. 前記プロセッサは、前記操作情報に基づいて特殊操作が行われていない区間を前記学習フレーム区間として特定する請求項１に記載の画像処理装置。
3. 前記操作情報は、観察が開始されたことを示す観察開始情報を有し、
   前記プロセッサは、前記観察開始情報に基づいて前記学習フレーム区間を特定する請求項１又は２に記載の画像処理装置。
4. 前記操作情報は、検査対象の臓器の特定部位を検出したことを示す検出情報を有し、
   前記プロセッサは、前記検出情報に基づいて前記学習フレーム区間を特定する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記操作情報は、送水実行、送気実行、吸引実行、光源切替、処置具使用、染色実施、特殊挿入のうち少なくとも一つを示す特殊操作情報を有し、
   前記プロセッサは、前記特殊操作情報に基づいて前記学習フレーム区間を特定する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記プロセッサは、複数の前記特殊操作情報に基づいて前記学習フレーム区間を特定する請求項５に記載の画像処理装置。
7. 前記操作情報は、前記内視鏡装置のスコープの時系列的な挿入長に関する情報を有し、
   前記プロセッサは、前記挿入長の変化量が第１閾値の範囲内である場合に、前記学習フレーム区間として特定する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記操作情報は、前記内視鏡装置により静止画が撮影されたことを示す静止画撮影情報を有し、
   前記プロセッサは、前記静止画撮影情報に基づいて前記学習フレーム区間を特定する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記プロセッサは、
   前記検査動画を構成する前記フレームに基づいて前記内視鏡装置の操作状況を認識し、
   前記認識の結果に基づいて前記学習フレーム区間を特定する請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記プロセッサは、
    前記検査動画を構成する前記フレームに基づいて、検査対象の臓器の特定部位を検出することにより、前記内視鏡装置の操作状況を認識し、
    前記特定部位を認識した前記フレーム以降の区間を前記学習フレーム区間として特定する請求項９に記載の画像処理装置。
11. 前記プロセッサは、
    前記検査動画を構成する前記フレームに基づいて、送水実行、吸引実行、光源切替、処置具使用、染色実施、及び特殊挿入のうち少なくとも一つの特殊操作を検出することにより、前記内視鏡装置の操作状況を認識し、
    前記特殊操作を認識した前記フレーム以外を前記学習フレーム区間として特定する請求項９又は１０に記載の画像処理装置。
12. 前記プロセッサは、
    前記検査動画を構成する前記フレームに基づいて、検査対象の臓器の各部位を認識することにより、前記内視鏡装置の操作状況を認識し、
    前記認識の結果に基づいて前記学習フレーム区間を特定する請求項９から１１のいずれか１項に記載の画像処理装置。
13. 前記プロセッサは、
    出力された前記第１学習データを、病変を検出する病変検出器に入力し、
    前記病変検出器で病変が検出されたフレーム以外を、第２学習データとして出力する、
    請求項１から８のいずれか１項に記載の画像処理装置。
14. プロセッサを備える画像処理装置の画像処理方法であって、
    前記プロセッサが、
    内視鏡装置で撮影された検査動画を取得する工程と、
    前記検査動画の撮影における前記内視鏡装置の操作情報を取得する工程と、
    前記操作情報に基づいて前記検査動画を構成する複数のフレームから学習フレーム区間を特定する工程と、
    前記学習フレーム区間のフレーム群を第１学習データとして出力する工程と、
    を行う画像処理方法。
15. プロセッサを備える画像処理装置が画像処理方法を実行するプログラムであって、
    前記プロセッサに、
    内視鏡装置で撮影された検査動画を取得する工程と、
    前記検査動画の撮影における前記内視鏡装置の操作情報を取得する工程と、
    前記操作情報に基づいて前記検査動画を構成する複数のフレームから学習フレーム区間を特定する工程と、
    前記学習フレーム区間のフレーム群を第１学習データとして出力する工程と、
    を実行させるプログラム。

Images