JP2011008374A - Information processing apparatus and program - Google Patents

Information processing apparatus and program Download PDF

Info

Publication number
JP2011008374A
JP2011008374A JP2009149361A JP2009149361A JP2011008374A JP 2011008374 A JP2011008374 A JP 2011008374A JP 2009149361 A JP2009149361 A JP 2009149361A JP 2009149361 A JP2009149361 A JP 2009149361A JP 2011008374 A JP2011008374 A JP 2011008374A
Authority
JP
Japan
Prior art keywords
search result
result information
image
search
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009149361A
Other languages
Japanese (ja)
Inventor
Motofumi Fukui
基文 福井
Sukeji Kato
典司 加藤
Bunen Seki
文渊 戚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2009149361A priority Critical patent/JP2011008374A/en
Publication of JP2011008374A publication Critical patent/JP2011008374A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processing apparatus and program, presenting to a user, from a view point different from a search condition, a summary of at least one piece of information selected by the user from information outputted as a search result in accordance with the received search condition.SOLUTION: A search result information output unit 24 receives a search condition including an image and outputs at least one piece of search result information associated with a combination of a character string and the image, which is identified on the basis of the image. A selection unit 26 selects at least one piece of search result information outputted from the search result information output unit 24 in accordance with operation by the user. A representative information output unit 30 outputs representative information representing at least one piece of search result information that is identified on the basis of a character string associated with at least each one piece of search result information selected by the selection unit 26.

Description

本発明は、情報処理装置及びプログラムに関する。   The present invention relates to an information processing apparatus and a program.

画像を検索条件として受け付けて、その画像に類似する画像を検索結果として出力する画像検索技術が存在する。特許文献１には、診断画像から検出される病変位置の画像的な特徴量に基づいて、診断画像に類似する参照画像を検索する技術が開示されている。   There is an image search technique that accepts an image as a search condition and outputs an image similar to the image as a search result. Patent Document 1 discloses a technique for searching for a reference image similar to a diagnostic image based on an image-like feature amount of a lesion position detected from the diagnostic image.

特開２００２−２３０５１８号公報JP 2002-230518 A

本発明は、受け付ける検索条件に応じて検索結果として出力される情報のうちから利用者により選択される少なくとも１つの情報の概要を、検索条件とは異なる観点で利用者に提示することができる情報処理装置及びプログラムを提供することを目的とする。   The present invention provides information that can present a user with an overview of at least one piece of information selected by a user from information output as a search result according to a search condition to be accepted, from a viewpoint different from the search condition. It is an object to provide a processing device and a program.

請求項１に記載の発明は、情報処理装置であって、画像を含む検索条件を受け付けて、前記画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段と、利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段と、前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段と、を含むこととしたものである。   The invention according to claim 1 is an information processing apparatus that accepts search conditions including an image, and retrieves search result information associated with a combination of a character string and an image specified based on the image. A search result information output means for outputting at least one; a selection means for selecting at least one of the search result information output by the search result information output means in response to an operation by a user; and the selection means. And representative information output means for outputting representative information representative of the at least one search result information specified based on a character string associated with each of the at least one search result information to be selected. Is.

請求項２に記載の発明は、情報処理装置であって、文字列を含む検索条件を受け付けて、前記文字列に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段と、利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段と、前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている画像に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段と、を含むこととしたものである。   The invention according to claim 2 is an information processing apparatus, accepts a search condition including a character string, and is a search result associated with a combination of a character string and an image specified based on the character string Search result information output means for outputting at least one information; selection means for selecting at least one of search result information output by the search result information output means in response to an operation by a user; and the selection Representative information output means for outputting representative information representative of the at least one search result information specified based on an image associated with each of at least one search result information selected by the means; It is a thing.

請求項３に記載の発明は、請求項１又は２に記載の情報処理装置であって、前記検索結果情報出力手段が、前記各検索結果情報を、当該各検索結果情報と受け付ける検索条件との比較結果に基づいて特定される類似又は乖離の程度に応じた態様で出力することとしたものである。   The invention according to claim 3 is the information processing apparatus according to claim 1 or 2, wherein the search result information output means includes the search result information and the search condition for receiving the search result information. The output is performed in a mode corresponding to the degree of similarity or deviation specified based on the comparison result.

請求項４に記載の発明は、プログラムであって、画像を含む検索条件を受け付けて、前記画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段、利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段、前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段、としてコンピュータを機能させることとしたものである。   The invention according to claim 4 is a program that accepts a search condition including an image and specifies at least one search result information associated with a combination of a character string and an image specified based on the image. Search result information output means for outputting, selection means for selecting at least one of the search result information output by the search result information output means in response to an operation by a user, at least selected by the selection means The computer is caused to function as representative information output means for outputting representative information representing at least one search result information specified based on a character string associated with each search result information. is there.

請求項５に記載の発明は、プログラムであって、文字列を含む検索条件を受け付けて、前記文字列に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段、利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段、前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている画像に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段、としてコンピュータを機能させることとしたものである。   The invention according to claim 5 is a program that accepts a search condition including a character string, and retrieves search result information associated with a combination of a character string and an image specified based on the character string. Search result information output means for outputting at least one, selection means for selecting at least one of the search result information output by the search result information output means in response to an operation by a user, selected by the selection means The computer is caused to function as representative information output means for outputting representative information representing the at least one search result information specified based on an image associated with each of the at least one search result information. It is.

請求項１，２，４，５に記載の発明によれば、受け付ける検索条件に応じて検索結果として出力される情報のうちから利用者により選択される少なくとも１つの情報の概要を、検索条件とは異なる観点で利用者に提示することができる。   According to the first, second, fourth, and fifth aspects of the present invention, an outline of at least one piece of information selected by a user from information output as a search result according to a search condition to be accepted is defined as a search condition. Can be presented to the user from different perspectives.

請求項３に記載の発明によれば、各検索結果情報が示す検索結果について、検索条件と検索結果との類似又は乖離の程度を利用者に提示することができる。   According to the third aspect of the present invention, the degree of similarity or divergence between the search condition and the search result can be presented to the user for the search result indicated by each search result information.

本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the information processing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報処理装置により実現される機能の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the function implement | achieved by the information processing apparatus which concerns on one Embodiment of this invention. 本実施形態に係る情報処理装置で行われる処理の流れの一例を示すフロー図である。It is a flowchart which shows an example of the flow of the process performed with the information processing apparatus which concerns on this embodiment. 検索結果画面の一例を示す図である。It is a figure which shows an example of a search result screen. 診断結果ヒストグラムの一例を示す図である。It is a figure which shows an example of a diagnostic result histogram. 特徴抽出対象画像の一例を示す図である。It is a figure which shows an example of the feature extraction object image. 検索結果画面の一例を示す図である。It is a figure which shows an example of a search result screen. 検索結果画面の一例を示す図である。It is a figure which shows an example of a search result screen.

以下、本発明の一実施形態について図面に基づき詳細に説明する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図１のハードウェア構成図に例示するように、本実施形態における情報処理装置１０は、例えば、制御部１２、記憶部１４、ユーザインタフェース（ＵＩ）部１６、を含んでいる。これらの要素は、バスなどを介して接続される。   As illustrated in the hardware configuration diagram of FIG. 1, the information processing apparatus 10 according to the present embodiment includes, for example, a control unit 12, a storage unit 14, and a user interface (UI) unit 16. These elements are connected via a bus or the like.

制御部１２は、ＣＰＵ等のプログラム制御デバイスであり、情報処理装置１０にインストールされるプログラムに従って動作する。記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが記憶される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。ＵＩ部１６は、ディスプレイ、マイク、マウス、キーボードなどであり、利用者が行った操作の内容や、利用者が入力した音声を制御部１２に出力する。また、このＵＩ部１６は、制御部１２から入力される指示に従って情報を表示出力したり音声出力したりする。   The control unit 12 is a program control device such as a CPU, and operates according to a program installed in the information processing apparatus 10. The storage unit 14 is a storage element such as a ROM or a RAM, a hard disk, or the like. The storage unit 14 stores a program executed by the control unit 12. The storage unit 14 also operates as a work memory for the control unit 12. The UI unit 16 is a display, a microphone, a mouse, a keyboard, and the like, and outputs the content of the operation performed by the user and the voice input by the user to the control unit 12. In addition, the UI unit 16 displays and outputs information according to an instruction input from the control unit 12.

図２は、本実施形態に係る情報処理装置１０により実現される機能の一例を示す機能ブロック図である。図２に例示するように、本実施形態では、情報処理装置１０は、例えば、検索対象情報記憶部２０、検索条件受付部２２、検索結果情報出力部２４、選択部２６、代表情報生成部２８、代表情報出力部３０、を含むものとして機能する。検索対象情報記憶部２０は、記憶部１４を主として実現される。その他の要素は制御部１２を主として実現される。   FIG. 2 is a functional block diagram illustrating an example of functions realized by the information processing apparatus 10 according to the present embodiment. As illustrated in FIG. 2, in this embodiment, the information processing apparatus 10 includes, for example, a search target information storage unit 20, a search condition reception unit 22, a search result information output unit 24, a selection unit 26, and a representative information generation unit 28. And the representative information output unit 30. The search target information storage unit 20 is realized mainly by the storage unit 14. Other elements are realized mainly by the control unit 12.

これらの要素は、コンピュータである情報処理装置１０にインストールされたプログラムを、情報処理装置１０の制御部１２で実行することにより実現されている。このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１０に供給される。   These elements are realized by executing a program installed in the information processing apparatus 10 that is a computer by the control unit 12 of the information processing apparatus 10. This program is supplied to the information processing apparatus 10 via a computer-readable information transmission medium such as a CD-ROM or DVD-ROM, or via communication means such as the Internet.

検索対象情報記憶部２０には、検索対象情報が少なくとも１つ記憶されている。本実施形態では、検索対象情報は、文字列と画像とを含んでいる。検索対象情報は、具体的には、例えば、患者を診断した画像と、その患者に関する情報や、診断医・読影医に関する情報や、診断結果に関する情報などを示す文字列と、を含んでいる。   The search target information storage unit 20 stores at least one search target information. In the present embodiment, the search target information includes a character string and an image. Specifically, the search target information includes, for example, an image obtained by diagnosing a patient, a character string indicating information related to the patient, information related to a diagnostic doctor / interpretation doctor, information related to a diagnosis result, and the like.

ここで、本実施形態に係る情報処理装置１０で行われる処理の流れの一例を、図３に例示するフロー図を参照しながら説明する。   Here, an example of the flow of processing performed by the information processing apparatus 10 according to the present embodiment will be described with reference to the flowchart illustrated in FIG.

まず、検索条件受付部２２が、利用者から検索条件を受け付ける（Ｓ１０１）。検索条件受付部２２は、例えば、診断の対象となる画像と、その患者に関する情報や、診断医・読影医に関する情報や、診断結果に関する情報などを示す文字列と、を含む検索条件を受け付ける。このように、本実施形態では、検索条件には画像（検索条件画像）と、文字列（検索条件文字列）と、が含まれている。   First, the search condition receiving unit 22 receives a search condition from the user (S101). The search condition accepting unit 22 accepts a search condition including, for example, an image to be diagnosed, information about the patient, information about a diagnostic doctor / interpretation doctor, and a character string indicating information about a diagnosis result. Thus, in the present embodiment, the search condition includes an image (search condition image) and a character string (search condition character string).

そして、検索結果情報出力部２４は、検索対象情報のうちから、Ｓ１０１に例示する処理で受け付けた検索条件に応じた検索結果である少なくとも１つの検索結果情報を特定して、出力する（Ｓ１０２）。本実施形態では、検索結果情報出力部２４は、例えば、図４に例示する検索結果画面３２をディスプレイなどのＵＩ部１６に表示出力する。図４に例示する検索結果画面３２は、二次元のマップ状の形状をしている。そして、検索結果画面３２には、Ｓ１０１に例示する処理で受け付けた検索条件に対応する画像（検索条件対応画像３４）と、それぞれが検索結果情報に対応する少なくとも１つの画像（検索結果対応画像３６）と、が含まれている。そして、本実施形態では、検索条件対応画像３４は、例えば、検索結果画面３２の中央付近に配置されている。検索条件対応画像３４や検索結果対応画像３６は、例えば、シンボリックな図形（例えば、アイコンやサムネイル、文字列）などを含んでいる。   Then, the search result information output unit 24 specifies and outputs at least one search result information that is a search result corresponding to the search condition received in the process exemplified in S101 from the search target information (S102). . In the present embodiment, the search result information output unit 24 displays and outputs a search result screen 32 illustrated in FIG. 4 on the UI unit 16 such as a display, for example. The search result screen 32 illustrated in FIG. 4 has a two-dimensional map shape. The search result screen 32 includes an image corresponding to the search condition received in the process exemplified in S101 (search condition corresponding image 34) and at least one image corresponding to the search result information (search result corresponding image 36). ) And are included. In the present embodiment, the search condition corresponding image 34 is arranged, for example, near the center of the search result screen 32. The search condition corresponding image 34 and the search result corresponding image 36 include, for example, symbolic figures (for example, icons, thumbnails, and character strings).

ここで、Ｓ１０２に例示する処理の詳細を説明する。まず、検索結果情報出力部２４は、検索条件画像及び検索対象画像それぞれについて、公知の技術により、各画像に対応する特徴ベクトルを算出する。そして、検索結果情報出力部２４は、例えば、算出される特徴ベクトルを２次元に圧縮する。すなわち、検索結果情報出力部２４は、各特徴ベクトルを２次元座標に変換する。そして、検索結果情報出力部２４は、検索対象情報記憶部２０に記憶されている検索対象情報に含まれる画像のうちから、予め定められた条件（例えば、対応する特徴ベクトルが、検索条件画像に対応する特徴ベクトルから予め定められた範囲内の距離にあるという条件）に基づいて特定される画像を含む情報（検索結果情報）を特定する。そして、検索結果情報出力部２４は、検索条件対応画像３４が検索条件画像に対応する特徴ベクトルが変換された２次元座標における位置に配置され、検索結果情報に対応する検索結果対応画像３６が、その検索結果情報に含まれる画像に対応する特徴ベクトルが変換された２次元座標における位置に配置されている検索結果画面３２を生成してディスプレイなどのＵＩ部１６に出力する。なお、検索結果情報出力部２４は、例えば、後述する診断結果のヒストグラム（診断結果ヒストグラム３８）に基づいて、頻度が上位２つ以内に入っている診断結果それぞれを軸とする２次元空間に検索条件対応画像３４や検索結果対応画像３６が配置された検索結果画面３２を生成してディスプレイなどのＵＩ部１６に出力してもよい。図５に、診断結果ヒストグラム３８の一例を示す。   Details of the process exemplified in S102 will be described here. First, the search result information output unit 24 calculates a feature vector corresponding to each image using a known technique for each of the search condition image and the search target image. Then, for example, the search result information output unit 24 compresses the calculated feature vector in two dimensions. That is, the search result information output unit 24 converts each feature vector into two-dimensional coordinates. Then, the search result information output unit 24 selects a predetermined condition (for example, a corresponding feature vector is included in the search condition image from the images included in the search target information stored in the search target information storage unit 20. Information (search result information) including an image specified based on a condition within a predetermined range from a corresponding feature vector is specified. Then, the search result information output unit 24 arranges the search condition corresponding image 34 at the position in the two-dimensional coordinates obtained by converting the feature vector corresponding to the search condition image, and the search result corresponding image 36 corresponding to the search result information A search result screen 32 arranged at a position in the converted two-dimensional coordinates of the feature vector corresponding to the image included in the search result information is generated and output to the UI unit 16 such as a display. Note that the search result information output unit 24 searches, for example, in a two-dimensional space with the diagnosis results having the top two frequencies as axes, based on a diagnosis result histogram (diagnosis result histogram 38) described later. The search result screen 32 in which the condition corresponding image 34 and the search result corresponding image 36 are arranged may be generated and output to the UI unit 16 such as a display. FIG. 5 shows an example of the diagnosis result histogram 38.

診断結果ヒストグラム３８の生成処理の詳細の一例を、図６に例示する、検索条件画像や、検索結果情報に含まれる画像、などに対応する、特徴が抽出される対象となる特徴抽出対象画像４０を参照しながら説明する。なお、本実施形態では、記憶部１４には、予め、後述する特徴ベクトルとラベル（例えば、診断名や病変名の識別子などに対応する）とが関連づけられた少なくとも１つの学習情報が記憶されている。まず、検索結果情報出力部２４は、図６に例示するように、特徴抽出対象画像４０内の、病気を診断する対象となる体の部位に対応する対象領域４２（例えば、肺の画像（肺画像４４）が含まれる領域）を決定する。そして、検索結果情報出力部２４は、対象領域４２内に、例えば、正方形の注目領域４６を決定する。そして、検索結果情報出力部２４は、例えば、注目領域４６に含まれる各画素の色分布などに基づいて、この注目領域４６に対応する特徴ベクトル（具体的には、例えば、公知のＳＩＦＴ特徴やＶＺ特徴など）を算出する。そして、検索結果情報出力部２４は、例えば、注目領域４６の中心の位置（例えば、注目領域４６の中心の位置に配置されている画素）に、算出された特徴ベクトルを関連づける。そして、検索結果情報出力部２４は、例えば、記憶部１４に記憶されている学習情報に含まれる特徴ベクトルそれぞれについて、その特徴ベクトルと、注目領域４６の中心の位置に関連づけられた特徴ベクトルと、の間の距離（特徴ベクトルの差のノルム）を算出する。そして、検索結果情報出力部２４は、各学習情報に含まれる特徴ベクトルのうちから、注目領域４６の中心の位置に関連づけられた特徴ベクトルからの距離が最も近い特徴ベクトルを特定する。そして、検索結果情報出力部２４は、その特徴ベクトルが含まれる学習情報に対応するラベルを特定する。そして、検索結果情報出力部２４は、特定されたラベルを注目領域４６の中心の位置（例えば、注目領域４６の中心の位置に配置されている画素）に関連づける。   An example of details of the generation processing of the diagnosis result histogram 38 is illustrated in FIG. 6. The feature extraction target image 40 from which features are extracted corresponding to the search condition image, the image included in the search result information, and the like. Will be described with reference to FIG. In the present embodiment, the storage unit 14 stores in advance at least one learning information in which a feature vector and a label (for example, corresponding to a diagnosis name, an identifier of a lesion name, and the like) described later are associated with each other. Yes. First, as illustrated in FIG. 6, the search result information output unit 24 includes a target region 42 (for example, a lung image (a lung image (lung) in the feature extraction target image 40) corresponding to a body part to be diagnosed. The region containing the image 44) is determined. Then, the search result information output unit 24 determines, for example, a square attention area 46 in the target area 42. Then, the search result information output unit 24, for example, based on the color distribution of each pixel included in the attention area 46, the feature vector corresponding to this attention area 46 (specifically, for example, a known SIFT feature or VZ feature etc.) is calculated. Then, for example, the search result information output unit 24 associates the calculated feature vector with the center position of the attention area 46 (for example, the pixel arranged at the center position of the attention area 46). Then, the search result information output unit 24, for example, for each feature vector included in the learning information stored in the storage unit 14, the feature vector and the feature vector associated with the center position of the attention area 46, The distance (the norm of the feature vector difference) is calculated. Then, the search result information output unit 24 specifies the feature vector having the closest distance from the feature vector associated with the center position of the attention area 46 from the feature vectors included in each learning information. Then, the search result information output unit 24 specifies a label corresponding to the learning information including the feature vector. Then, the search result information output unit 24 associates the identified label with the center position of the attention area 46 (for example, the pixel arranged at the center position of the attention area 46).

検索結果情報出力部２４は、対象領域４２全体について注目領域４６を走査して、上述の処理を繰り返し実行することにより、対象領域４２の少なくとも一部に含まれる位置それぞれに対して特徴ベクトル及びラベルを関連づける。   The search result information output unit 24 scans the region of interest 46 for the entire target region 42 and repeatedly executes the above-described processing, whereby a feature vector and a label for each position included in at least a part of the target region 42 are obtained. Associate.

なお、検索結果情報出力部２４は、公知のＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）などを用いて、隣接する位置について互いに対応するラベル（例えば、同一のラベル）が関連づけられるよう、注目領域４６の中心の位置に関連づけられるラベルを補正してもよい。   Note that the search result information output unit 24 uses a known CRF (Conditional Random Field) or the like so that labels corresponding to each other (for example, the same label) are associated with each other at adjacent positions. The label associated with may be corrected.

そして、検索結果情報出力部２４は、各特徴抽出対象画像４０について、その特徴抽出対象画像４０内の各位置に関連づけられたラベルに対応する診断名や病変名の数に基づいて、各診断名や病変名に対応するラベルの数の分布を示す診断結果ヒストグラム３８を生成する。診断結果ヒストグラム３８では、横軸が診断名や病変名などの診断結果を示しており、縦軸がその診断結果に対応するラベルの数を示している。   Then, the search result information output unit 24 selects each diagnosis name for each feature extraction target image 40 based on the number of diagnosis names and lesion names corresponding to the labels associated with each position in the feature extraction target image 40. And a diagnosis result histogram 38 showing the distribution of the number of labels corresponding to the lesion names. In the diagnosis result histogram 38, the horizontal axis indicates the diagnosis result such as the diagnosis name and the lesion name, and the vertical axis indicates the number of labels corresponding to the diagnosis result.

本実施形態では、検索結果情報出力部２４は、例えば、画像特徴が近い画像に対応する画像は、互いに近くなるよう配置された検索結果画面３２を表示出力する。   In the present embodiment, the search result information output unit 24 displays and outputs, for example, a search result screen 32 in which images corresponding to images having similar image characteristics are arranged close to each other.

なお、検索結果情報出力部２４は、検索結果画面３２内の２次元座標において検索条件対応画像３４からの距離が予め定められた閾値を超える検索結果対応画像３６については、図７に例示するように、他の検索結果対応画像３６とは異なる態様で（例えば、他の検索結果対応画像３６よりも小さなシンボリックな図形（例えば、点や、図７に例示する円形画像４８など）により表示出力してもよい。このように、検索結果情報出力部２４は、受け付ける検索条件と、その検索条件に対応する検索結果と、の比較結果に基づいて特定される類似や乖離の程度（例えば、検索結果画面３２内の２次元座標における検索条件対応画像３４と検索結果対応画像３６との間の距離）に応じた態様で、各検索結果対応画像３６を検索結果画面３２内に表示出力してもよい。   The search result information output unit 24 exemplifies the search result correspondence image 36 in which the distance from the search condition correspondence image 34 exceeds the predetermined threshold in the two-dimensional coordinates in the search result screen 32 as illustrated in FIG. In addition, the image is displayed and output in a manner different from that of the other search result correspondence image 36 (for example, a symbolic figure smaller than the other search result correspondence image 36 (for example, a dot or a circular image 48 illustrated in FIG. 7)). In this way, the search result information output unit 24 may determine the degree of similarity or divergence specified based on the comparison result between the search condition to be accepted and the search result corresponding to the search condition (for example, the search result). Each search result correspondence image 36 is displayed in the search result screen 32 in a manner corresponding to the distance between the search condition correspondence image 34 and the search result correspondence image 36 in the two-dimensional coordinates in the screen 32. It may be output.

そして、選択部２６が、利用者によるマウスなどのＵＩ部１６の操作に応じて、検索結果情報のうちの少なくとも１つを選択する（Ｓ１０３）。選択部２６は、具体的には、例えば、利用者によりマウスなどのＵＩ部１６により囲まれた選択領域５０（図８参照）内の検索結果対応画像３６に対応する少なくとも１つの検索結果情報を選択する。図８に、選択領域５０が示された検索結果画面３２の一例を示す。本実施形態では、例えば、選択部２６は、画像特徴が互いに近い画像に対応する検索結果対応画像３６を選択する。   Then, the selection unit 26 selects at least one of the search result information according to the operation of the UI unit 16 such as a mouse by the user (S103). Specifically, for example, the selection unit 26 obtains at least one search result information corresponding to the search result corresponding image 36 in the selection area 50 (see FIG. 8) surrounded by the UI unit 16 such as a mouse by the user. select. FIG. 8 shows an example of the search result screen 32 in which the selection area 50 is shown. In the present embodiment, for example, the selection unit 26 selects the search result correspondence image 36 corresponding to images whose image features are close to each other.

そして、代表情報生成部２８が、Ｓ１０３に例示する処理により選択された少なくとも１つの検索結果情報に基づいて、これらの検索結果情報を代表する代表情報（具体的には、例えば、これらの検索結果情報に対応する統計情報など）を生成する（Ｓ１０４）。代表情報生成部２８は、例えば、Ｓ１０３に例示する処理により選択された少なくとも１つの検索結果情報それぞれに含まれる文字列に対して形態素解析処理を実行して、診断名を抽出する。ここで、代表情報生成部２８は、１つの検索結果情報から複数の診断名を抽出してもよい。そして、代表情報生成部２８は、例えば、抽出した診断名について、各診断名について抽出された数とともに示されている、円グラフやヒストグラムなどの代表情報を生成する。   Then, based on at least one search result information selected by the process exemplified in S103, the representative information generation unit 28 represents representative information representing these search result information (specifically, for example, these search results, for example). Statistical information corresponding to the information is generated (S104). For example, the representative information generation unit 28 performs a morphological analysis process on a character string included in each of at least one search result information selected by the process illustrated in S103, and extracts a diagnosis name. Here, the representative information generation unit 28 may extract a plurality of diagnosis names from one search result information. Then, the representative information generation unit 28 generates, for example, representative information such as a pie chart and a histogram that are shown together with the number extracted for each diagnosis name for the extracted diagnosis name.

そして、代表情報出力部３０が、Ｓ１０４に例示する処理で生成された代表情報（例えば、上述の各診断名について抽出された数の一覧表や、上述の円グラフやヒストグラムの画像など）を出力する（Ｓ１０５）。代表情報出力部３０は、検索結果画面３２に代表情報を重畳出力してもよく、検索結果画面３２とは重畳しないように代表情報を出力してもよい。   Then, the representative information output unit 30 outputs the representative information generated by the process exemplified in S104 (for example, the list of numbers extracted for each diagnosis name described above, the above-described pie chart, histogram image, etc.). (S105). The representative information output unit 30 may output the representative information on the search result screen 32 and may output the representative information so as not to be superimposed on the search result screen 32.

上述の実施形態では、検索対象情報に含まれる画像の特徴（例えば、画像の類似度）に基づいて特定される検索結果情報に対応する検索結果対応画像３６が配置された検索結果画面３２が出力され、利用者により選択された検索結果情報に含まれる文字列に基づいて生成される代表情報が出力される。   In the above-described embodiment, the search result screen 32 in which the search result correspondence image 36 corresponding to the search result information specified based on the feature of the image (for example, image similarity) included in the search target information is output. The representative information generated based on the character string included in the search result information selected by the user is output.

なお、本発明は上述の実施形態に限定されるものではない。   In addition, this invention is not limited to the above-mentioned embodiment.

例えば、上述のＳ１０２に例示する処理において、検索結果情報出力部２４が、検索条件文字列と、検索対象情報に含まれる文字列と、の比較結果（例えば、文字列の類似度や、共通する単語が含まれる数の多さなど）に基づいて、検索対象情報のうちから少なくとも１つの検索結果情報を特定してもよい。そして、検索結果情報出力部２４が、類似度を軸とする１次元空間や、類似度を含む指標を軸とする２次元座標などに、検索結果対応画像３６や検索条件対応画像３４が配置された検索結果画面３２をディスプレイなどのＵＩ部１６に出力してもよい。   For example, in the process illustrated in S102 described above, the search result information output unit 24 compares the search condition character string and the character string included in the search target information (for example, the similarity of the character strings or the common character string). At least one piece of search result information may be specified from the search target information based on the number of words included. Then, the search result information output unit 24 arranges the search result correspondence image 36 and the search condition correspondence image 34 in a one-dimensional space with the similarity as an axis, or a two-dimensional coordinate with the index including the similarity as an axis. The search result screen 32 may be output to the UI unit 16 such as a display.

そして、上述のＳ１０４に例示する処理において、代表情報生成部２８が、選択された検索結果情報に含まれる画像それぞれについて、上述の方法により病変名の分布を示す診断結果ヒストグラム３８（病変ヒストグラム）を生成して、その病変ヒストグラムの平均的な状況などを示す代表情報を生成してもよい。また、代表情報生成部２８が、選択された検索結果情報に含まれる画像それぞれについて生成される病変ヒストグラムを少なくとも１つの群にクラスタリング（例えば、診断名の数よりも多い数の群にクラスタリング）して、検索条件画像が属する病変ヒストグラムの群を特定してもよい。そして、代表情報生成部２８が、その病変ヒストグラム、及び、その病変ヒストグラムに対応する診断名（例えば、検索結果情報に含まれる文字列から抽出される診断名）を含む代表情報を生成してもよい。また、この場合、代表情報生成部２８は、重み付けされた病変ヒストグラムを含む代表情報を生成してもよい。代表情報生成部２８は、具体的には、例えば、検索条件画像に対応する特徴ベクトルと、病変ヒストグラムの群ｉに属する検索結果情報に含まれる画像に対応する特徴ベクトル（例えば、特徴ベクトルの平均）との距離をｄｉ（１≦ｉ≦ｋ：ｋはクラスタの個数）として、ｄｊ≦ｄｊ’（ｊ≦ｊ’のとき）が成立する場合に、群ｉに対応する病変ヒストグラムをｈｉとした際の、ｈ＝Σｗｉｈｉ（Σはｉ（１≦ｉ≦ｋ）についての総和）（ただし、ｗｉ＝ｅｘｐ（−ｄｉ ２）／Σｅｘｐ（−ｄｊ ２）（Σはｊ（１≦ｊ≦ｋ）についての総和））で示される病変ヒストグラムを含む代表情報を生成してもよい。そして、代表情報出力部３０が、代表情報（例えば、病変ヒストグラムの画像）をディスプレイなどのＵＩ部１６に出力してもよい。 In the process illustrated in S104 described above, the representative information generation unit 28 generates a diagnosis result histogram 38 (lesion histogram) indicating the distribution of lesion names by the above-described method for each image included in the selected search result information. The representative information indicating the average state of the lesion histogram may be generated. Further, the representative information generation unit 28 clusters the lesion histograms generated for each of the images included in the selected search result information into at least one group (for example, clustering into a group having a larger number than the number of diagnosis names). Thus, a group of lesion histograms to which the search condition image belongs may be specified. The representative information generation unit 28 generates representative information including the lesion histogram and a diagnosis name corresponding to the lesion histogram (for example, a diagnosis name extracted from a character string included in the search result information). Good. In this case, the representative information generation unit 28 may generate representative information including a weighted lesion histogram. Specifically, the representative information generation unit 28, for example, a feature vector corresponding to the search condition image and a feature vector corresponding to an image included in the search result information belonging to the lesion histogram group i (for example, an average of feature vectors) )) And d i (1 ≦ i ≦ k: k is the number of clusters), and dj ≦ dj ′ (when j ≦ j ′) holds, the lesion histogram corresponding to the group i is represented by h i H = Σw i h i (Σ is the sum of i (1 ≦ i ≦ k)) (where w i = exp (−d i 2 ) / Σexp (−d j 2 ) (Σ is The representative information including the lesion histogram indicated by j (sum of 1 ≦ j ≦ k))) may be generated. Then, the representative information output unit 30 may output representative information (for example, an image of a lesion histogram) to the UI unit 16 such as a display.

この実施形態では、検索対象情報に含まれる文字列の特徴（例えば、類似度）に基づいて特定される検索結果情報に対応する検索結果対応画像３６が配置された検索結果画面３２が出力され、利用者により選択された検索結果情報に含まれる画像に基づいて生成される代表情報（例えば、病変ヒストグラム）が出力される。   In this embodiment, a search result screen 32 in which a search result correspondence image 36 corresponding to search result information specified based on the feature (for example, similarity) of a character string included in the search target information is arranged is output. Representative information (for example, lesion histogram) generated based on the image included in the search result information selected by the user is output.

なお、代表情報生成部２８は、例えば、経過情報（一定時間経過後の症状の進行度合い）や患者情報を含む代表情報を生成してもよい。   Note that the representative information generation unit 28 may generate, for example, representative information including progress information (a degree of progress of symptoms after a certain period of time) and patient information.

また、例えば、検索対象情報記憶部２０を、情報処理装置１０とインターネットなどの通信手段により接続された外部装置において実現した分散型情報処理システムに本実施形態を応用してもよい。   Further, for example, the present embodiment may be applied to a distributed information processing system in which the search target information storage unit 20 is realized in an external device connected to the information processing device 10 by communication means such as the Internet.

１０ 情報処理装置、１２ 制御部、１４ 記憶部、１６ ユーザインタフェース（ＵＩ）部、２０ 検索対象情報記憶部、２２ 検索条件受付部、２４ 検索結果情報出力部、２６ 選択部、２８ 代表情報生成部、３０ 代表情報出力部、３２ 検索結果画面、３４ 検索条件対応画像、３６ 検索結果対応画像、３８ 診断結果ヒストグラム、４０ 特徴抽出対象画像、４２ 対象領域、４４ 肺画像、４６ 注目領域、４８ 円形画像、５０ 選択領域。   DESCRIPTION OF SYMBOLS 10 Information processing apparatus, 12 Control part, 14 Storage part, 16 User interface (UI) part, 20 Search object information storage part, 22 Search condition reception part, 24 Search result information output part, 26 Selection part, 28 Representative information generation part , 30 Representative information output unit, 32 Search result screen, 34 Search condition corresponding image, 36 Search result corresponding image, 38 Diagnosis result histogram, 40 Feature extraction target image, 42 Target region, 44 Lung image, 46 Attention region, 48 Circular image , 50 selection area.

Claims (5)

画像を含む検索条件を受け付けて、前記画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段と、
利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段と、
前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段と、
を含むことを特徴とする情報処理装置。 Search result information output means for receiving a search condition including an image and outputting at least one search result information specified based on the image and associated with a combination of a character string and an image;
Selection means for selecting at least one of the search result information output by the search result information output means in response to an operation by a user;
Representative information output means for outputting representative information representing the at least one search result information specified based on a character string associated with each of at least one search result information selected by the selection means;
An information processing apparatus comprising: 文字列を含む検索条件を受け付けて、前記文字列に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段と、
利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段と、
前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている画像に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段と、
を含むことを特徴とする情報処理装置。 Search result information output means for receiving a search condition including a character string and outputting at least one search result information associated with the combination of the character string and the image specified based on the character string;
Selection means for selecting at least one of the search result information output by the search result information output means in response to an operation by a user;
Representative information output means for outputting representative information representing the at least one search result information specified based on an image associated with each of at least one search result information selected by the selection means;
An information processing apparatus comprising: 前記検索結果情報出力手段が、前記各検索結果情報を、当該各検索結果情報と受け付ける検索条件との比較結果に基づいて特定される類似又は乖離の程度に応じた態様で出力する、
ことを特徴とする請求項１又は２に記載の情報処理装置。 The search result information output means outputs each search result information in a mode according to the degree of similarity or divergence specified based on a comparison result between each search result information and an accepted search condition.
The information processing apparatus according to claim 1 or 2. 画像を含む検索条件を受け付けて、前記画像に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段、
利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段、
前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている文字列に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段、
としてコンピュータを機能させることを特徴とするプログラム。 Search result information output means for receiving search conditions including an image and outputting at least one search result information specified based on the image and associated with a combination of a character string and an image;
Selection means for selecting at least one of the search result information output by the search result information output means in response to an operation by a user;
Representative information output means for outputting representative information representing the at least one search result information specified based on a character string associated with each of at least one search result information selected by the selection means;
A program characterized by causing a computer to function. 文字列を含む検索条件を受け付けて、前記文字列に基づいて特定される、文字列と画像との組合せに関連付けられている検索結果情報を少なくとも１つ出力する検索結果情報出力手段、
利用者による操作に応じて、前記検索結果情報出力手段により出力される検索結果情報のうちの少なくとも１つを選択する選択手段、
前記選択手段により選択される少なくとも１つの検索結果情報それぞれに関連付けられている画像に基づいて特定される、当該少なくとも１つの検索結果情報を代表する代表情報を出力する代表情報出力手段、
としてコンピュータを機能させることを特徴とするプログラム。 A search result information output unit that accepts a search condition including a character string and outputs at least one search result information specified based on the character string and associated with a combination of a character string and an image;
Selection means for selecting at least one of the search result information output by the search result information output means in response to an operation by a user;
Representative information output means for outputting representative information representing the at least one search result information specified based on an image associated with each of at least one search result information selected by the selection means;
A program characterized by causing a computer to function.
JP2009149361A 2009-06-24 2009-06-24 Information processing apparatus and program Pending JP2011008374A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009149361A JP2011008374A (en) 2009-06-24 2009-06-24 Information processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009149361A JP2011008374A (en) 2009-06-24 2009-06-24 Information processing apparatus and program

Publications (1)

Publication Number Publication Date
JP2011008374A true JP2011008374A (en) 2011-01-13

Family

ID=43564992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009149361A Pending JP2011008374A (en) 2009-06-24 2009-06-24 Information processing apparatus and program

Country Status (1)

Country Link
JP (1) JP2011008374A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021124869A1 (en) * 2019-12-17 2021-06-24

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266778A (en) * 1993-03-17 1994-09-22 Hitachi Ltd Information retrieving device
JP2001134578A (en) * 1999-11-02 2001-05-18 Hitachi Ltd Method and device for data retrieval and recording medium where processing program thereof is recorded
JP2004157623A (en) * 2002-11-05 2004-06-03 Hitachi Ltd Search system and search method
WO2008143116A1 (en) * 2007-05-17 2008-11-27 So-Ti, Inc. Document retrieving apparatus and document retrieving method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266778A (en) * 1993-03-17 1994-09-22 Hitachi Ltd Information retrieving device
JP2001134578A (en) * 1999-11-02 2001-05-18 Hitachi Ltd Method and device for data retrieval and recording medium where processing program thereof is recorded
JP2004157623A (en) * 2002-11-05 2004-06-03 Hitachi Ltd Search system and search method
WO2008143116A1 (en) * 2007-05-17 2008-11-27 So-Ti, Inc. Document retrieving apparatus and document retrieving method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021124869A1 (en) * 2019-12-17 2021-06-24
WO2021124869A1 (en) * 2019-12-17 2021-06-24 富士フイルム株式会社 Diagnostic assistance device, diagnostic assistance method, and diagnostic assistance program
JP7355849B2 (en) 2019-12-17 2023-10-03 富士フイルム株式会社 Diagnosis support device, diagnosis support method, and diagnosis support program

Similar Documents

Publication Publication Date Title
WO2014103664A1 (en) Information processing device, information processing method, and program
CN109074869B (en) Medical diagnosis support device, information processing method, and medical diagnosis support system
JP5789211B2 (en) Similar image retrieval apparatus, method and program
JP4997892B2 (en) SEARCH SYSTEM, SEARCH METHOD, AND SEARCH PROGRAM
JP2010531010A (en) Matching images with shape descriptors
JP2012174222A (en) Image recognition program, method, and device
JP5094775B2 (en) Case image retrieval apparatus, method and program
US20110276909A1 (en) Numerical value input device, numerical value input method, and program
WO2004047026A1 (en) Image search program
JP6363547B2 (en) Information processing apparatus and sentence imaging program
WO2021104274A1 (en) Image and text joint representation search method and system, and server and storage medium
JP2011008374A (en) Information processing apparatus and program
JP7010783B2 (en) Image processing equipment, image processing system, image processing method and program
JP6546385B2 (en) IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM
JP5412983B2 (en) Information processing apparatus and program
JP6017005B2 (en) Image search apparatus, image search method and program
JP6375778B2 (en) Image processing method and image processing apparatus
JP4973593B2 (en) Product design support device and product design support program
JP2021068111A (en) Electronic device, and method and program for controlling the same
JP3985826B2 (en) Image search method and apparatus
JP2020173554A (en) Information processing apparatus, information processing apparatus control method, and program
KR102571082B1 (en) Image adjustment method
JP5836728B2 (en) Image search apparatus, image search method and program
WO2017161476A1 (en) Rating and advising for selection of augmented reality markers
US20240086455A1 (en) Image search apparatus, image search method, and non-transitory storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130827

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131105