JP5989877B1 - Information processing apparatus, information processing method, and information processing program - Google Patents

Information processing apparatus, information processing method, and information processing program Download PDF

Info

Publication number
JP5989877B1
JP5989877B1 JP2015174079A JP2015174079A JP5989877B1 JP 5989877 B1 JP5989877 B1 JP 5989877B1 JP 2015174079 A JP2015174079 A JP 2015174079A JP 2015174079 A JP2015174079 A JP 2015174079A JP 5989877 B1 JP5989877 B1 JP 5989877B1
Authority
JP
Japan
Prior art keywords
procedure
video
user
information processing
movie
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015174079A
Other languages
Japanese (ja)
Other versions
JP2017047022A (en
Inventor
幸一朗 森重
幸一朗 森重
弘之 谷野
弘之 谷野
康弘 眞井
康弘 眞井
Original Assignee
株式会社メディカルプラットフォーム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メディカルプラットフォーム filed Critical 株式会社メディカルプラットフォーム
Priority to JP2015174079A priority Critical patent/JP5989877B1/en
Application granted granted Critical
Publication of JP5989877B1 publication Critical patent/JP5989877B1/en
Publication of JP2017047022A publication Critical patent/JP2017047022A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】ユーザが見るべき動画を見せること。【解決手段】情報処理装置であって、複数の手技を含む手術動画を記録する記録手段と、前記手術動画の映像中の前記複数の手技のそれぞれに対応して、前記手術動画を分割する分割手段と、前記分割手段により分割された手技動画から、前記手技動画中の手技の処置時間を抽出する抽出手段と、前記手技動画と前記処置時間とを関連付けて記録する手技動画記録手段と、ユーザが指定した指定手技についての、前記ユーザの処置時間に基づいて、前記手技動画記録手段から、前記指定手技に対応する手技動画を検索する検索手段と、を備えることを特徴とする。【選択図】 図１An object of the present invention is to show a video to be viewed by a user. An information processing apparatus comprising: a recording unit that records a surgical video including a plurality of procedures; and a division that divides the surgical video according to each of the plurality of procedures in the video of the surgical video Means, extraction means for extracting the procedure time of the procedure in the procedure movie from the procedure movie divided by the division unit, procedure movie recording means for recording the procedure movie and the procedure time in association with each other, and a user Search means for searching for a procedure video corresponding to the designated procedure from the procedure movie recording unit based on the user's treatment time for the designated procedure designated by the user. [Selection] Figure 1

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and an information processing program.

上記技術分野において、特許文献１には、各手技ステップの最適な手技ステップ画像データを手術画像から分割して登録し、データベースに登録されている手技ステップ画像データを組み合わせて手術用シミュレーション画像を構築する技術が開示されている。   In the above technical field, in Patent Document 1, the optimal procedure step image data of each procedure step is divided and registered from the surgery image, and the simulation image for surgery is constructed by combining the procedure step image data registered in the database. Techniques to do this are disclosed.

特開２００５−１２４８２４号公報JP 2005-124824 A

しかしながら、上記文献に記載の技術では、ユーザが見るべき動画を見せることができなかった。   However, with the technique described in the above document, the moving image that the user should see cannot be shown.

本発明の目的は、上述の課題を解決する技術を提供することにある。   The objective of this invention is providing the technique which solves the above-mentioned subject.

上記目的を達成するため、本発明に係る情報処理装置は、
複数の手技を含む手術動画を記録する記録手段と、
前記手術動画の映像中の前記複数の手技のそれぞれに対応して、前記手術動画を分割する分割手段と、
前記分割手段により分割された手技動画から、前記手技動画中の手技の処置時間を抽出する抽出手段と、
前記手技動画と前記処置時間とを関連付けて記録する手技動画記録手段と、
ユーザが指定した指定手技についての、前記ユーザの処置時間に基づいて、前記手技動画記録手段から、前記指定手技に対応する手技動画を検索する検索手段と、
を備えることを特徴とする。 In order to achieve the above object, an information processing apparatus according to the present invention provides:
A recording means for recording a surgical video including a plurality of procedures;
A dividing means for dividing the surgical video in correspondence with each of the plurality of procedures in the video of the surgical video;
Extracting means for extracting the procedure time of the procedure in the procedure movie from the procedure movie divided by the dividing unit;
Procedure video recording means for recording the procedure video and the treatment time in association with each other,
Search means for searching for a procedure video corresponding to the designated procedure from the procedure movie recording unit based on the user's treatment time for the designated procedure designated by the user;
It is characterized by providing.

上記目的を達成するため、本発明に係る情報処理方法は、
記録手段に記録された手術動画の映像中の複数の手技のそれぞれに対応して、前記手術動画を分割する分割ステップと、
前記分割ステップにおいて分割された手技動画から、前記手技動画中の手技の処置時間を抽出する抽出ステップと、
前記手技動画と前記処置時間とを関連付けて記録する手技動画記録ステップと、
ユーザが指定した指定手技についての、前記ユーザの処置時間に基づいて、前記手技動画記録ステップで記録した前記手技動画から、前記指定手技に対応する手技動画を検索する検索ステップと、
を含むことを特徴とする。 In order to achieve the above object, an information processing method according to the present invention includes:
A division step of dividing the surgical video in response to each of a plurality of procedures in the video of the surgical video recorded in the recording means;
An extraction step for extracting the procedure time of the procedure in the procedure movie from the procedure movie divided in the division step;
A procedure movie recording step for recording the procedure movie and the treatment time in association with each other;
A search step for searching for a procedure video corresponding to the designated procedure from the procedure movie recorded in the procedure movie recording step based on the user's treatment time for the designated procedure designated by the user;
It is characterized by including.

上記目的を達成するため、本発明に係る情報処理プログラムは、
記録手段に記録された手術動画の映像中の複数の手技のそれぞれに対応して、前記手術動画を分割する分割ステップと、
前記分割ステップにおいて分割された手技動画から、前記手技動画中の手技の処置時間を抽出する抽出ステップと、
前記手技動画と前記処置時間とを関連付けて記録する手技動画記録ステップと、
ユーザが指定した指定手技についての、前記ユーザの処置時間に基づいて、前記手技動画記録ステップで記録した前記手技動画から、前記指定手技に対応する手技動画を検索する検索ステップと、
をコンピュータに実行させることを特徴とする。 In order to achieve the above object, an information processing program according to the present invention provides:
A division step of dividing the surgical video in response to each of a plurality of procedures in the video of the surgical video recorded in the recording means;
An extraction step for extracting the procedure time of the procedure in the procedure movie from the procedure movie divided in the division step;
A procedure movie recording step for recording the procedure movie and the treatment time in association with each other;
A search step for searching for a procedure video corresponding to the designated procedure from the procedure movie recorded in the procedure movie recording step based on the user's treatment time for the designated procedure designated by the user;
Is executed by a computer.

本発明によれば、ユーザが見るべき動画を見せることができる。   According to the present invention, it is possible to show a video to be viewed by a user.

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing apparatus which concerns on 1st Embodiment of this invention. 本発明の第２実施形態に係る情報処理装置により検索された動画の表示画面の一例を説明する図である。It is a figure explaining an example of the display screen of the moving image searched by the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理装置により検索された動画の表示画面の他の例を説明する図である。It is a figure explaining the other example of the display screen of the moving image searched by the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理装置により検索された動画の表示画面の他の例を説明する図である。It is a figure explaining the other example of the display screen of the moving image searched by the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理装置により表示されたグラフ表示部の表示例を説明する図である。It is a figure explaining the example of a display of the graph display part displayed by the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理装置が備える術式情報テーブルの一例を示す図である。It is a figure which shows an example of the technique information table with which the information processing apparatus which concerns on 2nd Embodiment of this invention is provided. 本発明の第２実施形態に係る情報処理装置が備える器具リストテーブルの一例を示す図である。It is a figure which shows an example of the instrument list table with which the information processing apparatus which concerns on 2nd Embodiment of this invention is provided. 本発明の第２実施形態に係る情報処理装置が備える手術動画／手技動画データベースの一例を示す図である。It is a figure which shows an example of the surgery moving image / procedure moving image database with which the information processing apparatus which concerns on 2nd Embodiment of this invention is provided. 本発明の第２実施形態に係る情報処理装置のハードウェア構成を説明するブロック図である。It is a block diagram explaining the hardware constitutions of the information processing apparatus which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the information processing apparatus which concerns on 2nd Embodiment of this invention.

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be exemplarily described in detail with reference to the drawings. However, the configuration, numerical values, process flow, functional elements, and the like described in the following embodiments are merely examples, and modifications and changes are free, and the technical scope of the present invention is described in the following description. It is not intended to be limited.

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、分割された手術動画の映像中の手技の処置時間に基づいて、手技動画を検索する装置である。 [First Embodiment]
An information processing apparatus 100 as a first embodiment of the present invention will be described with reference to FIG. The information processing apparatus 100 is a device that searches for a procedure video based on the procedure time of the procedure in the video of the divided surgical movie.

図１に示すように、情報処理装置１００は、記録部１０１と、分割部１０２と、抽出部１０３と、手技動画記録部１０４と、検索部１０５とを含む。記録部１０１は、複数の手技を含む手術動画を記録する。分割部１０２は、手術動画の映像中の複数の手技のそれぞれに対応して、手術動画を分割する。   As illustrated in FIG. 1, the information processing apparatus 100 includes a recording unit 101, a dividing unit 102, an extracting unit 103, a procedure moving image recording unit 104, and a search unit 105. The recording unit 101 records a surgical moving image including a plurality of procedures. The dividing unit 102 divides the surgical video corresponding to each of a plurality of procedures in the video of the surgical video.

抽出部１０３は、分割部１０２により分割された手技動画から、手技動画中の手技の処置時間を抽出する。手技動画記録部１０４は、手技動画と処置時間とを関連付けて記録する。検索部１０５は、ユーザが指定した指定手技についての、ユーザの処置時間に基づいて、手技動画記録部１０４から、指定手技に対応する手技動画を検索する。   The extraction unit 103 extracts the treatment time of the technique in the procedure moving image from the procedure movie divided by the dividing unit 102. The procedure moving image recording unit 104 records the procedure movie and the treatment time in association with each other. The search unit 105 searches the procedure moving image recording unit 104 for a procedure movie corresponding to the designated procedure based on the user's treatment time for the designated procedure specified by the user.

本実施形態によれば、手術動画を手技に基づいて、自動的に分割することができ、さらに、ユーザに対して、ユーザが見るべき手技を含む動画を見せることができる。   According to the present embodiment, a surgical video can be automatically divided based on a procedure, and a video including a procedure that the user should watch can be displayed to the user.

［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置について、図２Ａ乃至図６を用いて説明する。図２Ａ乃至図２Ｃは、本実施形態に係る情報処理装置２００からユーザ端末２１０の表示画面２１１に表示される分割された手術動画の一例を説明するための図である。 [Second Embodiment]
Next, an information processing apparatus according to the second embodiment of the present invention will be described with reference to FIGS. 2A to 6. 2A to 2C are diagrams for explaining an example of a divided surgical moving image displayed on the display screen 211 of the user terminal 210 from the information processing apparatus 200 according to the present embodiment.

図２Ａに示したように、表示画面２１１の手技動画表示部には、情報処理装置２００からネットワーク２４０を介して送信された手技動画が表示されている。手技動画は、１つの手術動画から、手技ごとに切り分けられた動画であり、手術動画の一部をなすものである。そして、情報処理装置２００には、このような手技動画が、各手技について、複数個記録されている。   As illustrated in FIG. 2A, the procedure moving image transmitted from the information processing apparatus 200 via the network 240 is displayed on the procedure moving image display unit of the display screen 211. The technique video is a video that is cut out from one surgical video for each technique, and forms part of the surgical video. In the information processing apparatus 200, a plurality of such procedure moving images are recorded for each procedure.

手技動画表示部２１２の下部には、再生ボタンや停止ボタン、音量調整バー、スライダーバーなどの動画を操作するための操作ボタン２１３が表示されている。手技動画表示部２１２の右側のグラフ表示領域２１４には、手技動画に含まれる手技の処置時間がグラフ化されて表示され、グラフ表示領域２１４の下部の手技名表示部２１５には、手技名が表示されている。そして、例えば、ユーザが、手技名表示部２１５に表示されている手技名をクリックやタップなどして選択すると、その選択した手技を映像中に含む手技動画が表示される。また、ユーザは、グラフにより、その手技の処置時間を視覚的に認識することもできる。   Operation buttons 213 for operating a moving image such as a play button, a stop button, a volume adjustment bar, and a slider bar are displayed at the bottom of the procedure moving image display unit 212. In the graph display area 214 on the right side of the procedure moving image display unit 212, the treatment time of the procedure included in the procedure movie is displayed as a graph. The procedure name display unit 215 below the graph display region 214 displays the procedure name. It is displayed. For example, when the user selects a technique name displayed on the technique name display unit 215 by clicking or tapping, a technique moving image including the selected technique in the video is displayed. Further, the user can visually recognize the treatment time of the procedure using the graph.

関連情報表示部２１６には、表示している手技動画と関連する書籍などの情報が表示されるが、ここに表示される情報は書籍の情報には限定されない。例えば、手技動画表示部２１２に表示されている手技動画の執刀医の情報や、執刀日時の情報、患者の情報、疾病情報などの様々な情報を表示してもよい。関連薬剤・器具表示部２１７には、例えば、手技動画表示部２１２に映っている手術器具の情報や、投与した薬剤の情報などが表示される。   The related information display unit 216 displays information such as a book related to the displayed procedure moving image, but the information displayed here is not limited to the information of the book. For example, various types of information such as the surgeon's information on the procedure video displayed on the procedure video display unit 212, information on the date and time of operation, patient information, and disease information may be displayed. In the related medicine / apparatus display unit 217, for example, information on the surgical instrument shown in the procedure moving image display unit 212, information on the administered medicine, and the like are displayed.

図２Ｂに示したように、手技動画表示部２１２の右側の関連動画表示部２１９には、タグ表示部２１８に表示された、手技動画の術式名などに関連する関連動画２２０がリスト形式で表示される。例えば、ユーザがタグ表示部２１８をクリックやタップなどして選択すると、関連動画表示部２１９に関連動画２２０がリスト形式で表示される。リスト形式で表示される関連動画２２０の並び順は、例えば、ユーザが指定した手技の処置時間よりも短い処置時間を映像中に含む手技動画を昇順または降順などで並べて表示してもよいが、これには限定されない。   As shown in FIG. 2B, in the related video display unit 219 on the right side of the technique video display unit 212, the related video 220 related to the technique name of the technique video displayed in the tag display unit 218 is displayed in a list format. Is displayed. For example, when the user selects the tag display unit 218 by clicking or tapping, the related video 220 is displayed in a list format on the related video display unit 219. The order of the related videos 220 displayed in the list format may be displayed by arranging, for example, procedure videos that include treatment times shorter than the procedure time specified by the user in the video in ascending or descending order. This is not a limitation.

図２Ｃに示したように、例えば、ユーザが、関連動画表示部２１９にリスト形式で表示されている関連動画２２０をクリックやタップなどして選択すると、表示が選択した関連動画２２０に切り替わり、その関連動画２２０が再生される。つまり、手技動画表示部２１２で再生されている動画と関連動画２２０とが比較可能に表示され、再生される。これにより、ユーザは、自分の手技を映した手技動画と、他者の手技動画とを比較しながら視聴することができる。また、関連動画２２０としてリスト表示する手技動画として、ユーザの手技の処置時間よりも短い処置時間の手技動画を表示すれば、ユーザは、自分の手技よりも優れた手技を映像中に含む手技動画を視聴することができる。したがって、ユーザは、自分の手技の欠点や改善点に気付き易くなり、優れた手技を学ぼうとする動機付けにもなり、学習効果も向上する。   As shown in FIG. 2C, for example, when the user selects the related video 220 displayed in the list format in the related video display unit 219 by clicking or tapping, the display is switched to the selected related video 220. The related video 220 is played back. That is, the moving image being played back on the procedure moving image display unit 212 and the related moving image 220 are displayed so as to be comparable and played back. Thereby, the user can view and watch while comparing the technique video showing his / her technique and the technique video of another person. Further, if a procedure video having a procedure time shorter than the procedure time of the user's procedure is displayed as the procedure video displayed as a list of the related videos 220, the user can include a procedure movie including a procedure superior to his / her procedure in the video. Can be watched. Therefore, the user is easily aware of the shortcomings and improvement points of his / her technique, is motivated to learn an excellent technique, and the learning effect is improved.

図２Ｄに示したように、ユーザが視聴している手技動画の映像中に含まれる手技の処置時間と所定の処置時間とを比較可能にグラフ化して表示してもよい。例えば、ユーザの処置時間を表すハッチングされた棒グラフの隣に、例えば、その手技の平均処置時間を表す白抜きの棒グラフを並べて表示すれば、ユーザは、自らの手技の処置時間が平均を上回っているのか否かを知ることができる。図２Ｄに示した例では、例えば、術前準備や術後処置は平均と比べてもそん色はないが、剥離については、平均処置時間よりも相当時間がかかっていることが分かる。さらに、このような場合に、ユーザが、剥離の部分の手技動画を視聴すれば、例えば、自身の手技レベルが低いためなのか、あるいは、癒着がひどく剥離に時間を要したのかなども知ることができる。これとは反対に、切開や摘除については、平均よりも処置時間が短いことが分かる。この場合も、ユーザが、当該部分の手技動画を視聴すれば、自身の手技のよい所をさらに伸ばすことができる。   As shown in FIG. 2D, the procedure treatment time included in the video of the procedure video that the user is viewing may be displayed in a graph so as to be comparable with a predetermined treatment time. For example, next to the hatched bar graph representing the user's treatment time, for example, if a white bar graph representing the average treatment time of the procedure is displayed side by side, the user's treatment time of his / her procedure exceeds the average. You can know if you are. In the example shown in FIG. 2D, for example, pre-operative preparation and post-operative treatment are not inferior to the average, but it can be seen that peeling takes much longer than the average treatment time. Furthermore, in such a case, if the user views the procedure video of the peeling part, for example, it is possible to know whether it is due to the low level of their own technique or whether the adhesion has taken a long time. Can do. On the other hand, it can be seen that for incision and resection, the treatment time is shorter than the average. Also in this case, if the user views the technique video of the part, it is possible to further extend the place where the user's skill is good.

なお、ここでは、ハッチングされた棒グラフとしてユーザの手技の処置時間を表示した例で説明をしたが、ユーザが現在視聴している他人の手技の処置時間を表示してもよい。そして、その他人の処置時間と平均処置時間とを比較してもよく、これにより、手技動画を視聴しているユーザは、視聴している手技の巧拙を判断することができる。   Here, the example has been described in which the procedure time of the user's procedure is displayed as a hatched bar graph, but the procedure time of the procedure of the other person currently viewing by the user may be displayed. Then, the treatment time of the other person may be compared with the average treatment time, so that the user viewing the procedure moving image can determine the skill of the viewing procedure.

また、所定の処置時間としては、例えば、他人の処置時間やユーザが指定した人物の処置時間、その手技の最短または最長の処置時間などがあげられるが、これらには限定されない。また、図２Ｄでは、グラフの縦軸を時間表示（分）としているが、この他に例えば、偏差値などで表示してもよい。偏差値で表示すれば、ユーザは、自らの手技がどの程度優れているのか、または、劣っているのかを視覚的に認識することができる。   Examples of the predetermined treatment time include, but are not limited to, the treatment time of another person, the treatment time of a person designated by the user, the shortest or longest treatment time of the procedure, and the like. In FIG. 2D, the vertical axis of the graph is time display (minutes), but other than this, for example, it may be displayed as a deviation value. If the deviation value is displayed, the user can visually recognize how excellent or inferior his / her technique is.

図３は、本実施形態に係る情報処理装置２００の構成を説明するブロック図である。情報処理装置２００は、記録部３０１と、分割部３０２と、抽出部３０３と、手技動画記録部３０４と、検索部３０５と、送信部３０６と、グラフ表示部３０７と、比較表示部３０８とを備える。また、情報処理装置２００は、ネットワーク２４０を介してユーザ端末２１０と接続されている。   FIG. 3 is a block diagram illustrating the configuration of the information processing apparatus 200 according to the present embodiment. The information processing apparatus 200 includes a recording unit 301, a dividing unit 302, an extracting unit 303, a procedure moving image recording unit 304, a search unit 305, a transmission unit 306, a graph display unit 307, and a comparison display unit 308. Prepare. Further, the information processing apparatus 200 is connected to the user terminal 210 via the network 240.

記録部３０１は、携帯型パソコン２１０ａやスマートフォン２１０ｂ、据え置き型パソコン２１０ｃなどのユーザ端末２１０から送信された複数の手技を含む手術動画を受信し、記録する。分割部３０２は、記録部３０１に記録された手術動画を読み出して、手術動画の映像中に含まれる手技のそれぞれに対応して、手術動画を分割して、手技動画を生成する。つまり、１つの手術動画を、手技をキーとして複数の動画に切り分けて、手技動画を複数生成する。なお、手術動画の分割、すなわち、手術動画の切り分けは、分割部３０２が自動的に行うものとするが、これには限定されず、ユーザ自身が手術動画を切り分けて、情報処理装置２００にアップロードしてもよい。また、手術動画の分割は、分割部３０２が、映像中の手の動きなどの動作解析等により自動的に手技を割り出して、手術動画を切り分けてもよい。また、手術動画に登場する手術器具に基づいて、手術動画を切り分けてもよい。つまり、ある手技について、使用する手術器具は決まっている場合が多く、この手技と手術器具との対応関係に基づいて、手術動画を切り分けて、分割してもよい。この場合、分割部３０２は、手術動画の映像に登場する手術器具を、その形状などの情報に基づいて、判定してもよい。   The recording unit 301 receives and records a surgical video including a plurality of procedures transmitted from the user terminal 210 such as the portable personal computer 210a, the smartphone 210b, or the stationary personal computer 210c. The dividing unit 302 reads out the surgical moving image recorded in the recording unit 301, divides the surgical moving image corresponding to each of the procedures included in the video of the surgical moving image, and generates a procedure moving image. That is, one surgical moving image is divided into a plurality of moving images using a technique as a key, and a plurality of procedure moving images are generated. The division of the surgical video, that is, the division of the surgical video, is automatically performed by the dividing unit 302. However, the present invention is not limited to this, and the user himself / herself cuts the surgical video and uploads it to the information processing apparatus 200. May be. In addition, the operation moving image may be divided by dividing the operation moving image by the dividing unit 302 automatically calculating a technique by motion analysis such as hand movement in the video. In addition, the surgical video may be divided based on the surgical instrument appearing in the surgical video. That is, there are many cases in which a surgical instrument to be used is determined for a certain technique, and a surgical moving image may be divided and divided based on the correspondence between this technique and the surgical instrument. In this case, the dividing unit 302 may determine the surgical instrument appearing in the video of the surgical video based on information such as its shape.

抽出部３０３は、手技動画の映像中の手技の処置時間を抽出する。処置時間の抽出は、手技動画の再生時間を処置時間としてもよいし、動作解析により処置時間を抽出してもよい。また、手技動画に含まれる手技に用いられる手術器具の登場時間を処置時間としてもよい。さらに、動作解析や手術器具の登場時間などにより処置時間を抽出した場合の処置時間は、手技動画の再生時間よりも短くなる。   The extraction unit 303 extracts the procedure time of the procedure in the video of the procedure video. For the extraction of the treatment time, the reproduction time of the procedure moving image may be used as the treatment time, or the treatment time may be extracted by motion analysis. The appearance time of the surgical instrument used for the procedure included in the procedure moving image may be the treatment time. Furthermore, the treatment time when the treatment time is extracted by motion analysis or the appearance time of the surgical instrument is shorter than the reproduction time of the procedure moving image.

手技動画記録部３０４は、分割部３０２により手術動画から切り分けられ、分割された手技動画と、抽出部３０３により抽出された処置時間とを関連付けて記録する。手技動画記録部３０４が、手技動画に関連付ける情報は処置時間には限定されず、例えば、術式名や手技名、執刀医、手術が行われた病院、手術が行われた日時などの情報を関連付けてもよい。その他にも、例えば、患者の個人情報や患者のバイタル情報、既往歴、執刀医以外の手術スタッフの情報など様々な情報を関連付けてもよい。   The procedure moving image recording unit 304 is segmented from the surgical movie by the dividing unit 302, and records the divided procedure movie and the treatment time extracted by the extracting unit 303 in association with each other. The information that the procedure video recording unit 304 associates with the procedure video is not limited to the treatment time. For example, information such as the name of the procedure, the procedure name, the surgeon, the hospital where the surgery was performed, the date and time when the surgery was performed, and the like. You may associate. In addition, for example, various information such as patient personal information, patient vital information, medical history, and information on surgical staff other than the surgeon may be associated.

検索部３０５は、ユーザが見たいと思う手技、つまり、ユーザが指定した指定手技について、その指定手技についてのそのユーザの処置時間に基づいて、指定手技を映像中に含む手技動画を手技動画記録部３０４から検索する。検索部３０５は、例えば、そのユーザの手技の処置時間よりも所定割合短い処置時間の手技動画や、所定の時間だけ短い処置時間の手技動画を検索する。これにより、ユーザは、自分の手技よりも優れている手技の動画を見ることができ、自らの手技の欠点や改善点を認識することができる。   The search unit 305 records a technique video that includes the designated technique in the video for the technique that the user wants to see, that is, the designated technique designated by the user, based on the user's treatment time for the designated technique. The search is performed from the unit 304. For example, the search unit 305 searches for a procedure moving image having a treatment time shorter by a predetermined ratio than the procedure time of the user's procedure or a procedure movie having a treatment time shorter by a predetermined time. Thereby, the user can see a moving image of a technique that is superior to his / her technique, and can recognize defects and improvements of his / her technique.

また、検索部３０５は、ユーザの処置時間に対して所定範囲内の処置時間、すなわち、ユーザの処置時間よりも所定の時間や所定の割合長い処置時間の手技を映像中に含む手技動画を検索してもよい。これにより、ユーザは、自分の手技のレベルと同等のレベルの手技の動画を見ることができ、自らの手技の優れている点、劣っている点を認識することができる。   In addition, the search unit 305 searches for a procedure video that includes procedures in the video for a procedure time within a predetermined range with respect to the user's procedure time, that is, a procedure time that is a predetermined time or a predetermined percentage longer than the user's procedure time May be. Thereby, the user can see a video of a technique at a level equivalent to the level of his / her technique, and can recognize the superiority and inferiority of his / her technique.

さらに、検索部３０５は、ユーザ以外の人物の手技動画を検索してもよく、例えば、ユーザが入力したユーザ以外の人物のユーザ識別情報に基づいて手技動画を検索してもよい。これにより、ユーザは、例えば、自らの手技動画の他に、他人の手技動画を検索して視聴することも可能となる。   Further, the search unit 305 may search for a technique video of a person other than the user, for example, may search for a technique video based on user identification information of a person other than the user input by the user. Thereby, for example, the user can search and watch other person's technique videos in addition to his / her own technique videos.

送信部３０６は、ネットワーク２４０を介して携帯型パソコン２１０ａや、スマートフォン２１０ｂ、据え置き型パソコン２１０ｃなどのユーザ端末２１０に手技動画を送信する。なお、手技動画を送信するユーザ端末２１０は、手術動画を情報処理装置２００にアップロードしたユーザ端末２１０には限定されず、手技動画の送信要求があったユーザ端末２１０に送信することもできる。   The transmission unit 306 transmits the technique video to the user terminal 210 such as the portable personal computer 210a, the smartphone 210b, or the stationary personal computer 210c via the network 240. Note that the user terminal 210 that transmits the procedure moving image is not limited to the user terminal 210 that uploaded the operation movie to the information processing apparatus 200, and can also transmit to the user terminal 210 that has requested transmission of the procedure movie.

グラフ表示部３０７は、抽出部３０３で抽出した、手技動画に含まれる手技の処置時間を所定の処置時間と比較可能にグラフ化して表示する。例えば、図２Ｄに示したように、処置時間を棒グラフなどで並べて表示すれば、ユーザは、処置時間の数字を読む必要がなく、直感的に処置時間の長短を把握することができる。さらに、手技動画に含まれる手技の処置時間と所定の処置時間、例えば、平均的な処置時間とを並べて表示すれば、ユーザは自らの技量を容易に把握することができる。   The graph display unit 307 graphs and displays the procedure treatment time included in the procedure moving image extracted by the extraction unit 303 so as to be comparable to a predetermined procedure time. For example, as shown in FIG. 2D, if the treatment times are displayed side by side in a bar graph or the like, the user does not need to read the treatment time numbers and can intuitively grasp the length of the treatment time. Furthermore, if the procedure treatment time included in the procedure video and a predetermined procedure time, for example, an average procedure time are displayed side by side, the user can easily grasp his / her skill.

比較表示部３０８は、ユーザの手技動画と、検索部３０５で検索された手技動画とを比較可能に表示する。比較表示部３０８は、例えば、ユーザの手技動画と検索された手技動画とを左右に並べて表示したり、上下に並べて表示したりしてもよい。このように、手技動画同士を並べて表示することにより、ユーザは、２つの動画を見比べながら、自身の手技の欠点や改善点、検索された手技動画に含まれる手技の優れている点などを容易に把握することができる。なお、比較表示部３０８は、グラフ表示部３０７で生成したグラフを比較可能に表示された手技動画に重畳して表示してもよい。   The comparison display unit 308 displays the user's technique video and the technique video searched by the search unit 305 so that they can be compared. For example, the comparison display unit 308 may display the user's technique video and the searched technique video side by side or display them side by side. In this way, by displaying the technique videos side by side, the user can easily compare the two videos while seeing the shortcomings and improvement points of his / her technique and the superiority of the techniques included in the searched technique videos. Can grasp. Note that the comparison display unit 308 may display the graph generated by the graph display unit 307 so as to be superimposed on the displayed procedure moving image.

図４Ａは、本実施形態に係る情報処理装置２００が備える術式情報テーブルの一例を示す図である。術式情報テーブル４０１は、診療科４１１と術式名４１２とに関連付けて、手技名称４１３と手術器具４１４とを記憶する。手術器具４１４は、ある術式のある手技で使用する使用器具に該当する。   FIG. 4A is a diagram illustrating an example of a technique information table included in the information processing apparatus 200 according to the present embodiment. The technique information table 401 stores a technique name 413 and a surgical instrument 414 in association with the medical department 411 and the technique name 412. The surgical instrument 414 corresponds to an instrument used for a certain procedure.

例えば、ユーザが手術動画を情報処理装置２００へアップロードする際に、その手術動画に診療科４１１や術式名４１２などの情報を付加してアップロードする。そうすると、分割部３０２は、術式情報テーブル４０１を用いれば、診療科４１１や術式名４１２などの情報から、手技名称４１３と手術器具４１４との対応関係が分かる。つまり、分割部３０２は、映像中に特定の手術器具４１４が登場したら、その手術器具４１４に対応する手技が行われていると判断できる。したがって、分割部３０２は、例えば、術式情報テーブル４０１を用いて、ユーザがアップロードした複数の手技を含む手術動画を自動的に手技ごとに分割して、動画を切り分けることができる。   For example, when a user uploads a surgical video to the information processing apparatus 200, information such as a medical department 411 and a surgical procedure name 412 is added to the surgical video and uploaded. Then, the division unit 302 can know the correspondence between the technique name 413 and the surgical instrument 414 from information such as the medical department 411 and the technique name 412 using the technique information table 401. That is, when the specific surgical instrument 414 appears in the video, the dividing unit 302 can determine that a procedure corresponding to the surgical instrument 414 is being performed. Therefore, the dividing unit 302 can automatically divide a moving image including a plurality of procedures uploaded by the user for each procedure by using the technique information table 401, thereby dividing the moving image.

なお、手術動画の自動分割の方法は、ここに示した例には限定されず、例えば、映像中の執刀医の手の動きを、動作解析などにより解析して、解析結果に基づいてどの手技が行われているかを判断して、手術動画を分割してもよい。   Note that the method of automatically dividing the surgical video is not limited to the example shown here. For example, the operation of the surgeon's hand in the video is analyzed by motion analysis, and any technique is determined based on the analysis result. Surgery videos may be divided by determining whether or not the operation has been performed.

図４Ｂは、本実施形態に係る情報処理装置２００が備える器具リストテーブルの一例を示す図である。器具リストテーブル４０２は、手術器具名４２１に関連付けて、用途４２２と適用術式４２３と標準処置時間４２４と形状情報４２５とを記憶する。形状情報４２５は、手術器具の形状に関する情報であり、情報処理装置２００の分割部３０２は、この形状情報４２５に基づいて、手術動画に登場する手術器具の種類などを判定して、手技ごとに手術動画を分割することができる。   FIG. 4B is a diagram illustrating an example of an appliance list table provided in the information processing apparatus 200 according to the present embodiment. The instrument list table 402 stores a use 422, an applied technique 423, a standard treatment time 424, and shape information 425 in association with the surgical instrument name 421. The shape information 425 is information related to the shape of the surgical instrument, and the dividing unit 302 of the information processing apparatus 200 determines the type of surgical instrument appearing in the surgical video based on the shape information 425, and performs the procedure for each procedure. Surgery videos can be divided.

情報処理装置２００は、例えば、器具リストテーブル４０２を用いて、手技動画の映像中に登場する使用器具（手術器具）と手技との対応関係から、その手技の標準処置時間４２４を把握することができる。そして、情報処理装置２００は、その標準処置時間４２４と、抽出部３０３が抽出した処置時間とを比較することにより、例えば、ユーザの手技の巧拙を処置時間に基づいて評価することも可能である。   For example, the information processing apparatus 200 can grasp the standard treatment time 424 of the procedure from the correspondence between the used tool (surgical tool) appearing in the video of the procedure video and the procedure using the instrument list table 402. it can. The information processing apparatus 200 can also evaluate the skill of the user's technique based on the treatment time by comparing the standard treatment time 424 and the treatment time extracted by the extraction unit 303, for example. .

すなわち、従来、医師の手術の巧拙や、手技の巧拙の評価は、手術件数や取扱い症例数などの回数をベースに行われていたので、例えば、大病院の医師であれば、患者の数も多いので自然と症例数も増え、評価も高くなる。しかしながら、手術件数をこなしたとしても必ずしも手術の技量が向上するとは限らず、手術の下手な医師は下手なままであり、単に回数を基準に医師の技量を評価したのでは必ずしも正しい評価とはならない。そこで、器具リストテーブル４０２に記憶されている標準処置時間４２４などを適宜用いることにより、処置時間が標準処置時間４２４よりも長いか短いかという基準で、医師の技量を判定することができ、より正確な評価をすることができる。   In other words, the skill of a doctor and the skill of a technique have been conventionally evaluated based on the number of operations and the number of cases handled. For example, if a doctor is a large hospital, the number of patients Because there are many, the number of cases naturally increases, and the evaluation becomes high. However, even if the number of operations is completed, the skill of surgery does not necessarily improve, and doctors who are poor at surgery remain unsatisfactory. Don't be. Therefore, by appropriately using the standard treatment time 424 stored in the instrument list table 402, the skill of the doctor can be determined based on whether the treatment time is longer or shorter than the standard treatment time 424. Accurate evaluation is possible.

図４Ｃは、本実施形態に係る情報処理装置２００の備える手術動画／手技動画データベースの一例を示す図である。手術動画／手技動画データベース４０３は、手技動画ＩＤ（Identifier）４３１に関連付けて、処置時間４３２と、日時４３３と、執刀者ＩＤ４３４と、撮影アングル４３５と、使用器具４３６と、原動画ＩＤ４３７とを記憶する。   FIG. 4C is a diagram illustrating an example of a surgical video / procedure video database included in the information processing apparatus 200 according to the present embodiment. The surgical video / procedure video database 403 stores a treatment time 432, a date / time 433, a surgeon ID 434, an imaging angle 435, an appliance 436, and an original video ID 437 in association with the procedure video ID (Identifier) 431. To do.

撮影アングル４３５は、手術動画（手技動画）を撮影したカメラの撮影角度であり、通常は、手術室の無影灯に設けられたカメラや、手術室全体を撮影するために手術室の天井などに設置されたカメラの撮影角度を示す。また、例えば、執刀医が眼鏡型のウェアラブル端末を装着して手術動画を撮影した場合の撮影アングル４３５は、ウェアラブル端末が備えるカメラの撮影角度を示す。   The shooting angle 435 is a shooting angle of a camera that has taken a surgical video (manipulative video), and is usually a camera provided in a surgical light in an operating room or a ceiling of an operating room to take a picture of the entire operating room. The shooting angle of the camera installed in is shown. In addition, for example, a shooting angle 435 when a surgeon wears a glasses-type wearable terminal and images a surgical moving image indicates a shooting angle of a camera included in the wearable terminal.

情報処理装置２００は、手術動画／手技動画データベース４０３に記憶された各種の情報を取得することにより、ユーザの要求に応じて、手技動画に関連する情報を提供することができる。また、原動画ＩＤ４３７を記憶することで、手技動画と手術動画との対応付けもできる。   The information processing apparatus 200 can provide information related to the procedure video in response to a user request by acquiring various types of information stored in the surgery video / procedure video database 403. Further, by storing the original moving image ID 437, it is possible to associate the procedure moving image with the operation moving image.

図５は、本実施形態に係る情報処理装置２００のハードウェア構成の一例を示すブロック図である。情報処理装置２００は、ＣＰＵ(Central Processing Unit)５０１、ＲＯＭ(Read Only Memory)５０２およびＲＡＭ(Random Access Memory)５０３を備えている。さらに、情報処理装置２００は、ストレージ５０４と通信制御部５０５とを備えている。   FIG. 5 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 200 according to the present embodiment. The information processing apparatus 200 includes a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, and a RAM (Random Access Memory) 503. Further, the information processing apparatus 200 includes a storage 504 and a communication control unit 505.

ＣＰＵ５０１は、演算処理用のプロセッサであり、プログラムを実行することにより情報処理装置２００の各機能構成部を実現する。なお、ＣＰＵ５０１は１つに限定されず、複数であってもよく、また、画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。ＲＯＭ５０２は、リードオンリメモリであり、初期データやファームウェアなどのプログラムを記憶する。通信制御部５０５は、例えば、情報処理装置２００とその他の機器などとの間の通信を制御する。また、通信制御部５０５は、ＣＰＵ５０１とは独立したＣＰＵを有して、ＲＡＭ５０３の領域に送受信データを書き込みまたは読み出しをするのが望ましい。さらに、ＲＡＭ５０３とストレージ５０４との間でデータを転送するＤＭＡＣ（Direct Memory Access Controller）を設けるのが望ましい（図示なし）。よって、ＣＰＵ５０１は、ＲＡＭ５０３がデータを受信したこと、またはＲＡＭ５０３にデータが転送されたこと、を認識してデータを処理する。また、ＣＰＵ５０１は、処理結果をＲＡＭ５０３に準備しておき、後に行われる送信または転送については、通信制御部５０５やＤＭＡＣに行わせる。   The CPU 501 is a processor for arithmetic processing, and implements each functional component of the information processing apparatus 200 by executing a program. Note that the number of CPUs 501 is not limited to one, and a plurality of CPUs 501 may be included, and a GPU (Graphics Processing Unit) for image processing may be included. A ROM 502 is a read-only memory and stores programs such as initial data and firmware. For example, the communication control unit 505 controls communication between the information processing apparatus 200 and other devices. Further, the communication control unit 505 preferably has a CPU independent of the CPU 501 and writes or reads transmission / reception data in an area of the RAM 503. Furthermore, it is desirable to provide a direct memory access controller (DMAC) that transfers data between the RAM 503 and the storage 504 (not shown). Therefore, the CPU 501 processes the data by recognizing that the RAM 503 has received the data or that the data has been transferred to the RAM 503. Further, the CPU 501 prepares the processing result in the RAM 503, and causes the communication control unit 505 and the DMAC to perform transmission or transfer performed later.

ＲＡＭ５０３は、ＣＰＵ５０１が一時記憶用のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５０３には、本実施形態の実現に必要なデータを記憶する領域がある。このようなデータとして、ＲＡＭ５０３は、ユーザがアップロードした手術動画５３１、手技動画５３２、手技名５３３、処置時間５３４、執刀日５３５および執刀医５３６を一時的に記憶する。   A RAM 503 is a random access memory that the CPU 501 uses as a work area for temporary storage. The RAM 503 has an area for storing data necessary for realizing the present embodiment. As such data, the RAM 503 temporarily stores the operation video 531, the procedure video 532, the procedure name 533, the treatment time 534, the operating date 535, and the surgeon 536 uploaded by the user.

ＲＡＭ５０３は、ユーザが情報処理装置２００にアップロードした手術動画５３１をストレージ５０４に記憶されている手術動画／手技動画データベース４０３などから読み出して、展開する。また、ＲＡＭ５０３は、分割部３０２が手術動画から切り分けた手技動画５３２を一時的に記憶する。そして、抽出部３０３は、一時的に記憶された手技動画５３２から処置時間５３４を抽出する。   The RAM 503 reads the surgical video 531 uploaded by the user to the information processing apparatus 200 from the surgical video / procedure video database 403 and the like stored in the storage 504, and expands it. In addition, the RAM 503 temporarily stores the procedure moving image 532 that the dividing unit 302 cut out from the operation moving image. Then, the extraction unit 303 extracts the treatment time 534 from the temporarily stored procedure moving image 532.

ＲＡＭ５０３は、術式情報テーブル４０１や器具リストテーブル４０２などから、手技名５３３、執刀日５３５および執刀医５３６などの情報を展開する。そして、これらの情報と手技動画５３２とが紐付けられてストレージ５０４に記憶される。送受信データ５３７は、通信制御部５０５を介して送受信されるデータである。   The RAM 503 expands information such as the technique name 533, the operation date 535, and the surgeon 536 from the technique information table 401 and the instrument list table 402. These pieces of information are associated with the procedure video 532 and stored in the storage 504. Transmission / reception data 537 is data transmitted / received via the communication control unit 505.

ストレージ５０４は、データベースや各種パラメータ、本実施形態の実現に必要な以下のプログラムやデータなどを記憶する記憶デバイスである。ストレージ５０４は、術式情報テーブル４０１と、器具リストテーブル４０２と、手術動画／手技動画データベース４０３とを格納する。   The storage 504 is a storage device that stores a database, various parameters, and the following programs and data necessary for realizing the present embodiment. The storage 504 stores a surgical technique information table 401, an instrument list table 402, and a surgical video / procedure video database 403.

ストレージ５０４は、さらに、分割モジュール５４１と、抽出モジュール５４２と、検索モジュール５４３とを格納する。分割モジュール５４１は、ユーザがアップロードした手術動画を切り分けて、手技動画に分割するモジュールである。抽出モジュール５４２は、手技動画の映像中に含まれる手技の処置時間を抽出するモジュールである。検索モジュール５４３は、ユーザが指定した指定手技を映像中に含む手技動画を検索するモジュールである。これらのモジュール５４１〜５４３は、ＣＰＵ５０１によりＲＡＭ５０３のアプリケーション実行領域５３８に読み出され、実行される。制御プログラム５４４は、情報処理装置２００の全体を制御するためのプログラムである。なお、図５に示したＲＡＭ５０３やストレージ５０４には、情報処理装置２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。   The storage 504 further stores a division module 541, an extraction module 542, and a search module 543. The division module 541 is a module that divides a surgical video uploaded by a user into a procedure video. The extraction module 542 is a module for extracting the procedure time included in the procedure moving image. The search module 543 is a module for searching for a procedure moving image including a specified procedure designated by the user in the video. These modules 541 to 543 are read by the CPU 501 into the application execution area 538 of the RAM 503 and executed. The control program 544 is a program for controlling the entire information processing apparatus 200. Note that the RAM 503 and the storage 504 shown in FIG. 5 do not show programs and data related to general-purpose functions and other realizable functions that the information processing apparatus 200 has.

図６は、本実施形態に係る情報処理装置２００の処理手順を示すフローチャートである。このフローチャートは、図５のＣＰＵ５０１がＲＡＭ５０３を使用して実行し、図３の情報処理装置２００の機能構成部を実現する。   FIG. 6 is a flowchart illustrating a processing procedure of the information processing apparatus 200 according to the present embodiment. This flowchart is executed by the CPU 501 in FIG. 5 using the RAM 503, and realizes a functional component of the information processing apparatus 200 in FIG.

ステップＳ６０１において、情報処理装置２００は、複数の手技を含む手術動画を、例えば、ユーザ端末２１０から受信して、ストレージ５０４などに記録する。情報処理装置２００は、受信した手術動画をストレージ５０４に記録する際に、受信した手術動画の各種情報、例えば、執刀医名や執刀日、術式名、患者情報などのメタ情報を付加して記憶してもよい。   In step S601, the information processing apparatus 200 receives, for example, a surgical moving image including a plurality of procedures from the user terminal 210 and records it in the storage 504 or the like. When the information processing device 200 records the received surgical video in the storage 504, the information processing device 200 adds various information of the received surgical video, for example, meta information such as the name of the surgeon, the date of surgery, the name of the surgical procedure, and patient information. You may remember.

ステップＳ６０３において、情報処理装置２００は、ストレージ５０４などに記録された手術動画を読み出し、手術動画の映像中の複数の手技のそれぞれに対応して、手術動画を分割して、手技動画を生成する。情報処理装置２００は、例えば、手術動画の映像に登場する手術器具４１４や執刀者の手の動きなどに基づいて、手術動画を切り分けて、自動的に手技動画を生成する。   In step S603, the information processing apparatus 200 reads the surgical video recorded in the storage 504 or the like, divides the surgical video in accordance with each of the plurality of procedures in the video of the surgical video, and generates a procedure video. . The information processing apparatus 200 divides the surgical video based on, for example, the surgical instrument 414 appearing in the video of the surgical video or the hand of the surgeon, and automatically generates a technique video.

ステップＳ６０５において、情報処理装置２００は、手技動画に含まれる手技の処置時間を計測して、抽出する。情報処理装置２００は、例えば、手技動画の映像に手術器具４１４が登場してから、消えるまでの時間に基づいて、処置時間を計測してもよいし、執刀者の手の動きなどの動作解析に基づいて、処置時間を計測してもよい。また、手技動画の再生時間を手技の処置時間としてもよい。   In step S605, the information processing apparatus 200 measures and extracts the treatment time of the technique included in the technique moving image. For example, the information processing apparatus 200 may measure the treatment time based on the time from the appearance of the surgical instrument 414 to the video of the procedure video until it disappears, or the motion analysis such as the movement of the surgeon's hand. Based on this, the treatment time may be measured. In addition, the reproduction time of the procedure moving image may be set as the procedure treatment time.

ステップＳ６０７において、情報処理装置２００は、ステップＳ６０５で抽出した処置時間と手技動画とを関連付けて記録する。情報処理装置２００は、処置時間の他に、原手術動画に付加されていたメタ情報を手技動画に関連付けて記憶してもよい。   In step S607, the information processing apparatus 200 records the treatment time extracted in step S605 and the procedure moving image in association with each other. In addition to the treatment time, the information processing apparatus 200 may store the meta information added to the original surgery video in association with the procedure video.

ステップＳ６０９において、情報処理装置２００は、手術動画の分割作業が終了したか否かを判断する。分割作業が終了していなければ（ステップＳ６０９のＮＯ）、情報処理装置２００は、ステップＳ６０３に戻って、分割作業を繰り返す。分割作業が終了していれば（ステップＳ６０９のＹＥＳ）、情報処理装置２００は、次のステップへ進む。   In step S609, the information processing apparatus 200 determines whether or not the operation moving image dividing operation has been completed. If the division work has not ended (NO in step S609), the information processing apparatus 200 returns to step S603 and repeats the division work. If the division work has been completed (YES in step S609), the information processing apparatus 200 proceeds to the next step.

ステップＳ６１１において、情報処理装置２００は、ユーザが指定した指定手技を映像中に含む手技動画を検索する。情報処理装置２００が、検索する手技動画は、例えば、ユーザの手技の処置時間よりも短い処置時間の手技を含む手技動画でもよいし、ユーザの手技の処置時間よりも所定の割合少ない処置時間の手技を含む手技動画でもよい。また、ユーザの手技の処置時間に対して所定の範囲内の処置時間の手技動画、すなわち、ユーザの手技の処置時間に近い処置時間の技動画であってもよく、ユーザの技術レベルなどに応じて適宜変更できる。   In step S <b> 611, the information processing apparatus 200 searches for a procedure video that includes the designated procedure specified by the user in the video. The procedure video searched by the information processing apparatus 200 may be, for example, a procedure movie including a procedure having a procedure time shorter than the procedure time of the user's procedure, or a procedure time having a predetermined ratio less than the procedure time of the user's procedure. A technique video including a technique may be used. Further, it may be a technique video with a treatment time within a predetermined range with respect to the treatment time of the user's procedure, that is, a technique movie with a treatment time close to the treatment time of the user's technique. Can be changed as appropriate.

ステップＳ６１３において、情報処理装置２００は、ステップＳ６０５で抽出した処置時間を所定の処置時間と比較可能にグラフ化して表示し、さらに、ステップＳ６１１で検索した手技動画とユーザの手技動画とを比較可能に表示する。そして、ステップＳ６１５において、情報処理装置２００は、ネットワーク２４０を介して、検索された手技動画をユーザ端末２１０に送信したり、ステップＳ６１３で生成したグラフや比較可能動画をユーザ端末２１０に送信したりする。   In step S613, the information processing apparatus 200 displays the treatment time extracted in step S605 as a graph that can be compared with a predetermined treatment time, and can further compare the technique video searched in step S611 with the user's technique video. To display. In step S615, the information processing apparatus 200 transmits the searched technique video to the user terminal 210 via the network 240, or transmits the graph or the comparable video generated in step S613 to the user terminal 210. To do.

本実施形態によれば、複数の手技を含む手術動画を複数の手技のそれぞれに対応して、自動的に分割することができ、さらに、ユーザに対して、ユーザが見るべき手技を含む手技動画を見せることができる。また、従来は、症例数や経験件数などに頼った技術評価しかできなかったが、手技の処置時間に基づいたより正確な技術評価をすることができ、患者も数に頼らない評価により医師を選択できる。さらに、医師も、自身のスキルやレベルを正確に把握することができるので、スキルアップの材料とすることができ、教育効果も期待できる。   According to the present embodiment, an operation video including a plurality of procedures can be automatically divided corresponding to each of the plurality of procedures, and further, a procedure video including a procedure to be viewed by the user for the user. Can show. Conventionally, only technical evaluation based on the number of cases and the number of cases was possible, but more accurate technical evaluation based on the procedure time can be performed, and patients can also select doctors based on evaluation that does not depend on the number. it can. Furthermore, since doctors can accurately grasp their skills and levels, they can be used as a material for skill improvement and can be expected to have an educational effect.

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。 [Other Embodiments]
While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. In addition, a system or an apparatus in which different features included in each embodiment are combined in any way is also included in the scope of the present invention.

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。   In addition, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention on a computer, a program installed in the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. . In particular, at least a non-transitory computer readable medium storing a program for causing a computer to execute the processing steps included in the above-described embodiments is included in the scope of the present invention.

Claims (9)

複数の手技を含む手術動画を記録する記録手段と、
前記手術動画の映像中の前記複数の手技のそれぞれに対応して、前記手術動画を分割する分割手段と、
前記分割手段により分割された手技動画から、前記手技動画中の手技の処置時間を抽出する抽出手段と、
前記手技動画と前記処置時間とを関連付けて記録する手技動画記録手段と、
ユーザが指定した指定手技についての、前記ユーザの処置時間に基づいて、前記手技動画記録手段から、前記指定手技に対応する手技動画を検索する検索手段と、
を備えることを特徴とする情報処理装置。 A recording means for recording a surgical video including a plurality of procedures;
A dividing means for dividing the surgical video in correspondence with each of the plurality of procedures in the video of the surgical video;
Extracting means for extracting the procedure time of the procedure in the procedure movie from the procedure movie divided by the dividing unit;
Procedure video recording means for recording the procedure video and the treatment time in association with each other,
Search means for searching for a procedure video corresponding to the designated procedure from the procedure movie recording unit based on the user's treatment time for the designated procedure designated by the user;
An information processing apparatus comprising: 前記検索手段により検索された手技動画をユーザ端末に送信する送信手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。   The information processing apparatus according to claim 1, further comprising: a transmission unit that transmits the procedure moving image searched by the search unit to a user terminal. 前記検索手段は、前記ユーザの処置時間よりも所定割合短い処置時間の手技動画を検索することを特徴とする請求項１または２に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the search unit searches for a procedure moving image having a treatment time shorter than the treatment time of the user by a predetermined rate. 前記検索手段は、前記ユーザの処置時間に対して所定範囲内の処置時間の手技動画を検索することを特徴とする請求項１または２に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the search unit searches for a procedure moving image having a treatment time within a predetermined range with respect to the treatment time of the user. 前記手技動画に含まれる手技の処置時間を所定の処置時間と比較可能にグラフ化して表示するグラフ表示手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。   5. The information processing according to claim 1, further comprising: a graph display unit that displays a procedure time of the procedure included in the procedure video so as to be compared with a predetermined procedure time. apparatus. 前記検索手段は、ユーザ識別情報に基づいて、前記手技動画を検索することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the search unit searches for the procedure moving image based on user identification information. 前記ユーザの手技動画と、前記検索手段で検索された手技動画とを比較可能に表示する比較表示手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。   7. The information processing apparatus according to claim 1, further comprising a comparison display unit configured to display the user's technique video and the technique video searched by the search unit in a comparable manner. . 記録手段に記録された手術動画の映像中の複数の手技のそれぞれに対応して、前記手術動画を分割する分割ステップと、
前記分割ステップにおいて分割された手技動画から、前記手技動画中の手技の処置時間を抽出する抽出ステップと、
前記手技動画と前記処置時間とを関連付けて記録する手技動画記録ステップと、
ユーザが指定した指定手技についての、前記ユーザの処置時間に基づいて、前記手技動画記録ステップで記録した前記手技動画から、前記指定手技に対応する手技動画を検索する検索ステップと、
を含むことを特徴とする情報処理方法。 A division step of dividing the surgical video in response to each of a plurality of procedures in the video of the surgical video recorded in the recording means;
An extraction step for extracting the procedure time of the procedure in the procedure movie from the procedure movie divided in the division step;
A procedure movie recording step for recording the procedure movie and the treatment time in association with each other;
A search step for searching for a procedure video corresponding to the designated procedure from the procedure movie recorded in the procedure movie recording step based on the user's treatment time for the designated procedure designated by the user;
An information processing method comprising: 記録手段に記録された手術動画の映像中の複数の手技のそれぞれに対応して、前記手術動画を分割する分割ステップと、
前記分割ステップにおいて分割された手技動画から、前記手技動画中の手技の処置時間を抽出する抽出ステップと、
前記手技動画と前記処置時間とを関連付けて記録する手技動画記録ステップと、
ユーザが指定した指定手技についての、前記ユーザの処置時間に基づいて、前記手技動画記録ステップで記録した前記手技動画から、前記指定手技に対応する手技動画を検索する検索ステップと、
をコンピュータに実行させることを特徴とする情報処理プログラム。 A division step of dividing the surgical video in response to each of a plurality of procedures in the video of the surgical video recorded in the recording means;
An extraction step for extracting the procedure time of the procedure in the procedure movie from the procedure movie divided in the division step;
A procedure movie recording step for recording the procedure movie and the treatment time in association with each other;
A search step for searching for a procedure video corresponding to the designated procedure from the procedure movie recorded in the procedure movie recording step based on the user's treatment time for the designated procedure designated by the user;
An information processing program for causing a computer to execute.
JP2015174079A 2015-09-03 2015-09-03 Information processing apparatus, information processing method, and information processing program Expired - Fee Related JP5989877B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015174079A JP5989877B1 (en) 2015-09-03 2015-09-03 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015174079A JP5989877B1 (en) 2015-09-03 2015-09-03 Information processing apparatus, information processing method, and information processing program

Publications (2)

Publication Number Publication Date
JP5989877B1 true JP5989877B1 (en) 2016-09-07
JP2017047022A JP2017047022A (en) 2017-03-09

Family

ID=56871762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015174079A Expired - Fee Related JP5989877B1 (en) 2015-09-03 2015-09-03 Information processing apparatus, information processing method, and information processing program

Country Status (1)

Country Link
JP (1) JP5989877B1 (en)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10980560B2 (en) 2017-10-30 2021-04-20 Ethicon Llc Surgical instrument systems comprising feedback mechanisms
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
WO2019111512A1 (en) * 2017-12-05 2019-06-13 ソニー・オリンパスメディカルソリューションズ株式会社 Medical information processing device and information processing method
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11969216B2 (en) * 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11696760B2 (en) 2017-12-28 2023-07-11 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US20190201115A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Aggregation and reporting of surgical hub data
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11337746B2 (en) 2018-03-08 2022-05-24 Cilag Gmbh International Smart blade and power pulsing
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
JP6426867B1 (en) * 2018-03-30 2018-11-21 株式会社ミルプラトー Video viewing apparatus, control method for video viewing apparatus, and program
JP2019185726A (en) * 2018-10-25 2019-10-24 株式会社ミルプラトー Video browsing device, control method of video browsing device, and program
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11298130B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Staple cartridge retainer with frangible authentication key
WO2022181714A1 (en) * 2021-02-24 2022-09-01 アナウト株式会社 Surgery details evaluation system, surgery details evaluation method, and computer program
WO2023190382A1 (en) * 2022-03-29 2023-10-05 株式会社カネカ Evaluation system, evaluation apparatus, and evaluation method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104051U (en) * 2004-03-16 2004-09-02 株式会社ユープロダクション Editing device for video recording of surgical operation
JP2005124824A (en) * 2003-10-23 2005-05-19 Olympus Corp Operation supporting system
JP2006043209A (en) * 2004-08-05 2006-02-16 U Production:Kk Moving image recording apparatus for surgical operation
JP2015097065A (en) * 2013-11-15 2015-05-21 株式会社東芝 Surgical information management apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124824A (en) * 2003-10-23 2005-05-19 Olympus Corp Operation supporting system
JP3104051U (en) * 2004-03-16 2004-09-02 株式会社ユープロダクション Editing device for video recording of surgical operation
JP2006043209A (en) * 2004-08-05 2006-02-16 U Production:Kk Moving image recording apparatus for surgical operation
JP2015097065A (en) * 2013-11-15 2015-05-21 株式会社東芝 Surgical information management apparatus

Also Published As

Publication number Publication date
JP2017047022A (en) 2017-03-09

Similar Documents

Publication Publication Date Title
JP5989877B1 (en) Information processing apparatus, information processing method, and information processing program
JP7478795B2 (en) Medical Assistant
US11081229B2 (en) Surgical tracking and procedural map analysis tool
US20220331049A1 (en) Systems and methods for controlling surgical data overlay
EP3367387A1 (en) Methods and system for providing real-time surgical guidance
CA3026282A1 (en) An enhanced ophthalmic surgical experience using a virtual reality head-mounted display
US20070271122A1 (en) Patient Video and Audio Monitoring System
JP6440135B1 (en) Medical information virtual reality server, medical information virtual reality program, and medical information virtual reality data creation method
JP2015185125A (en) Information integration device, information integration system, and program
CN109246412A (en) A kind of operating room record system and method, operating room
JP5160830B2 (en) Movie generation system, movie generation method, and computer program
WO2020075545A1 (en) Surgical support system, data processing apparatus and method
EP3065396A1 (en) Terminal, system, display method, and carrier medium
JP2009145805A (en) Moving image display system, moving image display method, and computer program
JP2020081280A (en) Image display control system, image display system, and image analyzing device
JP5730143B2 (en) Medical image device and medical image storage device
JP6519429B2 (en) Information output device
US20190066838A1 (en) Surgical scheduling system
JP2009050456A (en) Moving image display system, moving image display method, and computer program
JP6516983B2 (en) Medical image processing apparatus and medical image processing program
KR20240065445A (en) Method and device for offering video related with medical robot
KR20240000925A (en) Method and device for acquiring encoded video
JP2015170120A (en) information processing apparatus, information processing method and program
Sharma et al. Virtual Reality: Robotic Improved Surgical Precision Using AI Techniques
KR20240021624A (en) Method and device for acquiring image with annotations

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160810

R150 Certificate of patent or registration of utility model

Ref document number: 5989877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees