JP2010029511A - 手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム - Google Patents

手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム Download PDF

Info

Publication number
JP2010029511A
JP2010029511A JP2008196076A JP2008196076A JP2010029511A JP 2010029511 A JP2010029511 A JP 2010029511A JP 2008196076 A JP2008196076 A JP 2008196076A JP 2008196076 A JP2008196076 A JP 2008196076A JP 2010029511 A JP2010029511 A JP 2010029511A
Authority
JP
Japan
Prior art keywords
information
video
unit
data unit
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008196076A
Other languages
English (en)
Inventor
Yasuhiro Miura
泰弘 三浦
Masashi Kizara
正志 木皿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exscion Kk
TOHOKU OTAS KK
Original Assignee
Exscion Kk
TOHOKU OTAS KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exscion Kk, TOHOKU OTAS KK filed Critical Exscion Kk
Priority to JP2008196076A priority Critical patent/JP2010029511A/ja
Publication of JP2010029511A publication Critical patent/JP2010029511A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】未だ手術が終了しない間であっても、映像などの途中までを記録した段階で当該一部の映像などに関する情報を順次再生側に送信し、同期を保った形で再生できるようにする。また、これらの情報が改ざんされた場合にこれを検知できるようにして、信頼性の高い情報の記録・再生を実現できるようにする。
【解決手段】患者の手術中の符号化映像である映像情報を取得する手段と、手術中の患者の生体情報を取得する手段と、映像情報取得中映像情報・生体情報を部分的に切出す各手段と、切出情報との同期再生用の情報を生成する手段と、切出情報と同期情報とを含むデータユニットを生成する手段と、データユニットを情報取得中に送信する手段などを有する手術映像送信装置および同方法、当該データユニットを受信して再生する手術映像再生装置、ならびにこれら各装置からなる手術映像送信再生システムを提供する。
【選択図】図1

Description

本発明は、患者の手術映像を含む複数のデータの同期再生を可能にするためのデータユニットを生成して送信する手術映像送信装置および同方法、当該データユニットを受信して再生する手術映像再生装置、ならびにこれらの手術映像送信装置及び手術映像再生装置からなる手術映像送信再生システムに関する。
医療技術の高度化に伴い、一つの手術を行う場合にも様々な医療機器によって収集した複数のデータを有機的に関連付けて利用することが必要な場面が増えつつある。このため、手術映像などを含むデータの同期記録・再生の重要性はますます高まっているといえる。データの同期記録・再生に関する技術としては、従来から以下のような技術が知られている。
例えば、特許文献1には、複数の医療機器の機器情報、複数の生体情報などの手術中の各種医療情報に時間情報を付加して関連付け、医療情報ごとにファイル化して手技別のデータベースを構築して格納する手段や、格納された医療情報を分析する手段などを備えた手術情報分析システムが開示されている。また、時間情報に基づいて所定の発生時刻の情報を抽出する手段を備えたものも合わせて開示されている(特許文献1参照)。
また、特許文献2には、手術室内の患者に対してタスクを表示する表示画面と手術室内に設置されたカメラの映像が時刻タグとともに記録され、当該時刻タグを参照して表示画面・カメラ映像を同期再生する手段を備えた手術記録装置が開示されている(特許文献2参照)。
特開2007‐133513号公報 特開2006‐122375号公報
ところで、実際の医療現場において一つの手術に要する時間は、その種類や難易度によってもまちまちではあるものの、2時間程度かかる場合はごくふつうに見られる。また、手術室の運用上の都合などから、一つの手術室においてある手術が終了してから次の手術の開始までのインターバルは1時間程度である場合が多い。一方、手術映像の同期記録に関する従来の方法においては、手術映像全体を記録し終わってから、即ち手術が終了してからはじめてタイムスタンプ処理、暗号化処理、改ざん検出のための処理といった各処理を開始することが可能となっていた。しかもこれらの処理には通例手術全体の時間(即ち手術映像全体の時間)の2/3程度を要していた。このため、2時間の手術の場合にはこれらの処理に1時間20分程度かかってしまい、1時間程度のインターバル内で処理を完了することは困難であった。
また、近年医療過誤訴訟が多く見られるが、かかる訴訟において裁判所の的確な判断を可能にし、当事者間の公平を図るためには、信頼性の高い医療データの記録が不可欠である。このためには、データの改ざんや漏えいを防止できるとともに、複数のデータについて各データ相互間の関連性や因果関係を明確にした証拠価値の高い資料を整備する必要がある。かかる資料は、一般に証拠資料の入手が困難で資料の証明力にも乏しい患者側にとって有用な情報を提供し得るばかりでなく、医療機関側にとっても、従来存在した因果関係が不明な場合に証明責任の転換によって不利な扱いを受けるおそれをこのような明確な資料によって解消し得るという意味で極めて大きな意義を有するものといえる。
そこで、本発明の解決すべき課題は、手術中の映像や生体データを記録・再生する場合に、未だ手術が終了しない間であっても、送信側で映像などの途中までを記録した段階で当該一部の映像などに関する情報を順次再生側に送信し、再生側で同期を保った形で再生することができるようにすることにある。また、一部の映像ずつ順次送信し、受信側でこれを元の形に復元する場合などにこれらの情報が改ざんされた場合にこれを検知できるようにして、信頼性の高い情報の記録・再生を実現することができるようにすることにある。
以上の課題を解決するため、本発明のうち、第一の発明は、患者の手術中の符号化映像である映像情報を取得するための映像情報取得部と、手術中の患者の心拍数などの生体情報を取得するための生体情報取得部と、映像情報取得中、映像情報を部分的に切出して切出映像情報とする映像情報切出部と、生体情報取得中、生体情報を部分的に切出して切出生体情報とする生体情報切出部と、切出映像情報と、切出生体情報との同期再生用の同期情報を生成する同期情報生成部と、切出映像情報と、切出生体情報とを保持する保持部と、保持された切出映像情報と、保持された切出生体情報と、同期情報とを含み送受信ならびに記録処理単位として扱うデータユニットを生成するデータユニット生成部と、データユニットを情報取得中に送信する送信部とを有する手術映像送信装置を提供する。
また、第二の発明は、第一の発明を基礎として、映像情報切出部は、時間的に隣接するデータユニットに映像情報の一部が重複して含まれるように切り出しを行う重複切出手段を有する手術映像送信装置を提供する。
また、第三の発明は、第一または第二の発明を基礎として、送信部の送信が完了したか判断する判断部と、判断部での判断結果が完了したとの判断結果である場合に、保持部に保持された情報を削除する削除部と、を有する手術映像送信装置を提供する。
また、第四の発明は、第一から第三のいずれか一の発明を基礎として、データユニット生成部は、再生順を識別するためのタイムスタンプを生成してデータユニットに組み込むタイムスタンプ生成手段を有する手術映像送信装置を提供する。
また、第五の発明は、第四の発明を基礎として、データユニット生成部は、データユニットに含まれる情報である映像情報、生体情報、同期情報、タイムスタンプのいずれか一以上をハッシュ関数にて要約した値であるハッシュ値を生成し、データユニットに組み込むためのハッシュ値手段を有する手術映像送信装置を提供する。
また、第六の発明は、第一から第五のいずれか一の発明を基礎として、送信部は、データユニットをタイムスタンプ順とは無関係に送信するランダム送信手段を有する記載の手術映像送信装置を提供する。
また、第七の発明は、データユニットを受信するデータユニット受信部と、受信したデータユニットを復号する復号部と、重複がなくなるようにデータユニットを再生する再生部とを有する手術映像再生装置を提供する。
また、第八の発明は、第七の発明を基礎として、再生部は、第四の発明、第五の発明または第四の発明を基礎とする第六の発明の手術映像送信装置から受信したデータユニットをタイムスタンプ順に再生するタイムスタンプ再生手段を有する手術映像再生装置を提供する。
また、第九の発明は、第七または第八の発明を基礎として、第五の発明の手術映像送信装置から送信され、データユニットから復号された情報と、そのデータユニットに含まれているハッシュ値とを利用して改ざんの有無を判定する改ざん判定部をさらに有する手術映像再生装置を提供する。
また、第十の発明は、第一から第六のいずれか一の発明の手術映像送信装置と、第七から第九のいずれか一の発明の手術映像再生装置とからなる手術映像送信再生システムを提供する。
また、第十一の発明は、患者の手術中の符号化映像である映像情報を取得する映像情報取得ステップと、手術中の患者の心拍数などの生体情報を取得する生体情報取得ステップと、映像情報取得中、映像情報を部分的に切出して切出映像情報とする映像情報切出ステップと、生体情報取得中、生体情報を部分的に切出して切出生体情報とする生体情報切出ステップと、切出映像情報と、切出生体情報との同期再生用の同期情報を生成する同期情報生成ステップと、切出映像情報と、切出生体情報と、同期情報とを含み送受信ならびに記録処理単位として扱うデータユニットを生成するデータユニット生成ステップと、データユニットを情報取得中に送信する送信ステップとを有する手術映像送信方法を提供する。
本発明により、手術中の映像や生体データを記録・再生する場合に、未だ手術が終了しない間であっても、送信側で映像などの途中までを記録した段階で当該一部の映像などに関する情報を順次再生側に送信し、再生側で同期を保った形で再生することができるようになる。また、一部の映像ずつ順次送信し、受信側でこれを元の形に復元する場合などにこれらの情報が改ざんされた場合にこれを検知できるようにして、信頼性の高い情報の記録・再生を実現することができるようになる。
以下に、本発明の実施例を説明する。実施例と請求項の相互の関係は以下のとおりである。実施例1は主に請求項1、請求項11などに関し、実施例2は主に請求項2などに関し、実施例3は主に請求項3などに関し、実施例4は主に請求項4などに関し、実施例5は主に請求項5などに関し、実施例6は主に請求項6などに関し、実施例7は主に請求項7などに関し、実施例8は主に請求項8などに関し、実施例9は主に請求項9などに関し、実施例10は主に請求項10などに関する。なお、本発明はこれら実施例に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
<概要>
はじめに、本発明の手術映像送信装置の概要について説明する。
図1は、本発明の手術映像送信装置の概要について説明するための概念図である。図の上半分には、本装置の送信対象となる情報として、「映像情報1」、「映像情報2」、「生体情報」、「同期情報」という四つの情報が示されている。このうち、「映像情報1」は例えば手術室内の監視カメラ映像に係る情報であり、「映像情報2」は例えば患者の内視鏡映像であり、「生体情報」は例えば患者の血圧値の測定データである。本装置はこれらの各情報を外部装置などから取得する。なお、横軸はそれぞれの情報の取得されるリアルタイムの時刻を示している。また、「同期情報」は、映像情報や生体情報を後述する手術映像再生装置に送信して同期再生ができるように、映像情報、生体情報とともに送信するためのものである。この同期情報は手術映像送信装置自身が生成する。
映像情報、生体情報および同期情報を送信する際には、これらを含む「データユニット」を生成し、このデータユニット単位で送信を行う。このようなデータユニット単位での送信は、従来のように例えば2時間の手術が全部終了するまで待ってから所定の処理を行って映像情報等を送信する場合の不都合を解消して、例えばはじめの1秒間とか1分間とか10分間といった部分的な映像情報が得られた段階で、情報取得中(手術継続中)にこの部分の映像だけを先に送信して再生が可能なようにするための構成である。
「データユニット」には、映像情報の一部を切り出した「切出映像情報」、生体情報の一部を切り出した「切出生体情報」という形で、映像情報や生体情報の一部が納められるとともに、同期情報も一緒に納められる。
図1の下半分には、データユニットの内容が示されている。例えば、上半分で「切出し部分1」として囲まれた範囲の「映像情報1」、「映像情報2」、「生体情報」および「同期情報」が一つのデータユニットの中に含められる。具体的には、「映像情報1」の当該範囲部分を「切出映像情報1‐1」0102として切り出し、「映像情報2」の当該範囲部分を「切出映像情報2‐1」0103として切り出し、「生体情報」の当該範囲部分を「切出生体情報‐1」0104として切り出し、これら各情報および当該範囲部分に位置している「同期情報」0105を含める形で、「データユニット1」0101が生成される。「データユニット2」以下についても同様の要領で生成が行われる。生成された各データユニットは、情報取得中に送信される。
<構成>
(全般)
図2は、本実施例の手術映像送信装置の機能ブロックの一例を示す図である。本図に示すように、本実施例の「手術映像送信装置」0200は、「映像情報取得部」0201と、「生体情報取得部」0202と、「映像情報切出部」0203と、「生体情報切出部」0204と、「同期情報生成部」0205と、「保持部」0206と、「データユニット生成部」0207と、「送信部」0208とを有する。
(映像情報取得部)
「映像情報取得部」は、映像情報を取得するための手段である。本発明で「映像情報」とは、患者の手術中の符号化映像をいう。映像は「患者の手術中の映像」に限られるが、ここで「手術中」とは、その患者の手術に関連した時間帯であればよいという意味であって、手術前の準備や手術後の処置などのための時間も含み得る。また、被写体の中に患者自身が含まれていることは必須ではなく、その患者の手術に関連する映像であればよい。以上より、例えば患者が手術室に搬入される直前の室内の様子を撮影した映像などであっても「患者の手術中の映像」に含まれ得る。これらの定義は、はじめに述べた本発明の目的に照らして、医療過誤訴訟などにおいて証拠価値を有する可能性のある記録をすべて含み得るようにするとの趣旨に基づくものである。
この映像情報の取得は、例えば外部装置である撮像装置からインターネット、WAN、LANなどを介して行う。あるいは、手術映像送信装置自身がかかる撮像手段を有しており、撮像センサを介して直接取得するようにしてもよい。
取得する映像情報の数は、単数であっても複数であってもよい。これは後述する生体情報についても同様である。図1で示した例では、映像情報が二つ、生体情報が一つの場合を示したが、これはあくまで一例であって、映像情報、生体情報の数の組み合わせはどのようなものであってもよい。なお、図1の例では、映像情報1、映像情報2のいずれも、途中で撮影が中断されている時間帯があるが、このような場合であっても、同じ撮像装置を用いて同じ対象を撮影するもの(例えば1台の監視カメラを用いて手術室内の様子を断続的に撮影するもの)は、全体として一つの映像情報として観念される。
映像情報の具体的内容の例としては、既に触れたように、手術室内の監視カメラ映像、執刀医の手元の映像、患者の内視鏡映像などを挙げることができる。
映像情報は、動画像情報であっても静止画像情報であってもよい。
また、映像情報の符号化フォーマットは問わない。例えば、動画像の場合であれば、MPEG(Moving Picture Experts Group)‐1、MPEG‐2、MPEG‐4(主に移動通信の場合)、H.261(国際電気通信連合勧告の規格)などを挙げることができる。また、静止画像の場合であれば、JPEG(Joint Photographic Experts Group)を代表的なフォーマットとして挙げることができる。
図3は、映像情報の一例を示す図であって、MPEG‐2のフォーマットを用いた動画像の例を示す。MPEG‐2では、符号化された情報は適当な長さの単位のパケットであるPES(Packetized Elemnetary Stream)パケット(可変長)によって構成される。そこで、映像情報は、本図下段に示すように、複数のPESパケットからなるストリーム0301として取得される。また、後述するように映像情報の切出しは通例フレーム単位で行われるが、このPESパケットは、例えば本図中段に示すように映像情報の1つのフレーム0302が複数のPESパケットによって構成されるという対応関係にある。あるいは、本図の例とは異なり、1つのフレームが1つのPESパケットに対応する形になっていてもよい。また、既述のように、映像情報の送信はデータユニット単位で行われるところ、本図上段に示すように1つのデータユニット0303には、例えば本図に示すように複数のフレーム分の切出映像情報が含まれる。あるいは、本図の例とは異なり、ここでも1つのフレームが1つのデータユニットに対応する形になっていてもよい。
以上を要すれば、映像情報は、MPEG‐2フォーマットの動画像の例でいえば、本図に示すように、複数のデータユニットにそれぞれ包含させるための複数の切出映像情報に分割可能な集合体であり、各データユニットに含まれる切出映像情報は複数のフレームからなり、各フレームは複数のPESパケットからなる。あるいは、本図に示す例とは異なり、各データユニットに含まれる切出映像情報は一つのフレームからなり、かつ一つのPESパケットからなるというものであってもよいということになる。
なお、映像情報取得部は、映像情報に付随して音声情報を取得するように構成されていてもよい。例えば手術室内の監視カメラ映像を取得する際にマイクロフォン等を用いて室内における執刀医等の会話を取得するようにしてもよい。あるいは、本装置に音声情報の取得手段を設けて、当該手段が音声情報を取得するようにしてもよい。音声情報の符号化フォーマットとしては、例えばMP3などを用いればよい。
(生体情報取得部)
「生体情報取得部」は、手術中の患者の生体情報を取得するための手段である。「手術中」などの用語の定義は映像情報について述べたところと同様である。生体情報の具体的内容の例としては、請求項中で例示されている心拍数のほか、血圧、体温、脳波その他の情報を広く挙げることができる。
生体情報の取得も、映像情報の場合と同様に、例えば外部装置である心拍数や血圧などの測定装置からインターネット、WAN、LANなどを介して行ってもよいし、手術映像送信装置自身が測定センサを介して直接取得するようにしてもよい。ただし、映像情報の場合と異なり、生体情報は、必ずしも時々刻々と送信されてくるものを取得するものではなく、例えば、予め設定された一定時間ごとに取得するといったパターンが考えられる。例えば、血圧値を約2分ごとに測定し、13時01分15秒に測定された血圧値「115」を取得するとともに、次回は13時03分22秒に測定された血圧値「110」を取得するといったようなパターンである。あるいは、生体情報の取得のタイミングとして、予め設定された一定時間ごとに取得するのではなく、ユーザの要求するタイミングで取得するようにしてもよい。例えば、手術中にある処置を行うべきかどうかの判断のために現在の血圧値を知る必要が生じた場合にユーザ(執刀医)からの要求に基づいて本装置から外部装置に血圧値の測定、送信を求める要求情報を送信し、外部装置側から測定して返信された当該データを取得するといったパターンが考えられる。
生体情報のフォーマットも問わないが、代表的なフォーマットとしてはテキストデータのフォーマットが考えられる。
図4は、生体情報の一例を示す。本例では、後述するデータユニットの送信との親和性を高めるためXML(eXtensible Markup Language)タイプのフォーマットで記述された例を示す。本図に示す「生体情報」は、患者の血圧値の測定データに係る情報の例であり、測定した「血圧値」と、その測定値を本装置が取得した時刻をリアルタイムで示す「時刻情報」とを記述した「生体情報1」からなるものである。図示は省略したが、新たに血圧値が測定された場合には、当該血圧値と測定時刻を示す時刻情報を記述した新たな生体情報が取得される。
なお、生体情報が、例えば心電図の波形グラフを示すデータのように時々刻々と変化する情報(この場合もテキストデータとして取得することが考えられる)であってもよい。あるいは、生体情報は、テキストデータ以外のフォーマットで取得されるようなもの、例えば胸部のX線撮影にかかるデータや放射線治療における照射位置の特定に利用される体内に埋め込まれたマーカの位置を透視したデータのような映像データなどであってもよい。
(映像情報切出部)
「映像情報切出部」は、映像情報取得中、映像情報を部分的に切出して切出映像情報とするように構成されている。
図5は、切出映像情報の一例を示す。本図の映像情報は、例えば図3に示したような複数のフレームによって構成されるストリームである。この場合、切出映像情報は各データユニットの生成に利用する部分をフレーム単位で切り出すことにより得られる。
本図では、ある時刻からある時刻までの1秒間の長さを有する「データユニット1」の生成のために「フレーム1」から「フレーム15」までの15個フレームが「切出映像情報1」として切り出され、これに続く同じ長さの「データユニット2」の生成のために「フレーム16」から「フレーム30」までの15個フレームが「切出映像情報2」として切り出される例を示した。
切り出されるフレームの数は、データユニットの長さに応じており、後述するようにデータユニットの長さは任意に設定できるので、これに応じて切り出されるフレーム数も様々に変化し得る。また、データユニットの長さが同じであっても、各映像情報のフレームレートによって切り出されるフレーム数が異なる場合もある。例えば、図1の例のように二つの映像情報が取得される場合において、映像情報1(手術室内の監視カメラ映像)は緻密性の要求度が相対的に低いためフレームレートが15fps、映像情報2(内視鏡映像)は緻密性の要求度が相対的に高いためフレームレートが30fpsであるとすると、同じ1秒間のデータユニットの生成のために切り出される場合でも、その数は前者が15個フレーム、後者が30個フレームと異なるものとなる。
どこからどこまでのフレームを切り出すかは、例えばデータユニットの開始時刻および終了時刻によって決定される。そこで、映像切出部は切出しに先だってこの時刻情報もしくは時刻情報と関連付けられたフレーム情報を取得する必要がある。この取得は、例えばユーザによる切出時刻の入力を受け付けて行うようにすればよい(フレーム情報の取得はこの切出時刻とフレームレートから可能である)。あるいは、予め一定時間ごとに切出しを行うためにテーブルなどにルールとして定められた時刻情報に基づいて自動的に切り出しを行うようにしてもよい。例えば、手術開始から10分ごとにデータユニットを生成していくように予めルールを定めておき、映像情報1(フレームレートが15fps)を、第一の切出映像情報は「フレーム1」から「フレーム9000」まで、第二の切出映像情報は「フレーム9001」から「フレーム18000」までというように順次切出していくようにしてもよい。
なお、以上の例では、はじめの15個フレームと次の15個フレームは重複なく切り出されているが、後刻改めて再生のためにデータユニットを復号する際にiピクチャを収納するフレームの前後の関係が崩れないようにするため、隣接するデータユニット間に重複部分が生じるように切り出すことが望ましい。かかる重複する切出しに係る構成については、別の実施例にて後述する。
映像情報の切出しは、「映像情報取得中」に行われる。はじめに述べたように、従来は、例えば2時間の手術が全部終了するまで待ってから所定の処理を行って映像情報等を再生側に送信するようにしていたが、本構成により映像情報取得中に切出しを行えるようにしたことにより、後述の情報取得中におけるデータユニットの生成、送信に係る構成と相まって、手術中でも途中までの映像を次々に送信して再生することが可能となる。
(生体情報切出部)
「生体情報切出部」は、生体情報取得中、生体情報を部分的に切出して切出生体情報とするように構成されている。
生体情報は、一般にテキストデータとして取得されるものであるので、この場合には、データ内容が更新されない限り、直近に作成されたデータを継続的に切り出して利用することが考えられる。
図6は、切出生体情報の一例を示す。本例でもXMLタイプのフォーマットで記述された例で示す。本例では、例えば血圧値を記載した特定のテキストデータファイルについて、一定の時期を指定してそれに該当する取得時期(例えば生体情報を外部装置から受信した日時)のものを切り出す例を示している。例えば、「切出生体情報‐1」は、「血圧値」として「115」を記述するとともに、「時刻情報」として、例えばその測定値を本装置が取得したリアルタイムの時刻である「2008年8月1日13時01分15秒」を記述したものである。どの時刻の情報(測定値など)を取得するかは、「データユニット1」の開始時刻・終了時刻との関係で決まる。例えば、データユニットの開始時刻が2008年8月1日13時02分00秒、終了時刻が同日13時04分00秒である場合、まず、開始時刻以前の直近の取得時刻である「2008年8月1日13時01分15秒」が時刻情報として記述され、その時刻に取得したファイルが切り出される。
この場合、データユニットの終了時刻までに新たな生体情報の取得がない場合には、データユニットに含めるために切り出される切出生体情報は上の「切出生体情報1」のみである。一方、データユニットの終了時刻までに新たな生体情報として、例えば13時03分22秒に新たな測定値として血圧値「110」が取得された場合には、当該情報も同じ「データユニット1」に含めるために切り出される。
このように、データユニットの開始時刻から終了時刻までの間に当該ファイルの内容が更新されており、新しい血圧値を記述したファイルが取得されていれば、この新しい内容の生体情報も切り出されることになる。
同様に、次のデータユニットにおいても、直前のデータユニットの終了時刻以降に新たな生体情報が取得されていれば、この新しい生体情報を切出生体情報として切り出すことになるが、直前のデータユニットの終了時刻以降に新たな生体情報が取得されていなければ、直前のデータユニットと同じ内容の生体情報が再び切り出される。この切出し要領によれば、その後も次々に新たなデータユニットに含めるために生体情報の切出しを繰り返していく際に、新しく更新されたファイルを取得しない限り、何度でも同じ内容のファイルが切り出されることとなる。
あるいは、上の場合にファイル自体を再度切り出すのではなく、例えば「データユニット1に含まれる生体情報を参照せよ」といった管理情報をデータユニット内に収納するようにしてもよい。この場合には、データユニットの生成に要する時間やデータユニットのデータ消費量を節減できるという利点がある。
あるいは、さらに別の例として、そのデータユニットの開始時刻などに合致する日時に更新されたファイルが存在しない場合や、その時刻から一定時間内(例えばその時刻から遡る5分間以内)を更新日時とするファイルが存在しない場合は、生体情報を切り出さないようにしてもよい。かかる場合には、他に切り出される生体情報がなければ、生体情報を含まないデータユニットが生成されることになるが、このようにデータユニットの中には必ず切出映像情報と切出生体情報が一つ以上ずつ含まれている必要はなく、データユニットが一方の情報を含まないものであってもよい。
なお、生体情報が、例えば心電図の波形グラフを示すデータのように時々刻々と変化する情報(この場合もテキストデータとして取得することが考えられる)である場合には、取得時刻として例えばデータユニットの開始時刻と終了時刻に合わせた時刻を指定して、その間の情報をすべて切り出すようにすればよい。
以上のように、本発明では、時々刻々と取得される映像情報と一般的にはテキストデータである生体手術情報の双方を含み得るという手術映像情報の特性から、情報の切出しの仕方に様々なバリエーションが考えられ、これらバリエーションに応じ最適の方法で情報の切出しを行えるようになっている点に、本発明の従来発明には見られない特徴の一つがある。
(同期情報生成部)
「同期情報生成部」は、切出映像情報と、切出生体情報との同期再生用の同期情報を生成するように構成される。この同期情報の目的は、後刻データユニットを復号して再生する際に、切出映像情報と、切出生体情報の元の時間関係が崩れないように再生できるようにするための各情報間の時刻の関連付けを行うことにある。
図7は、同期情報の一例を示す。本例でもXMLタイプのフォーマットで記述された例で示す。本例では、同期情報が、同期情報を一意的に識別するための同期情報ID「001」と、「同期情報位置」の二種類の情報からなることが示されている。「同期情報位置」は、同期情報とともにデータユニットに含まれる映像情報(本図の例では「映像情報1」と「映像情報2」の二つの情報)と生体情報のそれぞれが同期情報の位置に対応する位置を示したものである。ここで同期情報の位置は、データユニットの開始時刻と終了時刻の範囲内にある特定の時刻に対応する位置であり、この時刻はユーザの入力に基づいて設定されてもよいし、予め設定されたルール(データユニットの開始時刻というように一定の位置を定めるルールでもよいし、ランダムに設定するというルールでもよい)に従って設定されてもよい。
本図の例における同期情報の位置に対応する位置は、「映像情報1」では「フレーム10」であり、「映像情報2」では「フレーム2」であるというようにフレーム位置で与えられ、生体情報では、外部装置からの取得日時が「2008年8月1日13時01分15 秒」であるというように時刻情報そのもので与えられている。この場合、再生側で同期情報の位置に対応する映像情報のフレーム位置を特定するためには、例えば映像情報を構成するPESパケットに含まれるPTS(Presentation Time Stamp)などの時刻情報を利用するようにすれば可能である。
このように同期情報と切出映像情報の特定のフレーム位置、あるいは同期情報と切出生体情報の取得日時などをそれぞれ関連付けておけば、一つの切出映像情報内、切出生体情報内における前後のフレームの位置関係や時間関係は元の情報の関係が崩されずにそのまま切り出されているから、切出映像情報や切出生体情報のすべての位置を元の時間関係との同期を保った形で一義的に特定することが可能となる。即ち、同期情報は切出し映像情報や切出生体情報のすべての位置と関連付けておく必要はなく、最低限一箇所の位置と関連付けておけば足りる。
以上に説明した同期情報の生成という構成を用いて同期情報に対応する映像情報、生体情報の位置を一義的に関連付けることにより、例えばデータユニット内に複数のフレームレートの異なる映像情報を含めるような場合や、また、生体情報のように断続的に取得される情報を含めるような場合を問わず、様々な情報を簡単な構成で同期再生可能に関連付けることが可能となる。
(保持部)
「保持部」は、切出映像情報と、切出生体情報とを保持するように構成される。この保持の目的は、次に述べるデータユニットの生成にこれらの情報を利用するためである。また、別の実施例にて後述するように送信が完了した場合には保持された情報を削除するように構成することを可能にするためでもある。
(データユニット生成部)
「データユニット生成部」は、保持された切出映像情報と、保持された切出生体情報と、同期情報とを含み送受信ならびに記録処理単位として扱うデータユニットを生成するように構成されている。
データユニットは、このように送受信ならびに記録処理単位であり、映像情報や生体情報の取得中に、部分的に切り出された情報を元に生成することで、手術が終了する前に映像情報や生体情報の一部を送受信し、再生することを可能にするためのものである。
データユニットの時間の長さは任意でよく、例えば1秒から数秒程度のものであってもよいし、1分程度のものであってもよいし、10分程度のものでもよいし、さらにもっと長時間のものであってもよい。この長さはデータ量の大小、その部分を先に再生する必要度や緊急性(例えば受信側にいる指導医が直前の手術の様子をすぐに映像で確認して必要な指示を与える必要があるかどうか)などの要因によって決定され得る。
図8は、データユニットの一例を示す。本図は、図1に示したのと同様の例を用いて、一つのデータユニットである「データユニット1」0801が「切出映像情報1‐1」0802、「切出映像情報2‐1」0803、「生体情報‐1」0804および「同期情報」0805を含んでなることを示している。
また、本図に示すようにデータユニットには「ユニット情報」0806が含まれることが望ましい。この「ユニット情報」には、例えば、それぞれのデータユニットを一意的に識別するためのIDが含まれる。本図の例では当該「データユニット1」のIDとして「A0001」0807が保持されている。このようにユニット情報としてデータユニットのIDによってデータユニットを一意的に識別できるようにすれば、様々なデータユニット単位での処理を簡便に行うことが可能となる。
また、このデータユニットIDにはシリアル番号を含めるようにしてもよい。本図の例もかかる例であり、当該「データユニット1」以降に続く「データユニッ2」、「データユニット3」などのユニット情報中に順次データユニットID「A0002」、「A0003」などを含めて行くようにすればよい。こうすることにより、当該IDを再生順序を示す指標としても利用することが可能となる。なお、ユニット情報は暗号化されることが望ましく、これにより例えばデータユニットの順番を入れ替えたり一部を飛ばしたりといった改ざんが加えられた場合に、上述のシリアル番号を改ざん検出の手段として利用することが可能となる。
なお、再生順序は上のようにデータユニットIDに含まれるシリアル番号順となるのが一般的であるものの、このことは必ずしも必須ではなく、例えばデータユニット中にタイムスタンプを組み込んで、このタイムスタンプが示す再生順に従うようにしてもよい。かかる構成については、別の実施例にて後述する。
このほか、ユニット情報には、手術を特定するための情報、データユニットの構成データ(上の例に即せば映像情報1、映像情報2、生体情報、同期情報の各情報)に関する情報などが含まれる。
(送信部)
「送信部」は、データユニットを情報取得中に送信するように構成される。送信部の特徴もデータユニットを「情報取得中に」送信できるようにした点にある。送信先は、好適には後述する本願発明に係る手術映像再生装置であるが、これ以外の本願発明外の装置であってもよい。
送信順序は、未だ手術が終了しない間であっても送信側で映像などの途中までを記録した段階で当該一部の映像などに関する情報を順次再生側に送信するようにしたという本発明の特徴に照らせば、一般にはデータユニットの生成順序に従ってなされる。ただし、必ずしも先に生成したデータユニットを先に送信しなければならないわけではなく、例えば、先に生成したデータユニットのデータ量が多く送信に時間を要する場合などに、後から生成したデータユニットを先に送信するようにしてもよい。この場合、例えば、別の実施例において後述するようにデータユニットに当該データユニットの生成時刻を示すタイムスタンプを組み込むようにしておけば、再生側では受信順序に関係なくタイムスタンプを手掛かりにして再生順を識別することが可能となる。また、これも別の実施例において後述するが、データユニットにタイムスタンプを組み込む構成において、データユニットをタイムスタンプ順とは無関係に送信するようにしてもよい。
さらに、送信はデータユニットを一つずつ行うようにしてもよいし、例えば2個まとめて送信するというように複数のデータユニットをまとめて行うようにしてもよい。この場合にも、上と同様にデータユニットに当該データユニットの生成時刻を示すタイムスタンプを組み込むことで、再生側が受信順序に関係なく再生順を識別することが可能となる。
(ハードウェア構成)
次に、本実施例の手術映像送信装置のハードウェア構成について説明する。
図9は本実施例の手術映像送信装置のハードウェア構成の一例を示す概略図である。本例の手術映像送信装置の映像情報取得部と、生体情報取得部と、送信部は、「記憶装置(記録媒体)」0901と、「メインメモリ」0902と、「CPU」0903と、「I/O」0904とから構成される。映像情報切出部と、生体情報切出部と、同期情報生成部と、保持部と、データユニット生成部は、「記憶装置(記録媒体)」と、「メインメモリ」と、「CPU」とから構成される。制御部と、制御情報取得部と、研究情報生成部は「記憶装置(記録媒体)」と、「メインメモリ」と、「CPU」とから構成される。
これらは「システムバス」0905などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。記憶装置はCPUによって実行される各種プログラムなどを記憶している。またメインメモリは、プログラムがCPUによって実行される際の作業領域であるワーク領域を提供する。また、このメインメモリや記憶装置にはそれぞれ複数のメモリアドレスが割り当てられており、CPUで実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。本実施例では、映像情報取得プログラムと、生体情報取得プログラムと、映像情報切出プログラムと、生体情報切出プログラムと、同期情報生成プログラムと、データユニット生成プログラムと、送信プログラムが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐する。
次に、各部に係るハードウェア構成について具体的に説明する。まず、映像情報取得部に係るハードウェア構成について説明する。映像情報取得プログラムは、例えば外部装置からI/Oを介して符号化済みの映像情報を取得してメインメモリに格納する。映像情報の取得は、例えばインターネット、WAN、LANなどのネットワークを利用して行ってもよいし、TV放送などの放送信号に含まれる映像情報を取得するようにしてもよい。
次に、生体情報取得部に係るハードウェア構成について説明する。生体情報取得プログラムは、例えば外部装置からI/Oを介して生体情報を取得してメインメモリに格納する。
この取得も、例えば、インターネット、LANなどのネットワークやTV放送などを利用して行うことができる。また、生体情報がテキストデータなどの場合には、CD、DVD、SDメモリなどのリムーバルな記録媒体を利用して行ってもよい。
次に、映像情報切出部および保持部(映像情報の保持に関する)に係るハードウェア構成について説明する。映像情報切出プログラムは、データユニットの時間情報として、例えばユーザの入力に基づいて開始時刻情報と終了時刻情報を取得する。あるいは、予め一定時間ごとに切出しを行うためにテーブルなどに定められた時刻情報を取得するようにしてもよい。次に、映像情報切出プログラムは、メインメモリに格納されている映像情報の中から、上記時刻情報を参照して該当するフレームにかかる映像情報を読み出して、切出映像情報として別のメモリアドレスに格納する。
次に、生体情報切出部および保持部(生体情報の保持に関する)に係るハードウェア構成について説明する。生体情報切出プログラムは、例えばデータユニットの開始時刻情報を取得する。この取得は上述の映像情報切出プログラムが行う取得と同様の手順で行えばよい。次に、生体情報切出プログラムは、メインメモリに格納されている生体情報の中から、上記時刻情報を参照して該当する生体情報を読み出して、切出生体情報として別のメモリアドレスに格納する。
次に、同期情報生成部に係るハードウェア構成について説明する。同期情報生成プログラムは、データユニットの開始時刻と終了時刻の範囲内にある特定の時刻情報を取得するとともに、この時刻に対応する映像情報のフレームや生体情報の位置(フレーム位置や時刻)を検索し、これらを関連付けた同期情報としてメインメモリに格納する。
次に、データユニット生成部に係るハードウェア構成について説明する。データユニット生成プログラムは、メインメモリに格納されている切出映像情報、切出生体情報および同期情報を関連付けたデータユニット情報として改めて別のメモリアドレスに格納する。その際、ユニット情報として、データユニットのIDなどを含む情報を合わせて格納してもよい。
次に、送信部に係るハードウェア構成について説明する。送信プログラムは、メインメモリに格納されているデータユニットを、I/Oを介して送信する。この送信も、映像情報の取得などの場合と同様に、例えば、インターネット、WAN、LANなどのネットワークやTV放送などを利用して行ってもよいし、CD、DVD、SDメモリなどのリムーバルな記録媒体を利用して行ってもよい。
<処理の流れ>
図10は、本実施例の手術映像送信装置における処理の流れの一例を示す図である。
まず、映像情報があるか(検出されたか)否かの判断ステップS1001において、映像情報ありとの判断結果が得られた場合、手術映像送信装置は、映像情報取得ステップS1002において当該映像情報を取得する。次に、手術映像送信装置は、映像情報切出ステップS1003において映像情報を部分的に切り出して切出映像情報とする。
また、生体情報があるか(検出されたか)否かの判断ステップS1004において、生体情報ありとの判断結果が得られた場合、手術映像送信装置は、生体情報取得ステップS1005において当該生体情報を取得する。次に、手術映像送信装置は、生体情報切出ステップS1006において生体情報を部分的に切り出して切出生体情報とする。
なお、以上のステップS1001からS1003までの処理と、ステップS1004からS1006までの処理は、どちらを先に行ってもよいし、同時並行的に行ってもよい(他の実施例においても同様である)。
次に、同期情報生成ステップS1007において、手術映像送信装置は、同期情報を生成する。
次に、保持ステップS1008において、手術映像送信装置は、切出し映像情報、切出生体情報および同期情報を保持する。
次に、データユニット生成ステップS1009において、手術映像送信装置は、データユニットを生成する。
次に、送信ステップS1010において、手術映像送信装置は、データユニットを送信する。
さらに、送信が完了したか否かの判断ステップS1011において、手術映像送信装置は当該判断を行い、完了していないとの判断結果が得られた場合は、はじめに戻ってステップS1001からS1010までの処理を、前記ステップS1011において送信が完了したとの判断結果が得られるまで繰り返す。
<効果>
本実施例の発明により、手術中の映像や生体データを記録・再生する場合に、未だ手術が終了しない間であっても、送信側で映像などの途中までを記録した段階で当該一部の映像などに関する情報を順次再生側に送信することが可能となり、これにより再生側で同期を保った形で再生することができるようになる。また、一部の映像ずつ順次送信し、受信側でこれを元の形に復元する場合などにこれらの情報が改ざんされた場合にこれを検知できるようにして、信頼性の高い情報の記録・再生を実現することができるようになる。
<概要>
本実施例の手術映像送信装置は、基本的に実施例1の装置と共通する。ただし、本実施例の装置は、映像情報切出部が時間的に隣接するデータユニットに映像情報の一部が重複して含まれるように切り出しを行う手段を有する点に特徴がある。
<構成>
(全般)
図11は、本実施例の手術映像送信装置の機能ブロックの一例を示す。本実施例の「手術映像送信装置」1100の構成は、基本的に実施例1の装置の構成と共通する。ただし、本実施例の装置では、「映像情報切出部」1103が「重複切出手段」1109を有する。以下、同手段の構成について説明する。その余の構成は実施例1と同様であるから、説明を省略する。
(映像情報切出部:重複切出手段)
「重複切出手段」は、時間的に隣接するデータユニットに映像情報の一部が重複して含まれるように切り出しを行うように構成されている。
図12は、本実施例における切出映像情報の一例を示す。本図の映像情報は、実施例1で図5に示した切出映像情報と異なり、「データユニット1」の生成のために「フレーム1」から「フレーム15」までの15個フレームが「切出映像情報1」として切り出され、これに続く「データユニット2」の生成のために「フレーム14」から「フレーム28」までの15個フレームが「切出映像情報2」として切り出されており、「フレーム14」と「フレーム15」とが重複して切り出されている。
このように重複して切り出す理由は、後刻改めて再生のためにデータユニットを復号する際に、iピクチャ(フレーム内符号化によって得られる画像)を収納するフレームの前後の関係が崩れないようにするためである。即ち、動画像の取得に際しては、データ量を最小限に抑えるため、元にある映像であるiピクチャとの差分だけをデータとして取得するpピクチャ(フレーム間順方向予測符号化によって得られる画像)やbピクチャ(iピクチャとpピクチャの間に双方向予測符号化によって得られる画像)として取得することが広く行われているが、例えば、iピクチャが前のデータユニットにのみ収納され、後ろのデータユニットには当該iピクチャとの差分であるpピクチャしか収納されていなければ元の画像を復元することができない。そこで、本実施例のような構成により、隣接するデータユニットに映像情報の重複部分を設け、そこにiピクチャが含まれるように切り出すことで、前後どちらのフレームにおいても元の画像を復元できるようにすることが可能となる。
以上の処理の結果、本実施例において生成されるデータユニットは、時間的に隣接するデータユニットどうしが、映像情報の重複分だけ重複部分を有するように生成されることとなる。後述するように、再生の際にはこの重複部分がなくなるように再生する必要があり、このためにデータユニットの重複部分を特定できるようにする必要があるが、この特定は上述の例に即せば重複するフレーム(フレーム14、フレーム15)によって特定することもできるし、あるいは双方のデータユニットそれぞれの開始時刻と終了時刻に基づいて重複部分の時間帯を特定するようにしてもよい。
(ハードウェア構成)
次に、本実施例の手術映像送信装置のハードウェア構成について説明する。
本実施例の手術映像送信装置の各部のハードウェア構成は実施例1で図9に示したところと同様であるから、図示は省略する。ただし、本実施例の装置では、映像情報切出プログラムが映像情報の切出しを行う際に、時間的に隣接するデータユニットに映像情報の一部が重複して含まれるように切り出しを行うようになっている。このため、データユニットの開始時刻と終了時刻を指定する時刻情報の内容は、映像情報のフレームの一部が重複するように定められるが、切出しの手順自体は実施例1で説明した処理手順と同様であり、映像情報切出プログラムは、上記時刻情報を参照して該当するフレームにかかる映像情報を読み出して、切出映像情報としてメインメモリに格納することとなる。
その余の各部のハードウェア構成は、実施例1と同様であるから、説明を省略する。
<処理の流れ>
本実施例の手術映像送信装置における処理の流れは、図10に示した実施例1の装置における処理の流れと基本的に共通し、その処理手順自体も同様であるから、図示は省略する。ただし、映像情報切出ステップS1003における処理は、本実施例では時間的に隣接するデータユニットに映像情報の一部が重複して含まれるように行われるため、当該処理に利用されるデータユニットの時刻情報の内容が異なることとなる。
その余の処理の流れは、実施例1と同様であるから、説明を省略する。
<効果>
本実施例の発明により、後刻改めて再生のためにデータユニットを復号する際に、iピクチャを収納するフレームの前後の関係が崩れないようにすることが可能となる。
<概要>
本実施例の手術映像送信装置は、基本的に実施例1などの装置と共通する。ただし、本実施例の装置は、送信部の送信が完了したか判断する手段と、その判断結果が完了したとの判断結果である場合に、保持された情報を削除する手段を有する点に特徴がある。
<構成>
(全般)
図13は、本実施例の手術映像送信装置の機能ブロックの一例を示す。本例の「手術映像送信装置」1300の構成は、基本的に実施例1の装置の構成と共通する。ただし、本実施例の装置は、実施例1の構成に加え、「判断部」1310と「削除部」1311を有する。以下、これら各部の構成について説明する。その余の構成は実施例1と同様であるから、説明を省略する。
(判断部)
「判断部」は、送信部の送信が完了したか判断するように構成されている。判断部および次の削除部を設けてかかる判断・削除を行うようにした目的はいくつかある。最も重要な目的は、情報の信頼性を高めることである。即ち、本発明では、取得された映像情報等はデータユニットとして生成した後これを「情報取得中に」送信することにある。そこで、データユニットの送信完了後これを直ちに削除してしまえば、送信装置側には全体の映像情報等が取得されることは一度もなく、受信側で分割して受信したデータユニットから復元して初めて全体の映像情報等が得られることになる。従って、送信側の例えば執刀医などが映像情報等の内容を改ざんできる可能性がほとんどなくなり、訴訟資料などとしての資料の信頼性が格段に高まることになる。
また、付随的な目的として、手術映像送信装置に送信後のデータユニットを残しておいた場合、このデータが漏えいして改ざんなどに利用されたりするおそれがあるので、これを防止することもある。さらに、手術映像送信装置は当該データユニットを送信後も次々に新たな映像情報等を取得することが予測されることから装置のメモリ容量残量を確保することもある。
(削除部)
「削除部」は、判断部での判断結果が完了したとの判断結果である場合に、保持部に保持された情報を削除するように構成されている。
(ハードウェア構成)
次に、本実施例の手術映像送信装置のハードウェア構成について説明する。
図14は本実施例の手術映像送信装置のハードウェア構成の一例を示す概略図である。本実施例の手術映像送信装置のハードウェア構成は基本的に実施例1の装置のハードウェア構成と共通する。ただし、本実施例における判断部と削除部は、「記憶装置(記録媒体)」1401と、「メインメモリ」1402と、「CPU」1403とから構成される。また、記憶装置には予め判断プログラムと削除プログラムが記憶されており、これらのプログラムも例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐する。以下、判断部と削除部に係るハードウェア構成について具体的に説明する。その余の各部のハードウェア構成は、実施例1と同様であるから、説明を省略する。
まず、判断部に係るハードウェア構成について説明する。判断プログラムは、送信部の送信が完了したかどうかの判断を行うところ、この判断は、例えば、送信プログラムがデータユニットの送信を完了した場合に、当該データユニットのIDを含む送信済み情報をメインメモリに格納するようにし、判断プログラムが、メインメモリを検索して当該送信済み情報を検出した場合に送信完了との判断結果をメインメモリに格納するように各プログラムの手順を定めておけばよい。
次に、削除部に係るハードウェア構成について具体的に説明する。削除プログラムは、上記の判断結果を検出して、メインメモリに格納されている当該データユニットに係る情報の削除を行う。
<処理の流れ>
図15は、本実施例の手術映像送信装置における処理の流れの一例を示す図である。本実施例の装置における処理の流れは、基本的に実施例1の装置における処理の流れと共通する。ただし、本実施例では、実施例1の処理の流れに加え、送信が完了したか否かの判断ステップS1511と削除ステップS1512を有する。
送信が完了したか否かの判断ステップS1511において、手術映像送信装置は、送信ステップS1510にての送信が完了したか否か判断を行う。その結果送信が完了したとの判断結果が得られた場合には、削除ステップS1512において、手術映像送信装置は、保持されている情報であって送信が完了した当該データユニットに含まれる情報の削除を行う。
その余の処理の流れは、実施例1と同様であるから、説明を省略する。
<効果>
本実施例の発明により、送信装置側に全体の映像情報等が取得されることが一度もないようにすることで情報の信頼性を高めることが可能となる。また、送信後のデータユニットを残しておいた場合にこのデータが漏えいして改ざんなどに利用されたりするおそれを防止することや、手術映像送信装置のメモリ容量残量を確保することも可能となる。
<概要>
本実施例の手術映像送信装置は、基本的に実施例1などの装置と共通する。ただし、本実施例の装置は、データユニット生成部が、再生順を識別するためのタイムスタンプを生成してデータユニットに組み込む手段を有する点に特徴がある。
<構成>
(全般)
図16は、本実施例の手術映像送信装置の機能ブロックの一例を示す。本例の「手術映像送信装置」1600の構成は、基本的に実施例1の装置の構成と共通する。ただし、本実施例の装置では、「データユニット生成部」1607が「タイムスタンプ生成手段」1612を有する。以下同手段の構成について説明する。その余の構成は、実施例1と同様であるから、説明を省略する。
(データユニット生成部:タイムスタンプ生成手段)
「タイムスタンプ生成手段」は、再生順を識別するためのタイムスタンプを生成してデータユニットに組み込むように構成されている。「タイムスタンプ」は、上述のように再生順を識別するためのものである。つまり、タイプスタンプは、データユニットを送信後再生側で再生のために元の映像情報等に復元する際に、このタイムスタンプに記述されている時刻情報を手掛かりに再生順を識別できるようにするために利用される。既述のように、データユニットの送信順はデータユニットの生成順である必要はなく、また、複数のデータユニットを一度に送信することも可能であることから、特にこのような場合に、タイムスタンプを利用した再生順の識別が有効である。また、後述するようにこのタイムスタンプは改ざんの検出手段としても利用することができる。
図17は、本実施例におけるデータユニットの一例を示す。本例のデータユニットは、ユニット情報の中にタイムスタンプが組み込まれている。このタイムススタンプには再生順を一意的に識別するために時刻情報を示す数字列等が付される。本例ではかかるタイムスタンプとしてデータユニットが生成されたリアルタイム「2008年8月1日13時10分15秒」を示す「20080801131015」1708という数字列が付されている。このタイムスタンプをデータユニットに組み込んで再生側に送信することで、再生側では、このタイムスタンプを手掛かりとして、例えば、相前後して送信された、あるいは同時に送信されたデータユニットのタイムスタンプを時刻順に並べることで再生順を識別することが可能となる。
また、既述のようにユニット情報は暗号化されていることが望ましいので、この場合には、タイムスタンプは改ざんがなされたかどうかを検出するための手掛かりとしても利用可能である。例えば、誰かが、データユニット内の切出映像情報中に含まれるPTSなどの時刻情報を改ざんしたり、同期情報が示す時刻情報を改ざんしたりした場合でも、暗号化されているタイプスタンプの改ざんを阻止することで、当該タイムスタンプに示されている時刻情報からデータユニットに改ざんが加えられていることを検出することが可能である。
なお、本実施例におけるタイムスタンプは、再生順を識別可能なものであれば必ずしもデータユニットのリアルタイムの生成時刻を示すものでなくてもよい。
(ハードウェア構成)
次に、本実施例の手術映像送信装置のハードウェア構成について説明する。
本実施例の手術映像送信装置の各部のハードウェア構成は実施例1で図9に示したところと同様であるから、図示は省略する。ただし、本実施例の装置では、データユニット生成プログラムがデータユニットの生成を行う際に、再生順を識別するためのタイムスタンプを生成してデータユニットに組み込む。このタイムスタンプは例えば図17に示した例のようにデータユニットが生成されたリアルタイムを示す数字列からなる時刻情報である。このため、データユニット生成プログラムは、例えば装置が内蔵する時計機能を利用してタイムスタンプの生成を行う。
その余の各部のハードウェア構成は、実施例1と同様であるから、説明を省略する。
<処理の流れ>
図18は、本実施例の手術映像送信装置における処理の流れの一例を示す図である。本実施例の装置における処理の流れは、基本的に実施例1の装置における処理の流れと共通する。ただし、本実施例では、データユニット生成ステップS1809は、タイムスタンプ生成サブステップS1810と、タイムスタンプ組込サブステップS1811とを有する。
このうちまず、タイムスタンプ生成サブステップS1810において、手術映像送信装置は、再生順を識別するためのタイムスタンプを生成する。
次に、タイムスタンプ組込サブステップS1811において、手術映像送信装置は、前記ステップS1810にて生成したタイムスタンプをデータユニットに組み込む。
その余の処理の流れは、実施例1と同様であるから、説明を省略する。
<効果>
本実施例の発明により、データユニットを送信後再生側で再生のために元の映像情報等に復元する際に、このタイムスタンプに記述されている時刻情報を手掛かりに再生順を識別することが可能となる。またこのタイムスタンプを改ざんの検出手段としても利用することが可能となる。
<概要>
本実施例の手術映像送信装置は、基本的に実施例4の装置と共通する。ただし、本実施例の装置は、データユニット生成部がハッシュ値を生成してデータユニットに組み込むための手段を有する点に特徴がある。
<構成>
図19は、本実施例の手術映像送信装置の機能ブロックの一例を示す。本実施例の「手術映像送信装置」1900の構成は、基本的に実施例4の装置の構成と共通する。ただし、本実施例の装置では、「データユニット生成部」1907が「ハッシュ値手段」1913をさらに有する。以下同手段の構成について説明する。その余の構成は、実施例4と同様であるから、説明を省略する。
(データユニット生成部:ハッシュ値手段)
「ハッシュ値手段」は、データユニットに含まれる情報である映像情報、生体情報、同期情報、タイムスタンプのいずれか一以上をハッシュ関数にて要約した値であるハッシュ値を生成し、データユニットに組み込むための手段である。
ハッシュ関数は、与えられたデータからある一定範囲の数値を生成する一方向関数であり、暗号化や改ざん検出などのために利用可能な技術である。本実施例の目的は、前実施例で説明したタイムスタンプに加えてハッシュ値をも利用することで、改ざんの検出を一層確実に行うことにある。ハッシュ関数自体は公知技術であるため、概念的な説明は省略し、ここでは本実施例において生成されるハッシュ値の具体例について説明する。
図20は、ハッシュ値の一例を示す。ここではハッシュ値がタイムスタンプをハッシュ関数にて要約した値である例を示した。本図に示す例は、タイムスタンプを対象としてハッシュ値を生成する例であり、また、ハッシュ関数でよく用いられている剰余演算によって数値をある一定範囲に制限する形でハッシュ値を生成する例である。本図のタイムスタンプは「20080801131015」であり、ハッシュ値はこれを「1987」で除した場合の剰余数である「978」である。
以上の例のように、タイムスタンプを対象としてハッシュ値を生成する場合には、いったん生成したタイムスタンプに対して改めてこれとは別にハッシュ値を生成するのではなく、実施例4で述べたタイムスタンプの生成処理の中にハッシュ値生成過程を組み込み、はじめからハッシュ値であるタイムスタンプを生成するようにしてもよい。
以上では、簡単のためにごく単純な例で説明したが、ハッシュ関数の選択に当たっては、できるだけハッシュ値の等しい複数のデータが容易に生成されないなど完全ハッシュ関数に近いものとすることが望ましい。このような複雑な関数を用いる場合であっても、本実施例で述べた構成によることで改ざんの検出に必要なハッシュ値の生成を行うことができることに変わりはない。
なお、映像情報を対象としてハッシュ値の生成を行う場合には、映像情報を構成する各フレームごとにハッシュ値を生成するようにすることが望ましい。このようにすることで、多少処理に時間はかかるものの、より改ざんのしにくいデータユニットを得ることができる。
以上のように、本実施例では、ハッシュ値の生成、組込みをデータユニット単位で行うようにした点で、従来のように情報全体についてこれを生成していた方法と比べて異なる特徴がある。はじめに述べたように、従来は手術が終了してからはじめて改ざん検出のためなどの処理を行っていたため、次の手術が始まるまでの間にこれらの処理を終えることが困難であったが、このようにデータユニット単位でハッシュ値の生成、組込みを行うようにすれば、このような問題点の解消が可能となる。
(ハードウェア構成)
次に、本実施例の手術映像送信装置のハードウェア構成について説明する。
本実施例の手術映像送信装置の各部のハードウェア構成は実施例1で図9に示したところと同様であるから、図示は省略する。ただし、本例の装置では、データユニット生成プログラムがデータユニットの生成を行う際に、実施例4で説明したタイムスタンプの生成・組込みに加え、データユニットに含まれる情報である映像情報、生体情報、同期情報、タイムスタンプのいずれか一以上をハッシュ関数にて要約したハッシュ値を生成し、データユニットに組み込む。
具体的には、まずデータユニット生成プログラムは、ハッシュ値生成に利用する映像情報、生体情報、同期情報、タイムスタンプのいずれか一以上を読み出す。また、記憶装置には予めハッシュ関数を定めるテーブルが記憶され、電源投入などによりメインメモリに常駐している。そこで、データユニット生成プログラムは、当該テーブルを参照して、読み出した情報に基づいて演算を行ってハッシュ値を取得し、メインメモリに格納する。次に、データユニット生成プログラムは、メインメモリに格納されている切出映像情報、切出生体情報および同期情報を関連付けたデータユニット情報としてメインメモリに格納する際に、上記処理によって生成したハッシュ値も合わせて同じメモリアドレスに格納する。
その余の各部のハードウェア構成は、実施例1と同様であるから、説明を省略する。
<処理の流れ>
図21は、本実施例の手術映像送信装置における処理の流れの一例を示す図である。本実施例の装置における処理の流れは、基本的に実施例4の装置における処理の流れと共通する。ただし、本実施例では、データユニット生成ステップS2109は、ハッシュ値生成サブステップ2112と、ハッシュ値組込サブステップS2113とをさらに有する。
ハッシュ値生成サブステップS2112において、手術映像送信装置は、データユニットに含まれる情報である映像情報、生体情報、同期情報、タイムスタンプのいずれか一以上をハッシュ関数にて要約した値であるハッシュ値を生成する。
次に、ハッシュ値組込サブステップS2113において、手術映像送信装置は、前記ステップS2112にて生成したハッシュ値をデータユニットに組み込む。
その余の処理の流れは、実施例1と同様であるから、説明を省略する。
<効果>
本実施例の発明により、タイムスタンプに加えてハッシュ値をも利用することで、改ざんの検出を一層確実に行うことが可能となる。
<概要>
本実施例の手術映像送信装置は、基本的に実施例1などの装置と共通する。ただし、本実施例の装置は、送信部が、データユニットをタイムスタンプ順とは無関係に送信する手段を有する点に特徴がある。
<構成>
図22は、本実施例の手術映像送信装置の機能ブロックの一例を示す。本実施例の「手術映像送信装置」2200の構成は、基本的に実施例1の装置の構成と共通する。ただし、本実施例の装置では、「送信部」2208が「ランダム送信手段」2214を有する。以下同手段の構成について説明する。その余の構成は、実施例1と同様であるから、説明を省略する。
(送信部:ランダム送信手段)
「ランダム送信手段」は、データユニットをタイムスタンプ順とは無関係に送信するように構成されている。このようにタイムスタンプ順とは無関係に送信する目的は、情報が漏えいした場合に、これを取得した第三者にデータユニットのタイムスタンプ順がわからないようにするためである。例えば、タイムスタンプが暗号化されていたとしても、これを単純にタイムスタンプ順に送信した場合には、第三者に漏えいした場合に、この取得順序を手掛かりに再生順を推測することも容易となってしまうし、タイムスタンプを改ざんできる蓋然性も相対的に高まることとなる。そこで、本実施例の目的は、タイムスタンプ順とは無関係に送信することで、このようなタイムスタンプの漏えいや改ざんのおそれを減じることにある。前実施例に述べたハッシュ値に加え、さらにこのような手段を講じることで、改ざんの検出の可能性をさらに高め、もって信頼性の高い情報の記録・再生を一層確実に行うことが可能となる。
タイムスタンプ順とは無関係に送信するための具体的構成としては、例えば、手術映像送信装置が記憶装置にルールとして、タンムスタンプ順とこの順序にならないような送信順を対応付けておくことが考えられる。
(ハードウェア構成)
次に、本実施例の手術映像送信装置のハードウェア構成について説明する。
本実施例の手術映像送信装置の各部のハードウェア構成は実施例1で図9に示したところと同様であるから、図示は省略する。ただし、本実施例の装置では、送信プログラムが送信を行う際に、データユニットをタイムスタンプ順とは無関係に送信する。このため、例えば、本装置は記憶装置などに予めタンムスタンプ順とこの順序にならないような送信順を対応付けたテーブルを保持しており、送信プログラムがこのテーブルを参照して、その定める順序に従ってデータユニットを送信すればよい。
その余の各部のハードウェア構成は、実施例1と同様であるから、説明を省略する。
<処理の流れ>
図23は、本実施例の手術映像送信装置における処理の流れの一例を示す。本図に示す処理の流れは基本的に実施例1における処理の流れと共通する。ただし、本例では、送信ステップS2310はランダム送信サブステップS2311を有する。
ランダム送信サブステップS2311において、手術映像送信装置は、データユニットをタイムスタンプ順とは無関係に送信する。
その余の処理の流れは、実施例1と同様であるから、説明を省略する。
<効果>
本実施例の発明により、情報が漏えいした場合に、これを取得した第三者にデータユニットのタイムスタンプ順がわからないようにすることが可能となる。
<概要>
本実施例の手術映像再生装置は、手術映像送信装置から送信されたデータユニットを受信して復号し、重複がなくなるように映像情報を再生することが可能な装置である。
<構成>
図24は、本実施例の手術映像再生装置の機能ブロックの一例を示す。本図に示すように、本実施例の「手術映像再生装置」2450は、「受信部」2451と、「復号部」2452と、「再生部」2453とを有する。
(受信部)
「受信部」は、データユニットを受信するように構成されている。この受信は例えば前実施例までに述べた手術映像送信装置から送信されたデータユニットを受信することにより行われるが、これとは異なる外部装置から送信されたものを受信するものであってもよい。
(復号部)
「復号部」は、受信したデータユニットを復号するように構成されている。復号は典型的にはデータユニットに含まれる符号化された映像情報に係る切出映像情報について行われるが、このほか、符号化された音声情報等が含まれる場合にはこれらについても復号される。
この復号は公知技術を用いて行えばよい。例えば、受信したデータユニットに含まれる切出映像情報の映像信号をデコーダを用いて量子化信号に復号し、低域フィルタ(LPF)を用いてアナログ信号に変換すればよい。また、フレーム間予測符号化によって得られたpピクチャやbピクチャは、符号から差分データに戻した後に、以前の再生画像に加算することにより新たな再生画像に復元すればよい。
なお、データユニットに暗号化されたタイムスタンプが含まれる場合には、この再生順を知るためにこの暗号化されたタイムスタンプを復号する処理が必要となるが、この復号も復号部にかかる復号のための手段を設けて行ってもよいし、他の手段が行ってもよい。
(再生部)
「再生部」は、重複がなくなるようにデータユニット(厳密にはデータユニットに含まれている復号済みの各情報)を再生するように構成されている。ここで「重複がなくなるように」とは、実施例2に述べたように時間的に隣接するデータユニットに映像情報の一部が重複して含まれるように切り出しが行われた場合に、この重複部分をカットして元の映像の通り過不足なく再生することをいう。このための具体的構成を実施例2で用いた図12に示すような重複切出しが行われた場合の例に即して説明すれば以下のとおりである。
図12の例では、「データユニット1」の生成のために「フレーム1」から「フレーム15」までの15個フレームが「切出映像情報1」として切り出され、これに続く「データユニット2」の生成のために「フレーム14」から「フレーム28」までの15個フレームが「切出映像情報2」として切り出されており、「フレーム14」と「フレーム15」とが重複して切り出されていた。再生部は、例えばフレームのヘッダ部分に含まれるフレームの識別情報によってフレームを識別することができ、この場合、「フレーム14」と「フレーム15」が隣接する二つのデータユニットに重複して含まれていることがわかる。そこで、再生部は、前のフレームでフレーム15までを再生した後、次のフレームのうち重複部分であるフレーム14とフレーム15を飛ばしてフレーム16から再生することができる。
あるいは、双方のデータユニットそれぞれの開始時刻と終了時刻に基づいて重複部分の時間帯が特定されている場合には、前のフレームの再生を行った後、次のフレームを前のフレームの再生終了時刻から再生するようにすればよい。
一方、実施例1で述べたような重複部分が生じないような切出しがなされた場合には、そのままデータユニットを順次再生すればよい。
(ハードウェア構成)
次に、本実施例の手術映像再生装置のハードウェア構成について説明する。
図25は本実施例の手術映像再生装置のハードウェア構成の一例を示す概略図である。本例の手術映像再生装置の受信部は、「記憶装置(記録媒体)」2501と、「メインメモリ」2502と、「CPU」2503と、「I/O」2504とから構成される。復号部は、「記憶装置(記録媒体)」と、「メインメモリ」と、「CPU」と、「I/O」と、「I/O」を介して接続される「デコーダ」2505とから構成される。再生部は、「記憶装置(記録媒体)」と、「メインメモリ」と、「CPU」と、「I/O」と、「I/O」を介して接続される「ディスプレイ」2506とから構成される。
これらは「システムバス」2507などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。記憶装置、メインメモリ、CPUの機能は、実施例1で手術映像送信装置のハードウェア構成について述べたところと同様である。また、本実施例の装置でも、CPUで実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。本例では、受信プログラムと、復号プログラムと、再生プログラムが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐する。
次に、各部に係るハードウェア構成について具体的に説明する。まず、受信部に係るハードウェア構成について説明する。受信プログラムは、映像情報送信装置から送信されたデータユニットをI/Oを介して受信して、いったんメインメモリに格納する。この映像情報の受信は、手術映像送信装置からの送信手段に応じて、インターネット、WAN、LANなどのネットワークを利用して行ってもよいし、TV放送などの放送信号に含まれる映像情報を取得するものであってもよい。あるいは、CD、DVD、SDメモリなどのリムーバルな記録媒体を利用して行ってもよい。
次に、復号部に係るハードウェア構成について説明する。復号プログラムは、メインメモリに格納されているデータユニットを読み出し、その中に含まれている符号化映像情報などを復号する。復号は、復号プログラムが例えばI/Oを介して接続されているデコーダなどに対して符号化映像信号を量子化信号に復号し、アナログ信号に変換させるための命令を実行させることで実行可能である。復号済みのデータユニットはメインメモリにいったん格納される。
次に、再生部に係るハードウェア構成について説明する。再生プログラムは、メインメモリに格納されている復号化済みのデータユニットを読み出し、そのユニット情報などに格納されているタイムスタンプやシリアル番号を含むデータユニットIDなどに従い、順次再生する。その際、データユニット間に重複部分がある場合には、上述の構成に従い、重複部分を飛ばして元の映像などがそのまま再現されるように再生を行う。
<処理の流れ>
図26は、本実施例の手術映像再生装置における処理の流れの一例を示す。本図に示すように、まず、受信ステップS2601において、手術映像再生装置は、手術映像送信装置から送信されたデータユニットを受信する。
次に、復号ステップS2602において、手術映像再生装置は、前記ステップS2601にて受信したデータユニットを復号する。
次に、再生ステップS2603において、手術映像再生装置は、前記ステップにて復号済みのデータユニットを重複がなくなるように再生する。
以上の処理を手術映像再生装置は、データユニットの受信、復号がすべて完了して再生すべきデータユニットがなくなるまで繰り返す。
<効果>
本実施例の発明により、手術中の映像や生体データを記録・再生する場合に、未だ手術が終了しない間であっても、送信側で映像などの途中までを記録した段階で当該一部の映像などに関する情報の順次送信を受けて、同期を保った形で再生することができるようになる。
<概要>
本実施例の手術映像再生装置は、基本的に実施例7の装置と共通する。ただし、本実施例の装置は、タイムスタンプ生成手段を有する手術映像送信装置から受信したデータユニットをタイムスタンプ順に再生する手段を有する点に特徴がある。
<構成>
図27は、本実施例の手術映像再生装置の機能ブロックの一例を示す。本実施例の「手術映像再生装置」2750の構成は、基本的に実施例7の装置の構成と共通する。ただし、本実施例の装置では、「再生部」2753が「タイムスタンプ再生手段」2754を有する。以下、同手段の構成について説明する。その余の構成は実施例7と同様であるから、説明を省略する。
(再生部:タイムスタンプ再生手段)
「タイムスタンプ再生手段」は、タイムスタンプ生成手段を有する手術映像送信装置から受信したデータユニットをタイムスタンプ順に再生するように構成されている。
タイムスタンプは、実施例4で説明したように、例えば、データユニットのユニット情報中に、データユニットが生成されたリアルタイム「2008年8月1日13時10分15秒」を示す「20080801131015」という数字列として組み込まれている。そこで、タイムスタンプ再生手段は、各データユニット内に組み込まれているタイムスタンプを取得し、その数値の大小によってタイムスタンプ順を判定できるので、そのタイムススタンプ順に従って再生を行うことができる。既述のように、データユニットはランダムな順序で送信されることもあり、また複数のデータユニットが同時に送信されることもあり得るが、このような場合でも、タイムスタンプ再生手段は、このタイムスタンプを手掛かりとして再生順を識別することが可能となる。
また、タイムスタンプは暗号化されていることが望ましいところ、データユニットに改ざんが加えられた場合に、このタイムスタンプによって改ざんを検出することも可能となる。
(ハードウェア構成)
次に、本実施例の手術映像再生装置のハードウェア構成について説明する。
本実施例の手術映像送信装置の各部のハードウェア構成は実施例7で図25に示したところと同様であるから、図示は省略する。ただし、本例の装置では、再生プログラムが再生を行う際に、受信したデータユニットをタイムスタンプ順に再生する。具体的には、再生プログラムは、メインメモリに格納されている各データユニットのタイムスタンプを読み出し、このタイムスタンプを示す数字列の大小などからタイムスタンプ順を特定し、この順序に従ってI/Oを介して接続されているディスプレイなどを用いて再生を行う。
その余の各部のハードウェア構成は、実施例1と同様であるから、説明を省略する。
<処理の流れ>
図28は、本実施例の手術映像再生装置における処理の流れの一例を示す。本図に示す処理の流れは、基本的に実施例7の装置における処理の流れと共通する。ただし、再生ステップS2803は、タイムスタンプ再生サブステップS2804を有する。
タイムスタンプ再生サブステップS2804において、手術映像再生装置は、受信したデータユニットをタイムスタンプ順に再生する。
その余の処理の流れは、実施例7と同様であるため、説明を省略する。
<効果>
本実施例の発明により、タイムスタンプを手掛かりとして再生順を識別して再生を行うことが可能となり、データユニットがランダムな順序で送信されたり、複数のデータユニットが同時に送信されたりした場合でも、このタイムスタンプによって再生順を識別することが可能となる。また、タイムスタンプは暗号化されていれば、データユニットに改ざんが加えられた場合に、このタイムスタンプによって改ざんを検出することも可能となる。
<概要>
本実施例の手術映像再生装置は、基本的に実施例7などの装置と共通する。ただし、本例の装置は、ハッシュ値生成手段を有する手術映像送信装置から送信されたデータユニットから復号した情報と、そのデータユニットに含まれているハッシュ値とを利用して改ざんの有無を判定する手段をさらに有する点に特徴がある。
<構成>
図29は、本実施例の手術映像再生装置の機能ブロックの一例を示す。本実施例の「手術映像再生装置」2950の構成は、基本的に実施例7などの装置の構成と共通する。ただし、本実施例の装置は「改ざん判定部」2955を有する。以下、同部の構成について説明する。その余の構成は、実施例7などと同様であるから、説明を省略する。
(改ざん判定部)
「改ざん判定部」は、ハッシュ値手段を有する手術映像送信装置から送信されたデータユニットから復号した情報と、そのデータユニットに含まれているハッシュ値とを利用して改ざんの有無を判定するように構成されている。
ハッシュ値は、実施例5で説明したように、データユニットに含まれる映像情報、生体情報、同期情報、タイムスタンプのいずれか一以上をハッシュ関数にて要約した値であり、タイムスタンプを対象として生成される例でいえば、例えば、タイムスタンプである「20080801131015」という数字列から剰余演算によって要約した「978」という値である。そこで、もし第三者によってハッシュ値生成の対象となっている映像情報、生体情報、同期情報またはタイムスタンプ(本例ではタイムスタンプ)に改ざんが加えられた場合には、そこから要約して得られるハッシュ値が元のハッシュ値と異なるものになってしまうので、これによって改ざんを検出することが可能となる。このため、改ざん判定部は、データユニットに含まれるハッシュ値を取得するとともに、ハッシュ値生成の対象となっている情報から改めて所定のハッシュ値生成のルールに基づいてハッシュ値を計算する。このハッシュ値生成のルールはハッシュ値とともにデータユニット中に含めて送信されてもよいし、別途取得してもよい。この計算の結果、二つの値が異なったものである場合には、改ざん判定部は改ざんがなされていると判定する。
(ハードウェア構成)
次に、本実施例の手術映像再生装置のハードウェア構成について説明する。
図30は本実施例の手術映像再生装置のハードウェア構成の一例を示す概略図である。本例の手術映像再生装置のハードウェア構成は基本的に実施例7の装置のハードウェア構成と共通する。ただし、本例の装置は改ざん判定部を有するところ、改ざん判定部は、「記憶装置(記録媒体)」3001と、「メインメモリ」3002と、「CPU」3003とから構成される。また、記憶装置には、改ざん判定プログラムが記憶され、例えば電源投入によりメインメモリに読み出されて常駐する。以下、改ざん判定部のハードウェア構成について説明する。その余の構成は、実施例7と同様であるから、説明を省略する。
改ざん判定プログラムは、メインメモリに格納されているデータユニットからハッシュ値を読み出す。このときハッシュ値生成のルールについても合わせて読みだしてもよいし、当該ルールを例えば予め記憶装置に記憶されているテーブルなどを参照して取得してもよい。また、改ざん判定プログラムは、同じデータユニット内に含まれるハッシュ値生成の対象となっている情報(映像情報など)を取得し、上記ルールを用いてハッシュ値の演算を行う。次に、改ざん判定プログラムは、データユニットから読み出したハッシュ値と上記演算によって得られた値とを比較して、両者が異なっていれば改ざんがなされているとの判定結果を生成する。
<処理の流れ>
図31は、本実施例の手術映像再生装置における改ざん判定にかかる処理の流れの一例を示す。
まず、ハッシュ値の取得ステップS3101において、手術映像再生装置は、データユニットに含まれるハッシュ値を取得する。
次に、ハッシュ値生成対象情報の取得ステップS3102において、手術映像再生装置は、ハッシュ値生成の対象となっている情報(映像情報、生体情報、同期情報、タイムスタンプのいずれか一以上)を取得する。
次に、ハッシュ値生成ルールの取得ステップS3103において、手術映像再生装置は、当該ルールを取得する。
なお、以上の各ステップの順序はどのような順序でなされてもよい。
次に、ハッシュ値の計算ステップS3104において、手術映像再生装置は、前記ステップS3102にて取得した情報に対して前記ステップS3103にて取得したルールを適用してハッシュ値を計算する。
さらに、ハッシュ値が一致するか否かの判断ステップS3105において、手術映像再生装置は、前記ステップS3101にて取得したハッシュ値と、前記ステップS3104にて計算して得られたハッシュ値とを比較して、両者が一致するか否か判断を行う。
この結果、ハッシュ値が一致しないと判断された場合には、手術映像再生装置は、改ざんがなされたとの判定結果を生成し(ステップS3106)、一致すると判断された場合には、手術映像再生装置は、改ざんがなされていないとの判定結果を生成する(ステップS3107)。
<効果>
本実施例の発明により、ハッシュ値を用いてデータユニットに含まれる情報に対して加えられた改ざんを検出することが可能となるので、情報の信頼性をさらに高めることができる。
<概要>
本実施例の手術映像送信再生システムは、実施例1などに述べた手術映像送信装置と、実施例7などに述べた手術映像再生装置とからなる手術映像送信再生システムである。
<構成>
図32は、本実施例の「手術映像送信再生システム」3280の機能ブロックの一例を示す。これは実施例1などで説明した手術映像送信装置の機能ブロックと実施例7などで説明した手術映像再生装置の機能ブロックを組み合わせたものであり、それぞれの構成は各実施例で述べたところと共通するので、説明を省略する。また、ハードウェア構成についても同様である。
<処理の流れ>
本実施例における処理の流れも、実施例1などにおいて説明した手術映像送信装置における処理の流れと、実施例7などで説明した手術映像再生装置における処理の流れとを組み合わせたものであるので、説明を省略する。
<効果>
本実施例の発明により、手術中の映像や生体データを記録・再生する場合に、未だ手術が終了しない間であっても、送信側で映像などの途中までを記録した段階で当該一部の映像などに関する情報を順次再生側に送信し、再生側で同期を保った形で再生することができるようになる。また、一部の映像ずつ順次送信し、受信側でこれを元の形に復元する場合などにこれらの情報が改ざんされた場合にこれを検知できるようにして、信頼性の高い情報の記録・再生を実現することができるようになる。
本発明の手術映像送信装置の概要について説明するための概念図 実施例1の手術映像送信装置の機能ブロックの一例を示す図 映像情報の一例を示す図 生体情報の一例を示す図 切出映像情報の一例を示す図 切出生体情報の一例を示す図 同期情報の一例を示す図 データユニットの一例を示す図 実施例1の手術映像送信装置のハードウェア構成の一例を示す概略図 実施例1の手術映像送信装置における処理の流れの一例を示す図 実施例2の手術映像送信装置の機能ブロックの一例を示す図 実施例2における切出映像情報の一例を示す図 実施例3の手術映像送信装置の機能ブロックの一例を示す図 実施例3の手術映像送信装置のハードウェア構成の一例を示す概略図 実施例3の手術映像送信装置における処理の流れの一例を示す図 実施例4の手術映像送信装置の機能ブロックの一例を示す図 実施例4におけるデータユニットの一例を示す図 実施例4の手術映像送信装置における処理の流れの一例を示す図 実施例5の手術映像送信装置の機能ブロックの一例を示す図 ハッシュ値の一例を示す図 実施例5の手術映像送信装置における処理の流れの一例を示す図 実施例6の手術映像送信装置の機能ブロックの一例を示す図 実施例6の手術映像送信装置における処理の流れの一例を示す図 実施例7の手術映像再生装置の機能ブロックの一例を示す図 実施例7の手術映像再生装置のハードウェア構成の一例を示す概略図 実施例7の手術映像再生装置における処理の流れの一例を示す図 実施例8の手術映像再生装置の機能ブロックの一例を示す図 実施例8の手術映像再生装置における処理の流れの一例を示す図 実施例9の手術映像再生装置の機能ブロックの一例を示す図 実施例9の手術映像再生装置のハードウェア構成の一例を示す概略図 実施例9の手術映像再生装置における改ざん判定にかかる処理の流れの一例を示す図 実施例10の手術映像送信再生システムの機能ブロックの一例を示す図
符号の説明
0101 データユニット1
0102 切出映像情報1‐1
0103 切出映像情報2‐1
0104 切出生体情報‐1
0105 同期情報‐1
0200 手術映像送信装置
0201 映像情報取得部
0202 生体情報取得部
0203 映像情報切出部
0204 生体情報切出部
0205 同期情報生成部
0206 保持部
0207 データユニット生成部
0208 送信部
2450 手術映像再生装置
2451 データユニット受信部
2452 復号部
2453 再生部
3280 手術映像送信再生システム

Claims (11)

  1. 患者の手術中の符号化映像である映像情報を取得するための映像情報取得部と、
    手術中の患者の心拍数などの生体情報を取得するための生体情報取得部と、
    映像情報取得中、映像情報を部分的に切出して切出映像情報とする映像情報切出部と、
    生体情報取得中、生体情報を部分的に切出して切出生体情報とする生体情報切出部と、
    切出映像情報と、切出生体情報との同期再生用の同期情報を生成する同期情報生成部と、
    切出映像情報と、切出生体情報とを保持する保持部と、
    保持された切出映像情報と、保持された切出生体情報と、同期情報とを含み送受信ならびに記録処理単位として扱うデータユニットを生成するデータユニット生成部と、
    データユニットを情報取得中に送信する送信部と、
    を有する手術映像送信装置。
  2. 映像情報切出部は、
    時間的に隣接するデータユニットに映像情報の一部が重複して含まれるように切り出しを行う重複切出手段を有する請求項1に記載の手術映像送信装置。
  3. 送信部の送信が完了したか判断する判断部と、
    判断部での判断結果が完了したとの判断結果である場合に、保持部に保持された情報を削除する削除部と、を有する請求項1または2に記載の手術映像送信装置。
  4. データユニット生成部は、再生順を識別するためのタイムスタンプを生成してデータユニットに組み込むタイムスタンプ生成手段を有する請求項1から3のいずれか一に記載の手術映像送信装置。
  5. データユニット生成部は、データユニットに含まれる情報である映像情報、生体情報、同期情報、タイムスタンプのいずれか一以上をハッシュ関数にて要約した値であるハッシュ値を生成し、データユニットに組み込むためのハッシュ値手段を有する請求項4に記載の手術映像送信装置。
  6. 送信部は、データユニットをタイムスタンプ順とは無関係に送信するランダム送信手段を有する請求項1から5のいずれか一に記載の手術映像送信装置。
  7. データユニットを受信するデータユニット受信部と、
    受信したデータユニットを復号する復号部と、
    重複がなくなるようにデータユニットを再生する再生部と、
    を有する手術映像再生装置。
  8. 再生部は、請求項4、請求項5または請求項4に従属する請求項6に記載の手術映像送信装置から受信したデータユニットをタイムスタンプ順に再生するタイムスタンプ再生手段を有する請求項7に記載の手術映像再生装置。
  9. 請求項5に記載された手術映像送信装置から送信され、データユニットから復号された情報と、そのデータユニットに含まれているハッシュ値とを利用して改ざんの有無を判定する改ざん判定部をさらに有する請求項7または8に記載の手術映像再生装置。
  10. 請求項1から6のいずれか一に記載の手術映像送信装置と、請求項7から9のいずれか一に記載の手術映像再生装置とからなる手術映像送信再生システム。
  11. 患者の手術中の符号化映像である映像情報を取得する映像情報取得ステップと、
    手術中の患者の心拍数などの生体情報を取得する生体情報取得ステップと、
    映像情報取得中、映像情報を部分的に切出して切出映像情報とする映像情報切出ステップと、
    生体情報取得中、生体情報を部分的に切出して切出生体情報とする生体情報切出ステップと、
    切出映像情報と、切出生体情報との同期再生用の同期情報を生成する同期情報生成ステップと、
    切出映像情報と、切出生体情報と、同期情報とを含み送受信ならびに記録処理単位として扱うデータユニットを生成するデータユニット生成ステップと、
    データユニットを情報取得中に送信する送信ステップと、
    を有する手術映像送信方法。
JP2008196076A 2008-07-30 2008-07-30 手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム Pending JP2010029511A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008196076A JP2010029511A (ja) 2008-07-30 2008-07-30 手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008196076A JP2010029511A (ja) 2008-07-30 2008-07-30 手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム

Publications (1)

Publication Number Publication Date
JP2010029511A true JP2010029511A (ja) 2010-02-12

Family

ID=41734712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008196076A Pending JP2010029511A (ja) 2008-07-30 2008-07-30 手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム

Country Status (1)

Country Link
JP (1) JP2010029511A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069293A (ja) * 2011-09-23 2013-04-18 Fujitsu Ltd ハッシュ技法を使用した医療向け二分決定図におけるデータ破壊の検出
JP2022164926A (ja) * 2018-10-06 2022-10-27 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069293A (ja) * 2011-09-23 2013-04-18 Fujitsu Ltd ハッシュ技法を使用した医療向け二分決定図におけるデータ破壊の検出
JP2022164926A (ja) * 2018-10-06 2022-10-27 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
JP2022164927A (ja) * 2018-10-06 2022-10-27 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
JP7437468B2 (ja) 2018-10-06 2024-02-22 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
JP7437467B2 (ja) 2018-10-06 2024-02-22 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム

Similar Documents

Publication Publication Date Title
CN104410807B (zh) 一种多路视频同步回放方法及装置
US7139470B2 (en) Navigation for MPEG streams
JP4168837B2 (ja) 情報生成装置、記録装置、再生装置、記録再生システムおよびその方法ならびにプログラム
TWI287398B (en) Recorder, player, and recording medium for displaying image, and methods therefor
US20100278229A1 (en) System for random access to content
WO2004028155A3 (en) Streaming digital recording system
JP2003134435A (ja) 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
JP2004350251A (ja) 記録方法、記録装置、記録媒体、再生方法、再生装置および撮像装置
JP2011036372A (ja) 医療画像記録装置
KR20040060767A (ko) 기록 방법, 기록 장치, 기록 매체, 재생 방법, 재생 장치및 촬상 장치
JP6145748B2 (ja) 映像再生装置および映像記録装置
JP2010029511A (ja) 手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム
WO2000027113A1 (fr) Appareil et procede d&#39;enregistrement et de reproduction
JP2008136759A (ja) 動画記録再生装置
JP3529679B2 (ja) 記録再生装置
JP2009010839A (ja) 画像データ再生装置および画像データ再生方法
JP2006245744A (ja) 映像信号記録装置、情報記録媒体および映像信号再生装置
JP2006303611A (ja) 映像処理装置,映像処理方法,およびコンピュータプログラム
KR101455391B1 (ko) 디지털 비디오 레코더에서의 다수 채널 데이터 재생장치 및방법
JP2004080094A (ja) 情報処理装置及び情報処理方法並びにプログラム及びコンピュータ読み取り可能な記録媒体
JPWO2004028157A1 (ja) データ記録方法、データ再生方法、データ記録装置、データ再生装置、データ記録媒体、プログラム、およびそのプログラムを格納した記録媒体
JP2005020351A (ja) サムネイル画像作成機能付きビデオ再生装置及びサムネイル画像記録媒体
JP2006180315A (ja) 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法
JP3828850B2 (ja) データストリーム記録装置、データストリーム記録方法及びプログラム
JP2013258655A (ja) 情報処理装置、動画生成装置、制御方法、プログラム、及び修復方法、