JP2014229972A - 医療用撮像記録装置 - Google Patents

医療用撮像記録装置 Download PDF

Info

Publication number
JP2014229972A
JP2014229972A JP2013106011A JP2013106011A JP2014229972A JP 2014229972 A JP2014229972 A JP 2014229972A JP 2013106011 A JP2013106011 A JP 2013106011A JP 2013106011 A JP2013106011 A JP 2013106011A JP 2014229972 A JP2014229972 A JP 2014229972A
Authority
JP
Japan
Prior art keywords
imaging
unit
movement
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013106011A
Other languages
English (en)
Other versions
JP5411380B1 (ja
Inventor
中村　正一
Shoichi Nakamura
正一 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ACP Japan Co Ltd
Original Assignee
ACP Japan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013106011A priority Critical patent/JP5411380B1/ja
Application filed by ACP Japan Co Ltd filed Critical ACP Japan Co Ltd
Publication of JP5411380B1 publication Critical patent/JP5411380B1/ja
Application granted granted Critical
Priority to US14/892,010 priority patent/US10057547B2/en
Priority to US14/892,032 priority patent/US9866756B2/en
Priority to US14/891,993 priority patent/US9516230B2/en
Priority to PCT/JP2014/060771 priority patent/WO2014188820A1/ja
Priority to PCT/JP2014/060772 priority patent/WO2014188821A1/ja
Priority to PCT/JP2014/060770 priority patent/WO2014188819A1/ja
Publication of JP2014229972A publication Critical patent/JP2014229972A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B90/53—Supports for surgical instruments, e.g. articulated arms connected to the surgeon's body, e.g. by a belt
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00734—Aspects not otherwise provided for battery operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Abstract

【課題】撮像装置の画像が施術の処理に直接関係しない画像を捉えたときこの画像を記録装置には記録しない医療用撮像記録装置の提供を目的とする。【解決手段】光学レンズ２と、光学レンズ２を通して被写体から導入される光を光電変換して画像信号を生成する撮像素子３とを有する撮像装置１はオペレーターの身体に装着される。撮像制御部１０ａは、撮像信号を処理して動画を形成する１フレームごとに生成される画像データを表示部１３に表示する。記録制御部１０ｅは、メモリカード９にこの画像データを記録する。そして、加速度センサ３が出力する角速度に基づいて、移動検出部１０ｂによって算出される移動量が予め設定した範囲内の場合には、手ブレ補正部１０ｃはブレ補正を行い、移動量が前記範囲の上限を超える場合には、記録制御部１０ｅは画像データのメモリカード９への記録を中止する。【選択図】図１

Description

本発明は、医療施術の際の施術内容を撮影して記録する医療用撮像記録装置に関する。
作業を行う作業者の身体に、ＣＣＤ型やＣＭＯＳ型の撮像素子を備えたデジタル・ビデオ・カメラ等の撮像装置を装着して、作業の様子を動画によって撮影することが一般に行われている。
特に、医療施術の分野においては、オペレーターによって行われる施術対象箇所への手術内容を動画で撮影して画像を記録として残しておけば、施術後に手術内容を施術対象者や家族に対して行う際の説明の資料や、学会又は医学教育用の資料として使用することができ利用価値が高い。
このような要望から、施術時にオペレーターが頭部や顔に着用する双眼ルーペやヘッドバンドに撮像装置を取り付けて、オペレーターが凝視する施術対象箇所を撮像装置によって撮像する医療用撮像装置が知られている（例えば、特許文献１及び特許文献２を参照）。
しかし、撮像装置によって撮像範囲に含まれる被写体を撮影する際、いわゆる「手ブレ」の問題がある。ここで言う「手ブレ」とは、医療施術時にオペレーターの身体や頭部の動きにより撮像装置が揺れて映像にブレを生じることを意味している。医療施術のような精緻な作業では細かい手の動きによる小刻みな動作を伴い、オペレーターの身体に装着されている撮像装置はシャッターが開いている間に動かされると、映像にブレを生じて映像が不鮮明となる。
こうした「手ブレ」を抑制するには、デジタルカメラにおいては、加速度センサを用いたり、或いは動画の連続する２フレームの画像ずれを検出することにより手ブレ情報を取得して、画像データに補正を加えて「手ブレ」を修正することが知られている（例えば、特許文献３を参照）。
特開２００３−２０４９７２号公報 特開２００９−９８５７０号公報 特開２００９−７７２６５号公報
しかしながら、オペレーターが凝視している被写体を撮影するためにオペレーターの頭部や顔に装着される撮像装置にあっては「手ブレ」だけでなく、施術中に施術補助者に指示等を与えたり、或いは長い医療施術時間中にリラックスするために身体を軽く動かしたりして顔の向きが施術対象箇所から離れると、撮像装置は施術対象箇所以外を撮影してしまい記録映像としては不適格なものとなる。この場合、オペレーターが施術の中断の都度、動画撮影のレリーズスイッチを操作するのは煩わしく、また手や指先には患者の血や体液が付着しているために操作するのも困難である。
上記課題に鑑み、撮像装置による撮影の向きが移動して画像が被写体（施術対象箇所）から離れるような場合には、その部分の撮像画像の記録を停止することで、良好な記録映像を保存しておくことができる医療用撮像記録装置の提供を目的としている。
上記課題を解決するために、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、前記撮像装置の移動を検知する加速度センサと、前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する移動検出部と、前記移動量が予め設定した範囲内の場合は前記移動量に応じた移動による前記動画のブレを打ち消すよう制御する手ブレ補正部と、前記移動量が前記範囲の上限を超える場合は前記情報記録部への前記画像データの記録の中止を制御する記録制御部と、を備える。これにより、施術に直接関係しない画像は記録されないため、有効な記録映像のみを保存しておくことができる。
このとき、前記移動検出部は、前記加速度センサからの前記角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に前記移動量を算出するとよい。
そして、前記撮像制御部は、前記移動量が前記範囲の上限を超える場合は前記動画の表示を停止する。この場合、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置くとよい。
また、前記撮像制御部は、前記動画の表示を停止した後は、前記移動が前記範囲の上限以上となる前の前記画像データを静止画で表示するよう制御する。この場合、前記撮像制御部は、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置いて、前記静止画を表示する制御を行うとよい。
そして、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する角速度を検出すると、前記記録制御部は、前記情報記録部による前記画像データの記録の再開を制御し、前記撮像制御部は、前記動画の表示の再開を制御する。
このとき、前記被写体に光を照射する照光部を備えて、前記照光部は、前記移動量が前記範囲の上限を超えたとき照光を停止又は照度を低下させる。これにより、撮像装置の撮影対象が施術対象箇所から大きく変動したときは照光部の照光が抑制されて、エネルギーを無駄に消費することが防止できる。
一方、前記移動量が前記範囲内の場合、前記手ブレ補正部は、前記移動量に応じて前記光学レンズに組み込まれた補正レンズを動かして光軸を調整し、又は前記移動量に応じて前記撮像素子を移動させることで光学的に「手ブレ」を補正する。
本発明による医療用撮像記録装置は、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから前記撮像装置の移動量を算出する移動検出部と、前記移動量が予め設定した範囲内の場合は前記移動量に応じた移動による前記動画のずれを補正する手ブレ補正部と、前記移動量が予め設定した範囲の上限を超える場合は前記情報記録部への前記画像データの記録の中止を制御する記録制御部と、を備える。これにより、画像認識によって撮像装置による撮影の向きの変動を検出して、前記画像データの記録を中止することができる。
このとき、前記撮像制御部は、前記移動量が前記範囲の上限を超える場合は前記動画の表示を停止する。この場合、前記移動量が前記範囲の上限を超えたことを前記移動検出部が検出してから所定のタイムラグの期間を置くとよい。
また、前記撮像制御部は、前記動画の表示を停止した後は、前記移動が前記範囲の上限を超える前の前記画像データを静止画で表示するよう制御する。この場合、前記撮像制御部は、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置いて、前記静止画を表示する制御を行うとよい。
そして、前記移動量が前記範囲の上限を超えた後に、前記移動検出部が検出する主要被写体が前記範囲の上限を超える前の前記主要被写体に近似したとき、前記記録制御部は、前記情報記録部による前記画像データの記録の再開を制御し、前記撮像制御部は、前記動画の表示の再開を制御する。
一方、前記移動量が前記範囲内の場合は手ブレとして、手ブレ補正部によって、連続又は近接している複数のフレームの前記画像データを合成して補正画像データを生成する。
本発明による医療用撮像記録装置は、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、前記撮像装置の移動を検知する加速度センサと、前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する第１の移動検出部と、前記第１の移動検出部が算出する移動量に応じた移動による前記動画のブレを打ち消すよう制御する手ブレ補正部と、連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから移動量を算出する第２の移動検出部と、前記第２の移動検出部が算出する移動量が予め設定した閾値以上となると前記画像データの記録の中止を制御する記録制御部と、を備える。
本発明による医療用撮像記録装置は、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、前記撮像装置の移動を検知する加速度センサと、前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する第１の移動検出部と、前記第１の移動検出部が算出する移動量が閾値以上となると前記画像データの記録の中止を制御する記録制御部と、連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから移動量を算出する第２の移動検出部と、前記第２の移動検出部が算出する移動量が予め設定した閾値以上であるとき、連続又は近接しているフレーム前記画像データを合成して補正画像データを生成する手ブレ補正部と、を備える。
本発明による医療用撮像記録装置は、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、前記撮像装置の移動を検知する加速度センサと、前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する移動検出部と、前記移動量が閾値以上の場合は前記移動量に応じた移動による前記動画のブレを打ち消すよう制御して前記画像データを補正する手ブレ補正部と、再生時に前記情報記録部が記憶している画像データを読み出して表示部に表示する再生制御部と、前記再生制御部が読み出した連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから当該主要被写体のずれ量を検出する画像ずれ検出部と、を備え、前記再生制御部は、前記ずれ量が予め設定した閾値以上であると以後から前記情報記録部から読み出す前記画像データの表示を中止して、前記ずれ量が前記閾値以上となる前の画像データを静止画で前記表示部に表示すると共に、その間、前記再生制御部は、前記再生制御部が読み出す前記画像データの前記主要被写体を認識し、認識した前記主要被写体が前記ずれ量が前記閾値以上となる前の前記主要被写体に近似していると、前記再生制御部は、前記情報記録部から読み出す前記画像データの前記表示部での表示を再開する。これにより、撮像時においては、主要被写体の変動に応じて情報記録部への記録を停止せずに、再生時に必要な施術対象箇所のみを表示することができる。
本発明による医療用撮像記録装置によれば、撮像装置が施術の処理に直接関係しない画像を捉えたときにはこの画像が記録装置に記録されないために、オペレーターはその都度撮像装置による撮影をオフさせる必要がなく、オペレーターの身体に撮像装置を装着するだけで施術の有効な記録を保存しておくことができる。
本発明の第１及び第２の実施形態に係る医療用撮像記録装置の電気回路をブロックによって示す図。 撮像装置と照光部を備えた双眼ルーペの説明図。 撮像装置と照光部を備えたヘッドバンドの説明図。 本発明の実施形態に係る医療用撮像記録装置をオペレーターに装着した例を示す説明図。 本発明の実施形態に係る医療用撮像記録装置のコントロールユニットを示す説明図。 本発明の第３の実施形態に係る医療用撮像記録装置の電気回路をブロックによって示す図。 （ａ）は本発明の第１及び第２の実施形態に係る医療用撮像記録装置において１フレーム毎の画像を模式的に示す説明図、（ｂ）はメモリカードに記録される画像データを模式的に示す説明図。 図７に引き続いて、（ａ）は本発明の第１及び第２の実施形態に係る医療用撮像記録装置において１フレーム毎の画像を模式的に示す説明図、（ｂ）はメモリカードに記録される画像データを模式的に示す説明図。 （ａ）は本発明の第３の実施形態に係る医療用撮像記録装置において１フレーム毎の画像を模式的に示す説明図、（ｂ）はＲＡＭに記憶される画像データを模式的に示す説明図、（ｃ）はメモリカードに記録される画像データを模式的に示す説明図。 図９に引き続いて、（ａ）は本発明の第３の実施形態に係る医療用撮像記録装置において１フレーム毎の画像を模式的に示す説明図、（ｂ）はＲＡＭに記憶される画像データを模式的に示す説明図、（ｃ）はメモリカードに記録される画像データを模式的に示す説明図。 本発明の第４の実施形態に係る医療用撮像記録装置の電気回路をブロックによって示す図。
以下、本発明の最適な実施形態について図面を参照しながら説明する。
［第１の実施形態］
図１は、第１の実施形態での本発明に係る医療用撮像記録装置の概略構成をブロック図により示している。
撮像装置１は動画を撮像するデジタル・ビデオ・カメラであり、撮像時に被写体からの光を入射させる光学レンズ２と、光学レンズ２を通しての被写体からの反射光をアナログの電気信号に光電変換して画像信号を生成するＣＣＤやＣＭＯＳによる撮像素子３と、加速度センサ４と、撮像素子変位機構５と、レンズ調整機構６とを有する。
加速度センサ４は「手ブレ」を検出するもので、例えば、３軸タイプのものが使用されて、互いに直交するＸ・Ｙ・Ｚの３軸方向の角速度を検出し、検出した信号をＡ／Ｄ変換等の処理を行ってＣＰＵ１０に出力する。
撮像素子変位機構５は、後述する移動検出部１０ｂによって算出された撮像装置１の移動量に基づいて撮像素子３を移動させることにより、「手ブレ」による映像の乱れを防止する。
レンズ調整機構６は、ピント合わせ及びズーミングを行うために、内蔵している駆動モータにより光学レンズ２を移動させる。なお、図示しないが、光学レンズ２は絞り機構を備えており、この駆動モータの駆動により絞りを調節することで、撮像素子３に入射する被写体光の強度を調節する。
信号処理部７は、撮像素子３から入力される画像信号を増幅し、デジタル信号に変換してＣＰＵ１０に出力する。本実施形態による医療用撮像記録装置では、例えば３０フレーム／秒で被写体の動画撮像を行うために、信号処理部７は１フレームごとの画像データを生成してＣＰＵ１０に出力する。この１フレームごとの画像データを生成する機能はＣＰＵ１０に持たせて構成してもよい。
操作部８は、撮像装置１への電源供給をオン／オフするための電源スイッチ、動画撮影を指示するレリーズスイッチ及び光学レンズ２のズーム操作を行うズームスイッチなどから構成される。
情報記録部として利用するメモリカード９は、インターフェース９ａを介して、ＣＰＵ１０から送られる動画の画像ファイルを記録すると共に、記録している画像ファイルをＣＰＵ１０に読み出す。この画像ファイルは、Ｍｏｔｉｏｎ ＪＰＥＧ形式で記録するもので、１フレーム毎の画像をＪＰＥＧ圧縮したものが連続してまとめられる。情報記録部は、メモリカード以外にも種々のディスクタイプやメモリタイプ等の各種の記録メディアが使用できる。
表示部１３は、液晶又は有機ＥＬによって構成される表示パネル１３ａ（図５）を備えて、撮像装置１が撮影した動画を表示する。また、表示部１３は、メモリカード９に保存した画像ファイルの動画を再生表示するのにも用いられる。
照光部１５は、施術対象箇所（被写体）の明るさを確保するために用いられ、例えば、それぞれ各色で発光する複数のＬＥＤ素子によって構成されており、照光駆動部１４から駆動電源が供給される。この場合、目に有害とされる４００ｎｍ乃至５００ｎｍの帯域の青色ＬＥＤ素子は避けるのが好ましい。
ＲＡＭ１２は、例えば高速でのデータの読み出しと書き込みが可能なＳＤＲＡＭであり、信号処理部７から出力される画像データやＣＰＵによる処理中のデータが一時的に記録される。
ＣＰＵ１０は、ＲＯＭ１１に書き込まれている制御プログラムや種々の設定データ、及び操作部８の各種スイッチの操作に基づき医療用撮像記録装置の動作を制御する。したがって、ＣＰＵ１０は、この制御プログラムを実行することで、撮像制御部１０ａ、光学レンズ２又は撮像素子３の移動量を算出する移動検出部１０ｂ、手ブレ補正部１０ｃ、圧縮伸長処理部１０ｄ、記録制御部１０ｅ、再生制御部１０ｆ及び照光制御部１０ｇ等として機能する。
ここで、ＣＰＵ１０によるこの各制御機能について説明する。
撮像制御部１０ａは、操作部８でのスイッチ操作に基づき、レンズ調整機構６に含まれるモータの駆動を制御することで、オートフォーカス処理、ズーム処理及び露出調整処理を行って撮像装置１による被写体の動画撮影を制御する。また、撮像制御部１０ａは、信号処理部７から送られてくる１フレーム毎の画像データにホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。
移動検出部１０ｂは、加速度センサ４から出力されるＸ・Ｙ・Ｚの加速度成分から、撮像装置１の左右方向（Ｘ方向）、上下方向（Ｙ方向）及び前後方向（Ｚ方向）の移動量を算出する。
手ブレ補正部１０ｃは、移動検出部１０ｂが算出した移動量に基づいて撮像素子変位機構５を動作して手ブレを補正する制御を行う。
圧縮伸長処理部１０ｄは、ＲＡＭ１２に取り込まれた画像データを１フレーム毎にＪＰＥＧ圧縮を行って、メモリカード９に記録するための動画の画像ファイルを生成する。また、圧縮伸長処理部１０ｄは、メモリカード９に記録された画像ファイルの動画の再生時には、圧縮画像データを伸長処理する。
記録制御部１０ｅは、１フレーム毎にＪＰＥＧ圧縮を行った画像データのメモリカード９への書き込みを制御する。
再生制御部１０ｆは、メモリカード９に保存した画像を読み出して表示部１３に表示する。
照光制御部１０ｇは、照光駆動部１４に制御信号を出力して照光部１５への駆動電源の供給およびその電流量を制御する。
次に、撮像装置１をオペレーターの身体に装着する実施例について説明する。図２に示す例では、オペレーターが施術時に顔面に掛ける双眼ルーペ２０に撮像装置１と被写体を照らす照光部１５とを取り付けている。このような双眼ルーペ２０以外にも、帽子やヘッドバンドであっても良い。図３はヘッドバンド２１に撮像装置１と照光部１５とを取り付けている。このヘッドバンド２１は樹脂部材で構成されており、オペレーターの頭部にその弾性により保持して固定される。ヘッドバンド２１はこのような構成に限らず、また材質も布やゴム等による種々な形態がある。
また、オペレーターは、図４及び図５に示すように腰にバッテリー保持ベルト２２を巻いて、このバッテリー保持ベルト２２によって本医療用撮像記録装置の動作電源となるバッテリー電源を保持している。バッテリー電源は互いに接続された複数の充電式のバッテリー１６で構成されて、バッテリー保持ベルト２２は、このバッテリー１６を着脱自在に差し込むための装着部２８を備えている。さらに、バッテリー保持ベルト２２には、これらバッテリー１６と共にコントロールユニット２４が装着されていて、バッテリー１６は、コントロールユニット２４に繋がっている。
コントロールユニット２４のユニットケースの表面には、操作部８と表示部１３の液晶又は有機ＬＥによる表示パネル１３ａが配置されている。表示パネル１３ａは撮影画像のモニター画面として用いられるが、施術補助者等の周囲の人にも施術の様子がモニターできるように別の表示パネル１３ｂを設けている。この場合、コントロールユニット２４から表示パネル１３ａに無線により画像データの信号を送るようにすれば、オペレーターの施術時における行動の自由度を確保できる。
また、撮像装置１にＷｉ−Ｆｉによるネットワーク・カメラを使用すれば、インターネットを通じて表示パネル１３ｂを備えた端末装置に映像を配信することでモニタリングができる。このとき、この端末装置は、ＷＥＢブラウザでネットワーク・カメラのＵＲＬを指定することで、施術の状況をリアルタイムでインターネットを通じて、ネットワーク・カメラの撮影画像を取り込むことができる。このように無線ＬＡＮを使用すれば、施術を行う現場以外のいろいろな場所での端末装置においてもリアルタイムで施術のモニタリングができる利点がある。
そして、このユニットケースの側面には、メモリカード９が着雑自在に装填されるスロット３０が形成されている。そして、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２、信号処理部７及び表示部１３が実装される制御基板は、ユニットケース内に収納されている。
また、コントロールユニット２４から撮像装置１及び照光部１５へ駆動電流を供給する電源コード、ＣＰＵ１０から撮像素子変位機構５やレンズ調整機構６にそれぞれ出力する制御信号の信号線及び加速度センサ４からＣＰＵ１０への入力信号線が束になってケーブルハーネス２５にまとめられている。
コントロールユニット２４は、コンセント２７にプラグが差し込まれる充電器２６を接続すれば、バッテリー１６への充電を行いながら撮像装置１による撮影動作と照光部１５による照光動作を行うことができ、長時間の施術においても撮影を行うことができる。
上記の医療用撮像記録装置の動作について説明する。コントロールユニット２４の操作部８を操作して、医療用撮像記録装置の電源をオンにすると、ＣＰＵ１０はＲＯＭ１１の制御プログラムをロードして医療用撮像記録装置の動作が開始される。このとき、オペレーターが被写体である施術対象箇所に顔を向けると、撮像制御部１０ａは、被写体に対するオートフォーカス処理及び露出調整処理を行うと共に、操作部８のズームスイッチが操作されたときは、これに応じて光学レンズ２のズームを調整する。また、照光制御部１０ｇは、照光駆動部１４を制御して通常の明るさを確保できる駆動電流を照光部１５に流して点灯させる。
そして、操作部８のレリーズスイッチの操作により、撮像制御部１０ａは動画撮影を開始する。撮像制御部１０ａは、信号処理部７から１フレーム毎の画像データを順次取り込んでＲＡＭ１２に記憶し、記憶した画像データにそれぞれホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。そして、撮像制御部１０ａは、ＲＡＭ１２に記憶している画像処理した画像データを順次読み出して表示部１３に出力し、表示部１３では動画が表示される。前述したように、信号処理部７の１フレーム毎の画像データを順次生成する機能を、ＣＰＵ１０がＲＯＭ１１の制御プログラムを実行することで行うようにしてもよい。
一方、圧縮伸長処理部１０ｄは、ＲＡＭ１２に記憶されている画像処理後の画像データにＪＰＥＧ圧縮を行う。圧縮画像データは、メモリカード９に送られて動画の画像ファイルに記録される。
図７（ａ）及び図８（ａ）は、オペレーターが施術を行うときに、前述の双眼ルーペ２０やヘッドバンド２１により頭部に装着された撮像装置１が撮影する画像の画像信号を信号処理部７に出力したとき、撮像制御部１０ａが信号処理部７から１フレーム毎に取り込む画像データによる画像を模式的に示している。撮像制御部１０ａは、撮像装置１によって動画を撮影するために、実際には３０フレーム／秒で画像データを取り込んでいるが、説明の便宜上、図７（ａ）及び図８（ａ）では簡略化して一連の施術中の代表的なフレームの画像だけを例示している。
撮像制御部１０ａは、信号処理部７から取り込む各フレームの画像データをそのままＲＡＭ１２に記憶して、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。そして、撮像制御部１０ａは、ＲＡＭ１２が記憶している画像処理後の画像データを順次読み出して表示部１３に出力し、表示部１３に動画が表示される。
一方、圧縮伸長処理部１０ｄは、ＲＡＭ１２に順次記憶された画像データ毎にＪＰＥＧ圧縮を行う。圧縮画像データは、メモリカード９に送られて画像ファイルに記録される。図７（ｂ）及び図８（ｂ）は、メモリカード９に記録される画像データを模式的に示している。
このような動画の撮影中に、オペレーターの頭部が動くのを加速度センサ４が検出すると、移動検出部１０ｂは、加速度センサ４から出力されるＸ・Ｙ・Ｚの角速度から、撮像装置１の左右方向（Ｘ方向）、上下方向（Ｙ方向）及び前後方向（Ｚ方向）の移動量を算出する。加速度センサ４が角速度を検知して出力する信号のエッジ部分にはリンギングやオーバーシュート/アンダーシュートなどのひずみが生じている。よって、移動検出部１０ｂは、角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に撮像装置１の移動量を算出する。
そして、移動検出部１０ｂは、算出した移動量の値が予め設定した範囲内にあるかを判定する。この範囲は、加速度センサ４が検出したブレが撮影画像の品質に影響を与えない程度の移動と判断する閾値を下限として、撮像装置１による撮影の向きが被写体（施術対象箇所）から大きく移動したと判断する閾値を上限としている。よって、移動検出部１０ｂは、算出した移動量の値が予め設定した範囲内にあるときは「手ブレ」と判断する。以下、この範囲を「手ブレ検出範囲」という。
移動検出部１０ｂは、算出した移動量の値が「手ブレ検出範囲」にって「手ブレ」と判断すると、移動検出部１０ｂは、このとき移動検出部１０ｂが算出した移動量に基づいて、そのブレを打ち消す方向に撮像素子３を移動させるように撮像素子変位機構５を制御する。例えば、撮像装置１が右方向にブレを生じているとすると、手ブレ補正部１０ｃは撮像素子変位機構５に対し、撮像素子３を左方向に移動量分だけ動かす制御を行うことで、信号処理部７は「手ブレ」が生じていないときと同様な画像データを生成することができる。よって、信号処理部７が撮像制御部１０ａに出力する各フレームでの画像データは「手ブレ」が補正された状態となっている。なお、「手ブレ」を機構的に補正するには、光学レンズ２に補正レンズを組み込み、撮像装置１が移動した分、ブレを打ち消す方向に補正レンズを動かすことで光軸を補正する手ブレ補正機構を用いてもよい。
こうした撮像装置１の撮像中において、例えば、オペレーターが施術補助者に指示を与えるために、施術を中断して補助者に顔を向けたとすると、撮像装置１は補助者の画像を捉えて、撮像制御部１０ａは信号処理部７から画像Ｆ４のフレームを取り込むことになる。しかし、このように被写体が急激に切り替わると、加速度センサ４が撮像装置１による撮影の向きが移動したことを検出して出力する角速度は大きな値を示す。よって、移動検出部１０ｂは、算出する移動量が「手ブレ検出範囲」の上限よりも大きな値となるため、撮像装置１による撮影の向きが施術対象箇所から移動して施術が中断したものと判断する。
これにより、記録制御部１０ｅは、圧縮伸長処理部１０ｄが圧縮処理した画像をメモリカード９へ書き込むのを禁止する。したがって、図７（ａ）の画像Ｆ４は、図７（ｂ）で示すようにメモリカード９には記録されない。
このとき、撮像制御部１０ａは、移動検出部１０ｂが算出する移動量の値が「手ブレ検出範囲」の上限以上の場合であっても、信号処理部７からの１フレーム毎の画像データのＲＡＭ１２への取り込みと、取り込んだ画像データに対するホワイトバランス調整等の画像処理を継続して行えば、施術が中断された状態でも撮像装置１による撮影画像は表示部１３で表示されてモニターすることができる。
一方、移動検出部１０ｂが撮像装置１による撮影の向きが施術対象箇所から移動したと判断したとき、撮像制御部１０ａは、信号処理部７からの１フレーム毎の画像データのＲＡＭ１２への取り込みと、取り込んだ画像データに対するホワイトバランス調整等の画像処理を中止することで、施術対象箇所以外の撮影画像は表示部１３で表示しないようにしてもよい。このとき、撮像制御部１０ａは、撮像装置１が施術対象箇所以外を撮影している間においては、撮像装置１が撮影したその直前の施術対象箇所の撮影画像Ｆ３を静止画によって表示部１３に表示しておけば表示がブランクとならず、表示部１３を見る人は画像が変わったことで奇異に感じることがない。
また、移動検出部１０ｂが撮像装置１による撮影の向きが施術対象箇所から移動したと判断したとき、照光制御部１０ｇは照光駆動部１４を制御して、照光部１５への通電を停止するか、又は供給する電流量を低下させる。これにより、施術が中断しているときの照明によるバッテリー１６の消耗を防ぐことができる。
そして、オペレーターが施術対象箇所に再び顔を向けると、加速度センサ４が撮像装置１の施術対象箇所の方向へ移動する角速度を検出するため、移動検出部１０ｂは施術が再開されたと判断する。これにより、施術再開後の画像Ｆ５以降の各画像は圧縮伸長処理部１０ｄによって圧縮処理されて、圧縮画像データは、記録制御部１０ｅによってメモリカード９に順次記録される。したがって、メモリカード９には、オペレーターが行う施術の様子だけが動画の画像ファイルに記録されることになる。また、照光制御部１０ｇは照光駆動部１４を制御して、照光部１５への通電を再開又は供給電流を通常の電流量に戻す。
撮像制御部１０ａが、上記したように、移動検出部１０ｂが撮像装置１による撮影の向きが施術対象箇所から移動したと判断してから、そのまま撮像装置１が撮影したリアルタイムの画像を表示部１３に継続して表示、又は撮像装置１が撮影したその直前の施術対象箇所の撮影画像Ｆ３を静止画で表示するが、何れの表示を行う場合も所定のタイムラグの期間を設けるとよい。
例えば０．２秒から０．５秒のタイムラグの期間を設けることで、オペレーターが手術の中断を意図しておらず、施術対象箇所から一瞬顔を背けてまた直ぐに施術対象箇所に顔を向けるような動きをしたときは、撮像装置１がそのごく短い時間に捉えた施術対象箇所以外の画像が表示部１３に表示されてしまうという、不自然さが解消される。
同様に、記録制御部１０ｅも移動検出部１０ｂが撮像装置１による撮影の向きが施術対象箇所から移動したと判断してから上記のタイムラグの期間を置いてメモリカード９へ書き込みを行うことで、オペレーターが施術対象箇所から一瞬顔を背けたときに撮像装置１が捉えた画像が記録されるのを防止することができる。また、照光制御部１０ｇも移動検出部１０ｂが撮像装置１による撮影の向きが施術対象箇所から移動したと判断してから上記のタイムラグの期間を置いて、照光部１５への通電を停止するか、又は供給する電流量を低下させるよう照光駆動部１４を制御するとよい。
次に、オペレーターが施術中に天井のライトに顔を向けたとすると、撮像装置１は画像Ｆ６（図８（ａ））を捉えることになる。この画像Ｆ６は撮像制御部１０ａによってＲＡＭ１２に記憶されるが、この場合も加速度センサ４が検出する角速度は大きな値を示して、移動検出部１０ｂは、算出する移動量が「手ブレ検出範囲」の上限よりも大きな値となるため、記録制御部１０ｅによって画像Ｆ６はメモリカード９には記録されない（図８（ｂ））。照光制御部１０ｇも同様に、照光部１５を消灯又は照度を低下させる制御を行う。
そして、オペレーターの顔が施術対象箇所に戻ると、撮像制御部１０ａが信号処理部７から取り込む画像Ｆ７や画像Ｆ８はメモリカード９に記録されると共に表示部１３に表示させて、照光制御部１０ｇは照光部１５を通常に戻す。
このように、加速度センサ４が検出する角速度によって移動検出部１０ｂが算出する移動量が、「手ブレ検出範囲」の値であると「手ブレ」として、手ブレ補正部１０ｃによりこれを補正しつつ、撮像制御部１０ａはＲＡＭ１２に記憶されたホワイトバランス調整などの画像処理された画像データの画像を表示部１３に表示する。しかし、移動検出部１０ｂが算出す移動量が「手ブレ検出範囲」の上限よりも大きな値となると、そのときの画像データはメモリカード９には記録されない。したがって、メモリカード９には、オペレーターが行う施術の様子だけが動画で記録されるために施術の記録として大いに有効である。
［第２の実施形態］
上記の第１の実施形態では、移動検出部１０ｂは加速度センサ４が検知する角速度によって「手ブレ」及び撮像装置１による撮影の向きの変動を検出しているが、第２の実施形態では撮影の向きの変動を画像認識により検出するものである。よって、第２の実施形態での移動検出部１０ｂは、加速度センサ４によって「手ブレ」を検出する第１の移動検出部と、画像認識により撮像装置１の撮影が施術対象箇所から切り換わったことを検出する第２の移動検出部とを備えることになるが、以下の説明においては、特に両者を区別せず一様に移動検出部１０ｂとして述べていく。
図１を用いて説明すると、移動検出部１０ｂは第２の実施形態においては被写体認識部１０１ｂを備える。この被写体認識部１０１ｂは、パターンマッチングの手法などにより撮像装置１が撮影する主要被写体を認識するもので、ＣＰＵ１０がＲＯＭ１１に書き込まれている制御プログラムを実行することで被写体認識部１０１ｂとして機能する。
具体的には被写体認識部１０１ｂは、撮像制御部１０ａが信号処理部７から取り込む連続又は近接しているフレーム間の画像データの画像を解析して、被写体の輪郭を特徴点として抽出し、特徴点が重なる部分を主要被写体と判断する。この場合、１／３０秒間隔での隣り合うフレーム間での各画像又は近接している例えば１／３秒ごとのフレーム間での画像を順次解析して、共通部分を主要被写体として認識する。
そして、移動検出部１０ｂは、被写体認識部１０１ｂが認識する主要被写体の変化を検出することで撮像装置１による撮影の向きの移動を判定する。このとき、移動検出部１０ｂは、隣り合うフレーム間での各画像又は近接しているフレーム間での各画像における主要被写体のＸ−Ｙ軸で縦横方向のずれの値を算出している。したがって、移動検出部１０ｂは、算出したずれの値が予め設定した閾値を超えると、撮像装置１による撮影の向きが施術対象箇所から移動して主要被写体が変化すると施術が中断されたと判断する。
図７及び図８を用いて説明すると、被写体認識部１０１ｂは、撮像制御部１０ａが信号処理部７から順次取り込む各フレームの画像データから主要被写体を認識する。前述したように、被写体認識部１０１ｂは、１／３０秒間隔での隣り合うフレーム間での各画像又は近接している（例えば１／３秒）ごとのフレーム間での画像を順次解析して共通部分を主要被写体として認識するが、解析していく各フレーム間での主要被写体には大きな相違はなく、すなわち、算出するずれの値は閾値を超えておらず、撮像装置１は同じ被写体を継続して撮影しているものと判断する。しかしながら、主要被写体は施術の進行に伴い徐々に変化していくために、移動検出部１０ｂは、画像Ｆ３の時点では、開腹により露出された臓器を主要被写体として認識しており、画像Ｆ１の時点で認識した主要被写体とは大きく異なることになる。
このとき、例えば、オペレーターが施術補助者に指示を与えるために施術を中断して補助者に顔を向けたとすると、撮像装置１は補助者の画像を捉えて、撮像制御部１０ａは信号処理部７から画像Ｆ４のフレームを取り込むことになる。このように被写体が急に切り替わると、移動検出部１０ｂが、ここまでに各フレームどうしを順次パターンマッチングを行って認識してきた主要被写体からは大きなずれを生じることになる。よって、主要被写体が大きく変動したときには、算出しているずれの値が予め設定した閾値を超えるために、移動検出部１０ｂは、撮像装置１による撮影の向きが被写体（施術対象箇所）から移動したことを判断する。
これにより、記録制御部１０ｅは、圧縮伸長処理部１０ｄが圧縮処理した画像データをメモリカード９へ書き込むのを禁止して、図７（ａ）の画像Ｆ４は、図７（ｂ）で示すようにメモリカード９には記録されない。撮像制御部１０ａは、信号処理部７からの１フレーム毎の画像データのＲＡＭ１２への取り込みと、取り込んだ画像データに対するホワイトバランス調整等の画像処理を継続して行う。したがって、施術が中断された状態でも撮像装置１による撮影画像は表示部１３で表示されてモニターすることができる。但し、第１の実施形態でも説明したように、移動検出部１０ｂが撮像装置１による撮影の向きが施術対象箇所から移動したと判断したとき、撮像制御部１０ａは、信号処理部７からの１フレーム毎の画像データのＲＡＭ１２への取り込みと、取り込んだ画像データに対するホワイトバランス調整等の画像処理を中止して、撮像装置１が施術対象箇所以外を撮影している間においては、撮像装置１が撮影したその直前の施術対象箇所の撮影画像Ｆ３を静止画で表示部１３にて表示してもよい。
移動検出部１０ｂが撮像装置１による撮影の向きが施術対象箇所から移動したと判断したとき、照光制御部１０ｇは照光駆動部１４を制御して、照光部１５への通電を停止するか、又は供給する電流量を低下させて、バッテリー１６の消耗を防ぐ。
移動検出部１０ｂは、施術の中断により主要被写体が大きく変動してからも、被写体認識部１０１ｂによって撮像制御部１０ａが信号処理部７から取り込む各フレームの画像データのパターンマッチング処理を行って主要被写体を認識しており、認識した主要被写体がずれの値が閾値を超える前の主要被写体（すなわち施術対象箇所）に近似しているかを判定している。そして、移動検出部１０ｂは、被写体認識部１０１ｂが認識した主要被写体が以前の主要被写体に近似していることを検出すると、オペレーターによる施術が再開されたと判断する。これにより、施術再開後の画像Ｆ５以降の各画像は圧縮伸長処理部１０ｄによって圧縮処理されて、圧縮画像データは、記録制御部１０ｅによってメモリカード９に順次記録される。したがって、メモリカード９には、オペレーターが行う施術の様子だけが動画の画像ファイルに記録されることになる。また、照光制御部１０ｇは照光駆動部１４を制御して、照光部１５への通電を再開又は供給電流を通常の電流量に戻す。
この実施形態においても、上記した例えば０．２秒から０．５秒のタイムラグの期間を設けることで、オペレーターが手術の中断を意図しておらず、施術対象箇所から一瞬顔を背けてまた直ぐに施術対象箇所に顔を向けるような動きをしたときは、撮像装置１がそのごく短い時間に捉えた施術対象箇所以外の画像が、表示部１３で表示される不自然さを解消できる。そして、記録制御部１０ｅによるメモリカード９への画像データの書き込み停止の制御と、照光制御部１０ｇによる照光部１５への通電を停止するか、又は供給する電流量を低下させる制御も上記のタイムラグの期間を置いて行うようにするとよい。
次に、オペレーターが施術中に天井のライトに顔を向けたとすると、撮像装置１は画像Ｆ６（図８（ａ））を捉えることになる。この画像Ｆ６は撮像制御部１０ａによってＲＡＭ１２に記憶されるが、記録制御部１０ｅによってメモリカード９には記録されない（図８（ｂ））。照光制御部１０ｇも同様に、照光部１５を消灯又は照度を低下させる制御を行う。
そして、オペレーターの視線が被写体に戻ると、撮像制御部１０ａが信号処理部７から取り込む画像Ｆ７は、画像Ｆ５と主要被写体が共通するために、画像Ｆ７の圧縮データはメモリカード９に記録されると共に表示部１３に表示させて、照光制御部１０ｇは照光部１５を通常に戻す。
このような動画の撮影中に、オペレーターの頭部が小刻みに動くことで生じる「手ブレ」が生じると、移動検出部１０ｂは、加速度センサ４から出力される角速度から算出した移動量の値が予め設定されている閾値、すなわち、第１の実施態様で説明した「手ブレ検出範囲」の下限以上であると「手ブレ」と判断する。前述したように、移動検出部１０ｂは、角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に移動量を算出する。
手ブレ補正部１０ｃは、移動検出部１０ｂの「手ブレ」の判断により、移動検出部１０ｂがこのとき算出した移動量に基づいて、そのブレを打ち消す方向に撮像素子３を移動させるよう撮像素子変位機構５を制御することで、信号処理部７が撮像制御部１０ａに出力する各フレームでの画像データは「手ブレ」が補正された状態となる。
このように、加速度センサ４が検出する角速度によって移動検出部１０ｂが算出する移動量が、「手ブレ」の発生を判断する閾値を超えたときは、手ブレ補正部１０ｃにより補正しつつ、撮像制御部１０ａはＲＡＭ１２に記憶されたホワイトバランス調整などの画像処理された画像データの画像を表示部１３に表示する。
一方、移動検出部１０ｂが主要被写体のずれ量から算出する移動量が、撮像装置１による撮影の向きが被写体（施術対象箇所）から移動したことを判断する閾値を超えると、主要被写体が大きく変動したことから施術が中断したものと判断する。このときの画像データはメモリカード９には記録されない。
このように、移動検出部１０ｂ（第１の移動検出部）が加速度センサ４によって「手ブレ」を検出すると、手ブレ補正部１０ｃがこれを補正しつつ、撮像制御部１０ａはＲＡＭ１２に記憶されたホワイトバランス調整などの画像処理された画像データの画像を表示部１３に表示する。そして、移動検出部１０ｂ（第２の移動検出部）が被写体認識部１０１ｂによって撮像装置１の撮影が施術対象箇所から切り換わったことを検出すると、記録制御部１０ｅによってそのときの画像の画像データはメモリカード９には記録されず、メモリカード９には、オペレーターが行う施術の様子だけが動画で記録される。
第２の実施形態の変形例として、移動検出部１０ｂは、加速度センサ４によって撮像装置１の撮影が施術対象箇所から切り換わったことを検出し、被写体認識部１０１ｂによって「手ブレ」を検出する変更も可能である。この場合、移動検出部１０ｂは、主要被写体のＸ−Ｙ軸で縦横方向のずれの値と予め設定した閾値とを比較して「手ブレ」を判断し、加速度センサ４が検出する角速度によって算出する移動量と予め設定した閾値とを比較して撮像装置１による撮影の向きが施術対象箇所から移動しているのを判断する。
［第３の実施形態］
第３の実施形態では、加速度センサ４を用いずに電子的に移動量を検出して「手ブレ」を補正すると共に、撮像装置１による撮影の向きが被写体（施術対象箇所）から移動したことを検知するものである。そして、撮像素子変位機構５を用いずに電子的に「手ブレ」を補正する。
図６は、第３の実施形態による医療用撮像記録装置の概略構成をブロック図で示している。この構成においては、加速度センサ４及び撮像素子変位機構５が存在しない以外は図１に示した実施形態と同じ構成である。しかし、加速度センサ４及び撮像素子変位機構５が存在しないため、ＣＰＵ１０が実行するＲＯＭ１１に格納された制御プログラムの構成が一部変更されている。よって、図６でのＣＰＵ１０における、移動検出部１０ｂ´と手ブレ補正部１０ｃ´は、次の制御を行う。
すなわち、移動検出部１０ｂ´は、パターンマッチング等の画像認識処理方法に基づき画像内の特徴点を検出して、１／３０秒間隔での隣り合うフレーム間での各画像又は近接している（例えば１／３秒）ごとのフレーム間での画像のずれ量から撮像装置１の移動量を算出する制御を行う。
また、手ブレ補正部１０ｃ´は、移動検出部１０ｂ´が算出した移動量が「手ブレ」を判断する閾値を超えているとき、連続する又は近接している２フレームの画像から合成画像を生成して、その画像データを出力する制御を行う。
そして、撮像制御部１０ａ´は、撮像制御部１０ａで説明した制御に加えて、「手ブレ」を補正した合成画像データをＲＡＭ１２に記憶させる制御が追加される。
図６の医療用撮像記録装置の動作を説明する。撮像制御部１０ａ´は、操作部８のレリーズスイッチの操作により動画撮影を開始し、信号処理部７から１フレーム毎の画像データを順次取り込む。
図９（ａ）及び図１０（ａ）は、オペレーターが施術を行うときに、前述の双眼ルーペ２０やヘッドバンド２１により頭部に装着された撮像装置１が撮影する画像を信号処理部７に出力し、撮像制御部１０ａ´が信号処理部７から１フレーム毎に取り込む画像を模式的に示している。撮像装置１は動画を撮影するために、信号処理部７は実際には３０フレーム／秒で画像データを生成するが、説明の便宜上、簡略化して一連の施術中の代表的なフレームの画像のみを示している。
移動検出部１０ｂ´は、図１で説明した被写体認識部１０１ｂと同様にパターンマッチングの手法により撮像制御部１０ａ´が取り込むフレーム毎の各画像データの前フレームと後フレーム間での画像を解析して、被写体の輪郭を特徴点として抽出し、特徴点の重なる部分を主要被写体と判断する。
また、移動検出部１０ｂ´は、隣り合うフレーム間での各画像又は近接しているフレーム間での各画像における主要被写体のＸ−Ｙ軸で縦横方向のずれ量を算出し、算出したずれ量（撮像装置１の移動量）が予め設定した範囲内にあるかを判定している。この範囲は、被写体のずれがブレと感じさせず撮影画像の品質に影響を与えない程度の移動と判断する閾値を下限として、撮像装置１による撮影の向きが被写体（施術対象箇所）から大きく移動したと判断する閾値を上限としている。よって、移動検出部１０ｂ´は、算出した移動量の値が予め設定した範囲内にあるときは「手ブレ」と判断する。この実施形態の説明においても第１の実施形態と同様、以下、この範囲を「手ブレ検出範囲」という。
図９（ａ）において代表的に示す施術前の状態の画像Ｆ１´、開腹処理中の画像Ｆ２´及び開腹後の画像Ｆ３´は画像が大きく相違しているが、移動検出部１０ｂ´は、この間の１／３０秒間隔での隣り合うフレーム間での画像を順次解析していくために前後のフレーム間では大きな相違はなく、撮像装置１は同じ被写体を継続して撮影しているものと判断する。すなわち、移動検出部１０ｂ´は、算出するずれの値は「手ブレ検出範囲」の下限以下であるために、撮像装置１は同じ被写体を継続して撮影しているものと判断する。しかしながら、移動検出部１０ｂ´は、画像Ｆ３´の時点では、開腹により露出された臓器を主要被写体として認識しており、画像Ｆ１´の時点で認識した主要被写体とは異なっている。
撮像制御部１０ａ´は、撮像装置１が施術対象箇所を継続して撮影していると移動検出部１０ｂ´が判断している間においては、画像Ｆ１´乃至Ｆ３´を含めてこの間の全てのフレームの画像データをそのままＲＡＭ１２に記憶して、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行う。そして、撮像制御部１０ａ´は、ＲＡＭ１２が記憶している画像処理後の画像データを順次読み出して表示部１３に出力し、表示部１３に動画が表示される。図９（ｂ）及び図１０（ｂ）はＲＡＭ１２に記憶させるフレーム毎の画像データを模式的に示している。
一方、圧縮伸長処理部１０ｄは、ＲＡＭ１２に順次記憶された画像データ毎にＪＰＥＧ圧縮を行う。圧縮画像データは、メモリカード９に送られて記録される。図９（ｃ）及び図１０（ｃ）は、メモリカード９に記録される画像データを模式的に示している。
移動検出部１０ｂ´が各フレーム間での画像を解析して、被写体の輪郭を特徴点として抽出したとき、両方の画像での主要被写体の座標軸での位置のずれ量から撮像装置１の移動量を算出する。そして、移動検出部１０ｂ´は、この移動量が「手ブレ検出範囲」内であると「手ブレ」と判断する。
図９（ａ）の画像Ｆ３´と画像Ｆ４´とは連続しているフレームの画像とすると主要被写体の位置が横（Ｘ軸）方向にずれており、移動検出部１０ｂ´が算出する撮像装置１の移動量の値は「手ブレ検出範囲」内であるため「手ブレ」と判断する。このとき、手ブレ補正部１０ｃ´は、画像Ｆ３´と画像Ｆ４´の主要被写体の座標の平均をとることで重ね合せ合成画像Ｆ４Ａを生成する。
そして、撮像制御部１０ａ´は、移動検出部１０ｂ´が画像のずれを検出すると、手ブレ補正部１０ｃが生成した合成画像Ｆ４ＡをＲＡＭ１２に記憶して（図９（ｂ））、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行い、画像処理後の合成画像Ｆ４Ａの画像データを表示部１３に出力する。また、圧縮伸長処理部１０ｄは、合成画像Ｆ４Ａの画像データにＪＰＥＧ圧縮を行う。圧縮画像データは、メモリカード９に送られて記録される（図９（ｃ））。このように、第３の実施形態においては、撮像素子変位機構５を用いて「手ブレ」を光学的に補正しないために、「手ブレ」が生じた画像Ｆ４´は画像Ｆ４Ａに補正されて、表示部１３で表示されると共にメモリカード９に記録される。
こうした撮像装置１による撮影中において、例えば、オペレーターが施術補助者に指示を与えるために施術を中断して補助者に顔を向けたとすると、撮像装置１は補助者の画像を捉えて、撮像制御部１０ａ´は信号処理部７から画像Ｆ５´の画像データを取り込む。このような場合、移動検出部１０ｂ´は、前のフレームで特定した主要被写体とは異なるために、パターンマッチングを行ってフレーム間での画像のずれを検出したとき、そのずれから算出する撮像装置１の移動量の値が「手ブレ検出範囲」の上限を超えることになり、撮像装置１の撮影の向きが被写体から移動したものと判断する。
手ブレ補正部１０ｃ´は、撮像装置１の移動量が「手ブレ検出範囲」の上限を超えている場合には両フレームの画像の合成画像を生成する処理を行わない。しかし、撮像制御部１０ａ´は、その画像データをそのままＲＡＭ１２に記憶し（図９（ｂ）、ホワイトバランス調整、色補間処理及び収差補正処理などの画像処理を行った後に読み出して表示部１３に表示する。または、撮像制御部１０ａ´は、撮像装置１によるリアルタイムでの撮影画像の表示は停止する一方、撮像装置１が撮影したその直前の施術対象箇所の撮影画像Ｆ４Ａを静止画で表示部１３にて表示してもよい。
一方、記録制御部１０ｅ´は、撮像装置１の移動量が「手ブレ検出範囲」の上限を超えている場合には、これ以降のフレームについてメモリカード９へ書き込む動作を禁止する（図９（ｃ））。また、照光制御部１０ｇは照光駆動部１４を制御して、照光部１５への通電を停止するか、又は供給する電流量を低下させる。
そして、移動検出部１０ｂ´は、移動量が「手ブレ検出範囲」の上限を超えて撮像装置１の撮影の向きが移動したことを判断してからも、撮像制御部１０ａ´が信号処理部７から取り込む各フレームの画像データのパターンマッチング処理を行っており、移動量が「手ブレ検出範囲」の上限を超える前の主要被写体（すなわち施術対象箇所）が画像データに近似しているかを判定する。そして、移動検出部１０ｂは、被写体認識部１０１ｂが認識した主要被写体が撮像装置１の撮影の向きが移動する前の主要被写体に近似していることを検出すると、オペレーターによる施術が再開されたと判断する。これにより、施術再開後の画像Ｆ６´以降の各画像は圧縮伸長処理部１０ｄによって圧縮処理されて、圧縮画像データは、記録制御部１０ｅによってメモリカード９に順次記録される（図１０（ｃ）。また、照光制御部１０ｇは照光駆動部１４を制御して、照光部１５への通電を再開又は供給電流を通常の電流量に戻す。
この実施形態においても、上記した例えば０．２秒から０．５秒のタイムラグの期間を設けることで、オペレーターが施術対象箇所から一瞬顔を背けてまた直ぐに施術対象箇所に顔を向けるような動きをしたときの撮像装置１による施術対象箇所以外の画像を表示部１３に表示しないようにしてもよい。また、記録制御部１０ｅによるメモリカード９への画像データの書き込み停止の制御と、照光制御部１０ｇによる照光部１５への通電を停止するか、又は供給する電流量を低下させる制御も上記のタイムラグの期間を置いて行うようにしてもよい。
しかし、こんどはオペレーターが施術中に天井のライトに顔を向けたとすると、撮像装置１は画像Ｆ７´（図１０（ａ））を捉えることになる。この画像Ｆ７´は撮像制御部１０ａ´によってＲＡＭ１２に記憶されるが（図１０（ｂ））、記録制御部１０ｅによってメモリカード９には記録されない（図１０（ｃ））。そして、オペレーターの視線が被写体に戻り撮像装置１が出力する画像Ｆ８´は、画像Ｆ６´と主要被写体が共通するために画像Ｆ６の圧縮データはメモリカード９に記録される。
そして、画像Ｆ８´に連続しているフレームの画像Ｆ９´は画像Ｆ８´に対して主要被写体の位置が上下（Ｙ軸）方向にずれており、移動検出部１０ｂが画像のずれを検出したとき、そのずれから算出する撮像装置１の移動量の値が「手ブレ検出範囲」内であると「手ブレ」と判断する。このとき、手ブレ補正部１０ｃは、画像Ｆ８´と画像Ｆ９´の主要被写体の座標の平均をとることで重ね合せて合成画像Ｆ９Ａを生成する。この合成画像Ｆ９Ａの画像データはＲＡＭ１２に記憶され（図１０（ｂ））、その圧縮画像データはメモリカード９に記録される（図１０（ｃ））。
このようにして、画像９´から画像Ｆ１０´までの各フレームでの画像データについても、移動検出部１０ｂ´によって「手ブレ」が検出されないときは、撮像制御部１０ａ´によってＲＡＭ１２に記憶されたホワイトバランス調整などの画像処理された画像データの画像は表示部１３で表示される。そして、「手ブレ」が検出された場合には、前後のフレームの画像データから生成される合成画像の画像データが画像処理されてＲＡＭ１２に記憶され、表示部１３で表示される。
また、移動検出部１０ｂ´によって主要被写体から外れた画像の画像データはメモリカード９には記録されない。したがって、メモリカード９には、オペレーターが行う施術の様子だけが動画で記録されて、施術の記録として大いに有効となる。
上記実施態様の医療用撮像記録装置は、動画の連続又は近接する２フレームの画像のずれから「手ブレ」を検出することで「手ブレ」を抑制しつつ、撮像装置１の撮影が被写体（施術対象箇所）から大きく外れるような場合には、その部分の撮像画像の記録を停止することで、有効な記録映像のみを保存しておくことができる。
［第４の実施形態］
第４の実施形態は、撮影時に撮像装置１による撮影の向きが施術対象箇所から移動していてもそのときの画像データは情報記録部に記録し、再生時にこの部分の画像データを削除して表示しないようにするものである。
図１１で説明すると、全体的な構成及び動作は第１の実施形態と同様であるが、記録制御部１０ｅが存在しない。したがって、加速度センサ４が撮像装置１の移動を検出して出力する角速度に基づいて、移動検出部１０ｂによって算出される移動量が「手ブレ検出範囲」の上限を超えている場合でも、メモリカード９にはそのときの撮影画像が記憶されることになる。しかし、照光制御部１０ｇは、移動量が「手ブレ検出範囲」の上限を超えていることを移動検出部１０ｂが判定したときは、照光部１５への通電を停止するか、又は供給する電流量を低下させる制御を行う。これにより、バッテリー１６の消耗が軽減される。
また、第１の実施形態との相違点は、ＣＰＵ１０は、ＲＯＭ１１に格納されている制御プログラムの実行により達成される画像ずれ検出部１０ｈの機能を備えていることである。画像ずれ検出部１０ｈは、メモリカード９に記録した動画を表示部１３に再生するとき、再生制御部１０ｆが読み出した動画の連続又は近接しているフレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体の変動によるずれから主要被写体のずれ量を検出し、ずれ量が予め設定された閾値以上であるかを判定する。この閾値については、第３の実施態様で説明した「手ブレ検出範囲」の上限値と同じものである。
再生モードにおいて、再生制御部１０ｆは、メモリカード９から読み出す画像データを順次表示部１３に表示して動画を再生する。このとき、画像ずれ検出部１０ｈは、再生制御部１０ｆが読み出す連続又は近接しているフレームの各画像データにおける主要被写体のずれ量を検出している。そして、画像ずれ検出部１０ｈが主要被写体のずれ量が予め設定された閾値以上であると判定したとき、再生制御部１０ｆは、メモリカード９から読み出す以後からの画像データの前記表示部での表示を停止して、その直前に再生している画像データによる画像を静止画で表示部１３にて表示する。
静止画を表示してからも画像ずれ検出部１０ｈは、メモリカード９から各フレームの画像データを読み出してパターンマッチング処理を行って主要被写体を認識している。そして、認識した主要被写体が「手ブレ検出範囲」の上限を超える前の主要被写体（すなわち施術対象箇所）に近似していることを画像ずれ検出部１０ｈが検出すると、再生制御部１０ｆはメモリカード９から読み出す画像データの表示部１３での表示を再開する。
これにより、撮像時においては、主要被写体の変動に応じてメモリカード９への記録を停止せずに、再生時に必要な施術対象箇所のみを表示することができる。よって、必要に応じて施術時の全ての映像を記録に残すことができる。
以上、本発明を詳述したが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
本発明は、オペレーターの身体に装着した撮像装置によって施術の進行を撮影すると共に施術に直接関係する一連の画像だけを記録に残すことができる医療用撮像記録装置に関し、産業上の利用可能性を有する。
１ 撮像装置
２ 光学レンズ
３ 撮像素子
４ 加速度センサ
７ 信号処理部
９ メモリカード（情報記録部）
１０ ＣＰＵ
１０ａ 撮像制御部
１０ｂ 移動検出部
１０ｃ 手ブレ補正部
１０ｅ 記録制御部
１０ｈ 画像ずれ検出部
１５ 照光部
上記課題を解決するために、少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、前記画像データを順次記録する情報記録部と、前記撮像装置の移動を検知する加速度センサと、前記加速度センサによる検知信号から前記撮像装置の移動量を算出する移動検出部と、前記移動量が予め設定した範囲内の場合は前記移動量に応じた移動による前記動画のブレを打ち消すよう制御する手ブレ補正部と、前記移動量が前記範囲の上限を超える場合は前記情報記録部への前記画像データの記録の中止を制御する記録制御部と、を備える。これにより、施術に直接関係しない画像は記録されないため、有効な記録映像のみを保存しておくことができる。

Claims (41)

  1. 少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、
    前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、
    前記画像データを順次記録する情報記録部と、
    前記撮像装置の移動を検知する加速度センサと、
    前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する移動検出部と、
    前記移動量が予め設定した範囲内の場合は前記移動量に応じた移動による前記動画のブレを打ち消すよう制御する手ブレ補正部と、
    前記移動量が前記範囲の上限を超える場合は前記情報記録部への前記画像データの記録の中止を制御する記録制御部と、
    を備えた医療用撮像記録装置。
  2. 前記移動検出部は、前記加速度センサからの前記角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に前記移動量を算出することを特徴とする請求項１に記載の医療用撮像記録装置。
  3. 前記撮像制御部は、前記移動量が前記範囲の上限を超える場合は前記動画の表示を停止することを特徴とする請求項１又は２に記載の医療用撮像記録装置。
  4. 前記撮像制御部は、前記移動量が前記範囲の上限を超える場合は前記移動検出部が検出してから所定のタイムラグの期間を置いて、前記動画の表示を停止することを特徴とする請求項３に記載の医療用撮像記録装置。
  5. 前記撮像制御部は、前記動画の表示を停止した後は、前記移動量が前記範囲の上限を超える前の前記フレームの前記画像データを静止画で表示することを特徴とする請求項３又は４に記載の医療用撮像記録装置。
  6. 前記記録制御部は、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する角速度を検出すると、前記情報記録部による前記画像データの記録の再開を制御することを特徴とする請求項１乃至５の何れかに記載の医療用撮像記録装置。
  7. 前記撮像制御部は、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する角速度を検出したとき、前記動画の表示の再開を制御することを特徴とする請求項３乃至６の何れかに記載の医療用撮像記録装置。
  8. 前記被写体に光を照射する照光部を備えて、前記照光部は、前記移動量が前記範囲の上限を超えると照光を停止又は照度を低下させることを特徴とする請求項１乃至７の何れかに記載の医療用撮像記録装置。
  9. 前記照光部は、前記移動量が前記前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置いて、照光を停止又は照度を低下させることを特徴とする請求項８に記載の医療用撮像記録装置。
  10. 前記照光部は、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する角速度を検出したとき、照光を再開又は照度を明るくすることを特徴とする請求項８又は９に記載の医療用撮像記録装置。
  11. 前記手ブレ補正部は、前記移動量に応じて前記光学レンズに組み込まれた補正レンズを動かして光軸を補正する制御を行うことを特徴とする請求項１に記載の医療用撮像記録装置。
  12. 前記手ブレ補正部は、前記移動量に応じて前記撮像素子を移動させる制御を行うことを特徴とする請求項１に記載の医療用撮像記録装置。
  13. 少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、
    前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、
    前記画像データを順次記録する情報記録部と、
    連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから前記撮像装置の移動量を算出する移動検出部と、
    前記移動量が予め設定した範囲内の場合は前記移動量に応じた移動による前記動画のずれを補正する手ブレ補正部と、
    前記移動量が前記範囲の上限を超える場合は前記情報記録部への前記画像データの記録の中止を制御する記録制御部と、
    を備えた医療用撮像記録装置。
  14. 前記撮像制御部は、前記移動量が前記範囲の上限を超える場合は前記動画の表示を停止することを特徴とする請求項１３に記載の医療用撮像記録装置。
  15. 前記撮像制御部は、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置いて、前記動画の表示を停止することを特徴とする請求項１４に記載の医療用撮像記録装置。
  16. 前記撮像制御部は、前記動画の表示を停止した後は、前記移動量が前記範囲の上限を超える前の前記フレームの前記画像データを静止画で表示するよう制御することを特徴とする請求項１４又は１５に記載の医療用撮像記録装置。
  17. 前記記録制御部は、前記移動量が前記範囲の上限を超えた後に、前記移動検出部が検出する主要被写体が前記範囲の上限を超える前の前記主要被写体に近似したとき、前記情報記録部による前記画像データの記録の再開を制御することを特徴とする請求項１３乃至１６に記載の医療用撮像記録装置。
  18. 前記撮像制御部は、前記移動量が前記範囲の上限を超えた後に、前記移動検出部が検出する主要被写体が前記範囲の上限を超える前の前記主要被写体に近似したとき、前記動画の表示の再開を制御することを特徴とする請求項１４乃至１７の何れかに記載の医療用撮像記録装置。
  19. 前記被写体に光を照射する照光部を備えて、前記照光部は、前記移動量が前記範囲の上限を超えると照光を停止又は照度を低下させることを特徴とする請求項１３乃至１８の何れかに記載の医療用撮像記録装置。
  20. 前記照光部は、前記移動量が前記範囲の上限を超えていることを前記移動検出部が検出してから所定のタイムラグの期間を置いて、照光を停止又は照度を低下させることを特徴とする請求項１９に記載の医療用撮像記録装置。
  21. 前記照光部は、前記移動量が前記範囲の上限を超えた後に、前記移動検出部が検出する主要被写体が前記範囲の上限を超える前の前記主要被写体に近似したとき、照光を再開又は照度を明るくすることを特徴とする請求項１９又は２０に記載の医療用撮像記録装置。
  22. 前記手ブレ補正部は、前記移動量が前記範囲内であると、連続又は近接している複数のフレームの前記画像データを合成して補正画像データを生成することを特徴とする請求項１３に記載の医療用撮像記録装置。
  23. 少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、
    前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、
    前記画像データを順次記録する情報記録部と、
    前記撮像装置の移動を検知する加速度センサと、
    前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する第１の移動検出部と、
    前記第１の移動検出部が算出する移動量に応じた移動による前記動画のブレを打ち消すよう制御する手ブレ補正部と、
    連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから移動量を算出する第２の移動検出部と、
    前記第２の移動検出部が算出する移動量が予め設定した閾値以上となると前記画像データの記録の中止を制御する記録制御部と、
    を備えた医療用撮像記録装置。
  24. 前記第１の移動検出部は、前記加速度センサからの前記角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に前記移動量を算出することを特徴とする請求項２３に記載の医療用撮像記録装置。
  25. 前記撮像制御部は、前記第２の移動検出部が算出する移動量が前記閾値以上の場合は前記動画の表示を停止することを特徴とする請求項２３に記載の医療用撮像記録装置。
  26. 前記撮像制御部は、前記第２の移動検出部が算出する移動量が前記閾値以上であることを検出してから所定のタイムラグの期間を置いて、前記動画の表示を停止することを特徴とする請求項２５に記載の医療用撮像記録装置。
  27. 前記撮像制御部は、前記動画の表示を停止した後は、前記第２の移動検出部が算出する移動量が前記閾値以上となる前の前記画像データを静止画で表示することを特徴とする請求項２５又は２６に記載の医療用撮像記録装置。
  28. 前記記録制御部は、前記第２の移動検出部が算出する移動量が前記閾値以上となった後に、前記第２の移動検出部が検出する主要被写体が前記閾値を超える前の前記主要被写体に近似したとき、前記情報記録部による前記画像データの記録の再開を制御することを特徴とする請求項２３乃至２７の何れかに記載の医療用撮像記録装置。
  29. 前記撮像制御部は、前記第２の移動検出部が算出する移動量が前記閾値以上となった後に、前記第２の移動検出部が検出する主要被写体が前記閾値を超える前の前記主要被写体に近似したとき、前記動画の表示の再開を制御することを特徴とする請求項２５乃至２８の何れかに記載の医療用撮像記録装置。
  30. 前記被写体に光を照射する照光部を備えて、前記照光部は、前記第２の移動検出部が算出する移動量が前記閾値以上となると照光を停止又は照度を低下させることを特徴とする請求項２３乃至２９の何れかに記載の医療用撮像記録装置。
  31. 前記照光部は、前記第２の移動検出部が算出する移動量が前記範囲の上限を超えた後に、前記第２の移動検出部が検出する主要被写体が前記範囲の上限を超える前の前記主要被写体に近似したとき、照光を再開又は照度を明るくすることを特徴とする請求項３０に記載の医療用撮像記録装置。
  32. 少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、
    前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、
    前記画像データを順次記録する情報記録部と、
    前記撮像装置の移動を検知する加速度センサと、
    前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する第１の移動検出部と、
    前記第１の移動検出部が算出する移動量が予め設定した閾値以上となると前記画像データの記録の中止を制御する記録制御部と、
    連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから移動量を算出する第２の移動検出部と、
    前記第２の移動検出部が算出する移動量が予め設定した閾値以上であるとき、連続又は近接しているフレーム前記画像データを合成して補正画像データを生成する手ブレ補正部と、
    を備えた医療用撮像記録装置。
  33. 前記第１の移動検出部は、前記加速度センサからの前記角速度の検出信号におけるエッジ部でのひずみが減衰する期間を予め見越した遅延時間の経過後に前記移動量を算出することを特徴とする請求項３２に記載の医療用撮像記録装置。
  34. 前記撮像制御部は、前記第１の移動検出部が算出する移動量が前記閾値以上の場合は前記動画の表示を停止することを特徴とする請求項３２又は３３に記載の医療用撮像記録装置。
  35. 前記撮像制御部は、前記第１の移動検出部が算出する移動量が前記閾値以上であることを前記第１の移動検出部が検出してから所定のタイムラグの期間を置いて、前記動画の表示を停止することを特徴とする請求項３４に記載の医療用撮像記録装置。
  36. 前記撮像制御部は、前記動画の表示を停止した後は、前記第１の移動検出部が算出する移動量が前記閾値以上となる前の前記画像データを静止画で表示することを特徴とする請求項３４又は３５に記載の医療用撮像記録装置。
  37. 前記記録制御部は、前記第１の移動検出部が算出する移動量が前記閾値以上となった後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する角速度を検出すると、前記情報記録部による前記画像データの記録の再開を制御することを特徴とする請求項３２乃至３６の何れかに記載の医療用撮像記録装置。
  38. 前記撮像制御部は、前記第１の移動検出部が算出する移動量が前記閾値以上となった後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する角速度を検出すると、前記動画の表示の再開を制御することを特徴とする請求項３３乃至３７の何れかに記載の医療用撮像記録装置。
  39. 前記被写体に光を照射する照光部を備えて、前記照光部は、前記第１の移動検出部が算出する移動量が前記閾値以上となると照光を停止又は照度を低下させることを特徴とする請求項３２乃至３８の何れかに記載の医療用撮像記録装置。
  40. 前記照光部は、前記移動量が前記範囲の上限を超えた後に、前記加速度センサが前記撮像装置の撮影の向きが最初の前記被写体に復帰移動する角速度を検出したとき、照光を再開又は照度を明るくすることを特徴とする請求項３９に記載の医療用撮像記録装置。
  41. 少なくとも、光学レンズと、撮像時に前記光学レンズを通して被写体から導入される光を光電変換して撮像信号を生成する撮像素子とを有する撮像装置を医療施術時のオペレーターの身体に装着して撮像する医療用撮像記録装置であって、
    前記撮像信号に基づき動画を構成するフレームごとに生成される画像データから前記動画を表示部に表示するよう制御する撮像制御部と、
    前記画像データを順次記録する情報記録部と、
    前記撮像装置の移動を検知する加速度センサと、
    前記加速度センサが検出する角速度によって前記撮像装置の移動量を算出する移動検出部と、
    前記移動量が閾値以上の場合は前記移動量に応じた移動による前記動画のブレを打ち消すよう制御して前記画像データを補正する手ブレ補正部と、
    再生時に前記情報記録部が記憶している画像データを読み出して表示部に表示する再生制御部と、
    前記再生制御部が読み出した連続又は近接している前記フレーム間の前記画像データを順次比較して、連続又は近接しているフレーム間での主要被写体のずれから当該主要被写体のずれ量を検出する画像ずれ検出部と、を備え、
    前記再生制御部は、前記ずれ量が予め設定した閾値以上であると以後から前記情報記録部から読み出す前記画像データの表示を中止して、前記ずれ量が前記閾値以上となる前の画像データを静止画で前記表示部に表示すると共に、その間、前記再生制御部は、前記再生制御部が読み出す前記画像データの前記主要被写体を認識し、認識した前記主要被写体が前記ずれ量が前記閾値以上となる前の前記主要被写体に近似していると、前記再生制御部は、前記情報記録部から読み出す前記画像データの前記表示部での表示を再開することを特徴とする医療用撮像記録装置。
JP2013106011A 2013-05-20 2013-05-20 医療用撮像記録装置 Expired - Fee Related JP5411380B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013106011A JP5411380B1 (ja) 2013-05-20 2013-05-20 医療用撮像記録装置
US14/892,010 US10057547B2 (en) 2013-05-20 2014-04-16 Medical image recording device
PCT/JP2014/060770 WO2014188819A1 (ja) 2013-05-20 2014-04-16 医療用撮像記録装置
US14/892,032 US9866756B2 (en) 2013-05-20 2014-04-16 Medical image recording device
US14/891,993 US9516230B2 (en) 2013-05-20 2014-04-16 Medical image recording/playback device
PCT/JP2014/060771 WO2014188820A1 (ja) 2013-05-20 2014-04-16 医療用撮像記録装置
PCT/JP2014/060772 WO2014188821A1 (ja) 2013-05-20 2014-04-16 医療用撮像記録再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013106011A JP5411380B1 (ja) 2013-05-20 2013-05-20 医療用撮像記録装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2013191661A Division JP5497955B1 (ja) 2013-05-20 2013-09-17 医療用撮像記録再生装置
JP2013191660A Division JP5530015B1 (ja) 2013-05-20 2013-09-17 医療用撮像記録装置

Publications (2)

Publication Number Publication Date
JP5411380B1 JP5411380B1 (ja) 2014-02-12
JP2014229972A true JP2014229972A (ja) 2014-12-08

Family

ID=50202708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013106011A Expired - Fee Related JP5411380B1 (ja) 2013-05-20 2013-05-20 医療用撮像記録装置

Country Status (3)

Country Link
US (1) US9866756B2 (ja)
JP (1) JP5411380B1 (ja)
WO (1) WO2014188819A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146882A (ja) * 2018-02-28 2019-09-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、医療用観察装置、および制御方法
JP2021027419A (ja) * 2019-08-01 2021-02-22 国立大学法人富山大学 額帯用撮像装置と画像制御方法
JP2023518068A (ja) * 2020-03-20 2023-04-27 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド 手術用顕微鏡システムならびに対応するシステム、方法およびコンピュータプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10473942B2 (en) * 2015-06-05 2019-11-12 Marc Lemchen Apparatus and method for image capture of medical or dental images using a head mounted camera and computer system
US11101040B2 (en) * 2018-04-20 2021-08-24 Hanger, Inc. Systems and methods for clinical video data storage and analysis
US20210315643A1 (en) * 2018-08-03 2021-10-14 Intuitive Surgical Operations, Inc. System and method of displaying images from imaging devices
US11057614B1 (en) 2018-09-05 2021-07-06 Apple Inc. Motion blur compensation through display actuation
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN113129340B (zh) * 2021-06-15 2021-09-28 萱闱(北京)生物科技有限公司 操作设备的运动轨迹分析方法、装置、介质和计算设备
WO2023023785A1 (en) * 2021-08-25 2023-03-02 Aguirre Gutierrez Victor Jesus A surgical head camera arrangement

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63102378U (ja) 1986-12-20 1988-07-04
US5596366A (en) * 1990-05-14 1997-01-21 Canon Kabushiki Kaisha Camera apparatus having camera movement detection
JP2002171469A (ja) 2000-12-04 2002-06-14 Sony Corp 動画像記録装置および動画像記録方法、ならびにプログラム記録媒体
JP4544499B2 (ja) 2001-07-13 2010-09-15 キヤノン株式会社 記録装置及び編集方法
JP4042411B2 (ja) * 2002-01-11 2008-02-06 株式会社日立製作所 データ記録装置、データ再生装置、データ記録再生方法及び撮像装置
JP2003204972A (ja) * 2002-01-11 2003-07-22 Ganka Kikai No Makino:Kk 双眼ルーペおよびこれを用いた撮像システム
JP2005348178A (ja) * 2004-06-03 2005-12-15 Canon Inc 動画記録再生装置、画像表示方法、及びプログラム
JP2007207345A (ja) * 2006-02-01 2007-08-16 Sony Corp ディスク式撮像装置
JP4612900B2 (ja) * 2006-02-20 2011-01-12 キヤノン株式会社 撮像装置及びその制御方法
JP2008131448A (ja) * 2006-11-22 2008-06-05 Pentax Corp カメラ
JP4733068B2 (ja) * 2007-05-17 2011-07-27 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP2009077265A (ja) 2007-09-21 2009-04-09 Fujifilm Corp 撮像装置
JP2009098570A (ja) 2007-10-19 2009-05-07 Mitaka Koki Co Ltd ヘッドマウント型双眼ルーペ装置
JP4513879B2 (ja) * 2008-03-05 2010-07-28 ソニー株式会社 像ぶれ補正装置、レンズ鏡筒装置及びカメラ装置
CN103763472B (zh) * 2009-02-19 2017-03-01 奥林巴斯株式会社 照相机、佩戴型图像显示装置、摄影系统以及摄影方法
JP5780418B2 (ja) * 2011-05-30 2015-09-16 ソニー株式会社 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146882A (ja) * 2018-02-28 2019-09-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、医療用観察装置、および制御方法
JP7109936B2 (ja) 2018-02-28 2022-08-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置、および制御方法
JP2021027419A (ja) * 2019-08-01 2021-02-22 国立大学法人富山大学 額帯用撮像装置と画像制御方法
JP7228190B2 (ja) 2019-08-01 2023-02-24 国立大学法人富山大学 額帯用撮像装置と画像制御方法
JP2023518068A (ja) * 2020-03-20 2023-04-27 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド 手術用顕微鏡システムならびに対応するシステム、方法およびコンピュータプログラム
JP7473670B2 (ja) 2020-03-20 2024-04-23 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド 手術用顕微鏡システムならびに対応するシステム、方法およびコンピュータプログラム

Also Published As

Publication number Publication date
WO2014188819A1 (ja) 2014-11-27
JP5411380B1 (ja) 2014-02-12
US20160100107A1 (en) 2016-04-07
US9866756B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
JP5411380B1 (ja) 医療用撮像記録装置
JP4853320B2 (ja) 画像処理装置、画像処理方法
JP4434151B2 (ja) 撮像装置
US7598995B2 (en) Digital camera having a mode-selecting screen
WO2014188820A1 (ja) 医療用撮像記録装置
US20150172553A1 (en) Display device, display method, and computer-readable recording medium
JP2015049544A (ja) パラメータ変更装置及び方法
JP2014068335A (ja) 撮像装置および画像処理方法
JP2014053664A (ja) 撮像装置、撮像方法及びプログラム
JP5497955B1 (ja) 医療用撮像記録再生装置
JP2015149552A (ja) ウェアラブル型電子機器
JP2008288821A (ja) 撮像装置、撮像方法
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5530015B1 (ja) 医療用撮像記録装置
WO2014188821A1 (ja) 医療用撮像記録再生装置
JP2007219069A (ja) 映像表示装置
JP2005175796A (ja) デジタルカメラ
JP2004104652A (ja) 撮像装置
JP2014158136A (ja) 医療用撮影システム
JP2021131441A (ja) 電子機器
JP2015103918A (ja) 撮像装置及び撮像装置の制御方法
JP7228190B2 (ja) 額帯用撮像装置と画像制御方法
JP5603671B2 (ja) 電子機器、撮像方法、及び画像変換プログラム
JP6632314B2 (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131107

R150 Certificate of patent or registration of utility model

Ref document number: 5411380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees