JP2008072236A - 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム - Google Patents

映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム Download PDF

Info

Publication number
JP2008072236A
JP2008072236A JP2006247179A JP2006247179A JP2008072236A JP 2008072236 A JP2008072236 A JP 2008072236A JP 2006247179 A JP2006247179 A JP 2006247179A JP 2006247179 A JP2006247179 A JP 2006247179A JP 2008072236 A JP2008072236 A JP 2008072236A
Authority
JP
Japan
Prior art keywords
video signal
unit
text data
video
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006247179A
Other languages
English (en)
Other versions
JP4305483B2 (ja
Inventor
Yoshiaki Shibata
賀昭 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006247179A priority Critical patent/JP4305483B2/ja
Priority to US11/834,167 priority patent/US9153284B2/en
Priority to CN200710148941XA priority patent/CN101146177B/zh
Publication of JP2008072236A publication Critical patent/JP2008072236A/ja
Application granted granted Critical
Publication of JP4305483B2 publication Critical patent/JP4305483B2/ja
Priority to US14/839,305 priority patent/US10389926B2/en
Priority to US16/459,327 priority patent/US11056226B2/en
Priority to US17/351,255 priority patent/US11948675B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Television Signal Processing For Recording (AREA)
  • Endoscopes (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】カメラまたは後段の装置に対するなんらかの操作に応じて、それ自体意味を持った情報を映像素材に付与することにより、後段の装置が、この情報をその操作に応じた動作のために利用できるようにする。
【解決手段】映像信号生成装置１に、映像信号を生成するカメラ部１１と、カメラ部１１か、この映像信号を受信させる装置かの少なくともいずれか一方を操作する操作部２２〜２４と、操作部２２〜２４の操作に応じて、意味をもつ言葉を含んだテキストデータを生成するテキストデータ生成部２０と、テキストデータ生成部２０で生成されたテキストデータを、カメラ部１１で生成された映像信号に対応させて挿入するテキストデータ挿入部１９とを設ける。
【選択図】図６

Description

本発明は、カメラ部を有する映像信号生成装置や、この映像信号生成装置で生成された映像信号を受信する映像信号受信装置に関し、特に、映像信号生成装置の側で、カメラ部または映像信号生成装置に対する操作に応じて、可読性のあるテキストデータを映像信号に挿入するようにしたものに関する。
〔エッセンスマーク（登録商標）の本来の目的〕
ＳＭＰＴＥ（全米映画テレビジョン技術者協会）では、メタデータの記述方法の基本構造として、ＫＬＶを規定している。これは、図１に示すように、メタデータを、Key-Length-Value という構造のバイト列として記述するものである。Keyはメタデータの種類を示す１６バイトのラベルであって、全てのKeyはＳＭＰＴＥメタデータ辞書に登録されている。Valueは、Keyによって示された種類のメタデータの実際の値である。Valueに先行するLengthは、Valueのデータ長（バイト数）を示す。
本発明の出願人は、このＳＭＰＴＥによるＫＬＶメタデータの種類のひとつであるTerm Valueを応用して、ＡＶ（オーディオ，ビデオ）素材に対する“栞”としての役割を果たすメタデータである「エッセンスマーク（登録商標であるが、以下エッセンスマークＴＭと表記する）」を提唱している（非特許文献１，２）。これは、ＡＶ素材の所望のフレームに直接的、あるいは間接的に可読性を持ったテキストデータを付与するというものであり、その主な目的は、当該付与位置への高速アクセスをテキストデータ値に応じて選択的に実現すること（例えば、或るエッセンスマークＴＭを付与した位置へ高速キューアップする、あるいは指定のエッセンスマークＴＭが付与された全てのフレームを抽出してサムネイル表示する（例えば非特許文献２の図５）など）である。また、日本語などのマルチバイト文字の格納方法も厳密に定めている。
ＳＭＰＴＥでは、ＡＶ素材をＳＤＩ(Serial Digital Interface)フォーマットでベースバンド伝送する場合、ＫＬＶメタデータのパケットを、ＶＢＩ(Vertical Blanking Interval)領域に補助データ（Ancillary data）として格納することを規定している（ＳＭＰＴＥ２５９Ｍ，２９２Ｍ，２９１Ｍ）。エッセンスマークＴＭもＫＬＶメタデータのひとつの応用例であることから、ＳＤＩフォーマットでは、それが付与されたフレームのＶＢＩ領域に補助データとして格納されて伝送される。
エッセンスマークＴＭの仕様の一部として、予約語がある。これは、元々は良く使われるエッセンスマーク値（図１のValueの値）の表記のゆらぎを低減するための共通言語として導入したものである。図２は、この予約語を一覧表示した図である。予約語は、先頭の文字が“_”になっている。例えば、“_RecStart”は、ＡＶ素材の記録開始位置を示す予約語であり、例えばテープでつなぎ記録をしていく場合に、それぞれの記録開始位置をマーキングする目的で使用することができる。“_RecEnd”は、ＡＶ素材の記録終了位置を示す予約語である。“_ShotMark1”，“_ShotMark2”は、それぞれＡＶ素材のうちの着目したシーンである着目点を示す予約語である。
エッセンスマーク値自体としては、任意のテキストデータを指定可能である。しかし事実上それが最も活かされるのは、当該値自体が意味を持ったテキスト値として提供されている場合である。図３は、非特許文献１のFigure ２（非特許文献２の図1と等価である）と同じ図であり、エッセンスマークＴＭが付与されたＡＶ素材（ビデオクリップ）を模式的に示した図である。また図４は、非特許文献１のFigure ６と同じ図であり、図３のクリップ１に付与されたエッセンスマークＴＭをＸＭＬ（Extensible Markup Language）文書で一覧表示した図である。この図４のように、素材に付与されたエッセンスマークＴＭの一覧が可読性を持ったＸＭＬ文書として表現された場合、どのフレームにどんな意味を持ったエッセンスマークＴＭが付与されているかが一目瞭然となる。
一般に映像記録装置（例えば光ディスクレコーダ，ＶＴＲ等）がエッセンスマークＴＭに対応しているといった場合、それは映像を記録する際に、映像に付与されたエッセンスマークＴＭも同時に記録することを示す。また、本発明の出願人は、映像素材の撮影・記録に並行して映像素材にエッセンスマークＴＭのようなテキストデータを付与し、後段の編集装置において、このテキストデータが付与された映像シーンへの高速キューアップや当該シーンの一覧表示などを行うことによって編集作業を効率化する技術を提案している（特許文献１）。しかし、エッセンスマークＴＭに対応した従来の映像記録装置には、映像素材に付与されたエッセンスマークＴＭに応じて映像の記録を開始したり終了したりするといった機能はなかった。
〔従来の内視鏡（カメラ）及び映像記録装置〕
現在、医療用の内視鏡（カメラ）と映像記録装置（例えば光ディスクレコーダ，ＶＴＲ等）とは、ＨＤ−ＳＤＩフォーマットの映像信号を伝送するための同軸ケーブルと、後段の映像記録装置を制御するためのＲＳ２３２Ｃケーブルとの二本のケーブルで接続されている。これは、カメラと映像記録装置とをPeer to Peerで接続する分には問題ないが、将来この系が更に大きなシステムの一部を構成するといった状況においては問題になってくる可能性が高い。例えば映像記録装置に記録された動画を診断ソフトへ供給し、その解析結果を別のＰＡＣＳ（Picture Archiving and Communication Systems：医療用の画像保存・配信システム）に保存するといった処理を可能とするようなシステムにおいては、当然のことながら映像記録装置そのものがネットワークに接続されることとなる。そしてこのようなシステムで例えばオリジナル動画をメインモニタで確認したいといった場合、その再生制御をおこなうのは当該診断ソフトを搭載したパーソナルコンピュータであるべきであって、そのためにカメラを手元に持ってくるというのは実用的でない（映像記録装置も手元になく、リモート操作していることを前提とする）。つまり、撮影、記録などに関する制御項目はカメラからの操作を可能とすべきであろうが、そうでないもの、例えば再生、早送り、巻き戻し、特定箇所へのキューアップなど撮影と無関係な機能についてはカメラがやるべきものではなく、別のインターフェースを介した制御をおこなうべきである。
しかしながら従来の映像記録装置は、先述したように、全ての制御コマンドをＲＳ２３２Ｃを介しておこなうように設計されていることから、サブシステムとしてこれを展開することは困難であった。もちろんその対策としてＲＳ２３２Ｃを２系統以上設け、一方を従来のカメラとの接続に、他方を診断ソフトを搭載したパーソナルコンピュータに接続するといった方法もあろうが、その場合は例えば競合する制御コマンドがそれぞれのＲＳ２３２Ｃを介して同時に入力された場合の動作などについても新たに規定する必要があり（そもそも現行のＲＳ２３２Ｃプロトコルはそのような状況での利用を想定していない）、冗長なインターフェース回路の追加も相まって大幅なコストアップにつながる。また、そもそもカメラと映像記録装置との間で同軸ケーブルとＲＳ２３２Ｃケーブルとの二本のケーブルを引かなければならないことが煩わしい。
〔カメラと映像記録装置との接続について〕
本発明の出願時には未公開であるが、本発明の出願人は、複数の放送局による取材の一態様である代表取材（１つの幹事局がビデオカメラで撮影・記録する映像を、他の放送局のＶＴＲに分配して記録させるもの）において、幹事局のビデオカメラで作成される素材テープと同じものを他の放送局のＶＴＲでも同時に作成させるといった課題を解決するための発明を出願している（特願２００５−７７９６５号）。これは、ビデオカメラから記録と並行して他の一台以上の映像記録装置に伝送される映像信号に制御情報を多重化し、それらの映像記録装置では、伝送された映像信号から当該制御情報を検出して内部の映像記録系を制御するというものである。
しかし、同出願では、制御情報として、それ自体は意味を持たない（可読性のない）数値が用いられており、且つ、こうした可読性のない情報が、ＳＭＰＴＥ２９１Ｍによる補助データパケット中のユーザ領域（標準化の対象とならず、ユーザが独自の仕様を包含できる領域）に格納されている。しかし、このように可読性のない情報をユーザ領域に格納した場合には、同出願の発明に対応した映像記録装置以外の映像記録装置では、当該ユーザ領域がどのように利用されており当該情報が何を意味しているのかを判別することができないので、相互運用性が全く保証されなくなる。したがって、同出願の発明は、当該発明に対応した機器独自の拡張機能の域を超えることが困難である。
また、同出願では、ビデオカメラで作成される素材テープと同じものを他のＶＴＲでも同時に作成させるといった課題のみに厳密に対応すべく、制御情報は、映像記録装置に対する基本操作コマンド（例えば記録開始，記録終了，早送り，巻き戻し等）に限定されている。
特開２００３−２９９０１０号公報 Yoshiaki Shibata, Takumi Yoshida and Mitsutoshi Shinkai, "EssenceMark - ＳＭＰＴＥ Standard-based Textual Video Marker -", ＳＭＰＴＥ Motion Imaging Journal, Vol.114, No.12, pp.463-473 （Dec 2005） 「エッセンスマーク」映画テレビ技術協会機関誌2006年9月号掲載
このように、従来、エッセンスマークＴＭを編集装置における着目すべき映像シーンへの高速キューアップや当該シーンの一覧表示などのために利用する発明や、ビデオカメラの後段の映像記録装置に対する基本操作コマンドとして、可読性のない情報を映像素材に付与する発明（但し未公開）や、内視鏡のようなカメラから、映像信号伝送用のケーブルとは別の制御用のケーブルを介して映像記録装置を制御する技術（例えば特開２００４−３０５３７３）は存在していた。
しかし、カメラまたは後段の装置に対するなんらかの操作に応じて、可読性のある（それ自体意味を持った）情報を映像素材に付与することにより、後段の装置が、この情報を、その操作に応じた動作のために利用できるようにした発明は、未だ提案されていない。また、こうした情報を付与した映像素材を、当該発明に対応した装置以外の装置が受信した場合にも或る程度の相互運用性を保証する技術も、未だ提案されていない。
本発明は、上述の点に鑑み、カメラまたは後段の装置に対するなんらかの操作に応じて、それ自体意味を持った情報を映像素材に付与することにより、後段の装置が、この情報をその操作に応じた動作のために利用できるようにすることを第１の課題とする。さらに、本発明は、こうした情報を付与した映像素材を、本発明に対応した装置以外の装置が受信した場合にも或る程度の相互運用性を保証することを第２の課題とする。
上記第１の課題を解決するために、本発明に係る映像信号生成装置は、
映像信号を生成するカメラ部と、
このカメラ部か、この映像信号を受信させる装置かの少なくともいずれか一方を操作する操作部と、
この操作部の操作に応じて、意味をもつ言葉を含んだテキストデータを生成するテキストデータ生成部と、
このテキストデータ生成部で生成されたこのテキストデータをこの映像信号に対応させて挿入するテキストデータ挿入部と
を有することを特徴とする。
この映像信号生成装置では、操作部で、カメラ部か後段の装置（映像信号を受信させる装置）かの少なくともいずれか一方を操作することに基づき、意味をもつ言葉を含んだテキストデータ（すなわち、それ自体意味を持った、可読性のある情報）が生成され、そのテキストデータが、映像信号に対応させて挿入される。
このように、カメラ部または後段の装置に対する操作に応じて、意味をもつ言葉を含んだテキストデータが映像素材に付与されるので、後段の装置が、このテキストデータを、この映像信号生成装置での操作に応じた動作のために利用することができるようになる。
これにより、前述の第１の課題が解決される。
次に、本発明に係る映像信号受信装置は、
意味をもつ言葉を含んだテキストデータが挿入された映像信号を受信する受信部と、
この受信部において受信した映像信号からこのテキストデータを抽出するテキストデータ抽出部と、
このテキストデータ抽出部で抽出されたこのテキストデータを動作指示として解釈する解釈部と
を有し、このテキストデータに対応した所定の動作を行うことを特徴とする。
この映像信号受信装置では、受信した映像信号からテキストデータが抽出され、そのテキストデータが動作指示として解釈されて、そのテキストデータに対応した所定の動作が行われる。したがって、前述の本発明に係る映像信号生成装置で生成された映像信号を受信させることにより、抽出したテキストデータを利用して、この映像信号生成装置での操作に応じた動作を行うことができる。
次に、本発明に係る映像信号生成・受信システムは、前述の本発明に係る映像信号生成装置と映像信号受信装置とで構成されており、この映像信号生成装置によってテキストデータが挿入された映像信号を映像信号受信装置が受信することを特徴とする。
この映像信号生成・受信システムでは、映像信号生成装置でのカメラ部または映像信号受信装置に対する操作に応じて、意味をもつ言葉を含んだテキストデータが挿入された映像信号が映像信号受信装置で受信され、映像信号受信装置では、このテキストデータを利用して、映像信号生成装置での操作に応じた動作を行うことができる。
なお、本発明に係る映像信号生成装置や映像信号受信装置や映像信号生成・受信システムにおいて、
映像信号生成装置のカメラ部は、ＳＭＰＴＥによって規定されたＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を生成し、
映像信号生成装置のテキストデータ生成部は、テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Value（それを応用したエッセンスマークＴＭも含まれる）を生成し、
映像信号生成装置のテキストデータ挿入部は、このTerm Valueを、ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間に補助データとして挿入し、
映像信号受信装置の受信部は、ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を受信し、
映像信号受信装置のテキストデータ抽出部は、ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間の補助データ領域から、テキストデータとしてTerm Valueを抽出する
ことが好適である。
意味をもつ言葉を含んだテキストデータを、このように標準化されたメタデータとして挿入することにより、本発明に係る映像信号生成装置が生成した映像信号を、本発明に係る映像信号受信装置以外の装置が受信した場合でも、当該装置では、当該メタデータがどのように利用されており当該テキストデータが何を意味しているのかを判別することができる。したがって、そのレベルでの相互運用性を保証することができるので、前述の第２の課題も解決される。
本発明に係る映像信号生成装置によれば、カメラ部または後段の装置に対する操作に応じて、意味をもつ言葉を含んだテキストデータが映像素材に付与されるので、後段の装置が、このテキストデータを、この映像信号生成装置での操作に応じた動作のために利用できるようになるという効果が得られる。
本発明に係る映像信号受信装置によれば、本発明に係る映像信号生成装置で生成された映像信号を受信させることにより、抽出したテキストデータを利用して、この映像信号生成装置での操作に応じた動作を行えるという効果が得られる。
本発明に係る映像信号生成・受信システムによれば、映像信号生成装置でのカメラ部または映像信号受信装置に対する操作に応じて、意味をもつ言葉を含んだテキストデータが挿入された映像信号が映像信号受信装置で受信され、映像信号受信装置では、このテキストデータを利用して、映像信号生成装置での操作に応じた動作を行えるという効果が得られる。
また、テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Value（それを応用したエッセンスマークＴＭも含まれる）を、ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間の補助データ領域に挿入した場合には、本発明に対応した映像受信装置以外の装置でも、当該メタデータがどのように利用されており当該テキストデータが何を意味しているのかを判別することができるので、そのレベルでの相互運用性を保証できるという効果が得られる。
以下、本発明の実施形態を、図面を用いて具体的に説明する。なお、以下では、医療用の電子内視鏡と、この電子内視鏡で撮影された映像を記録する光ディスクレコーダとに本発明を適用した例について説明する。
図５は、この電子内視鏡と光ディスクレコーダとをシステムの一部として含んだ医療用の映像ネットワークシステムの全体構成を示す図である。電子内視鏡１と光ディスクレコーダ２とが、ＳＭＰＴＥ２９２Ｍ規格によるＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号（以下ＨＤ−ＳＤＩ信号と呼ぶ）を伝送するための同軸ケーブル３で接続されている。光ディスクレコーダ２には、映像表示用のモニタ４が接続されている。
光ディスクレコーダ２は、医療施設内のＬＡＮ（ローカルエリアネットワーク）５で、診断用ＰＣ（診断用のソフトウェアを搭載したパーソナルコンピュータ）６や、アーカイブ（ＰＡＣＳ：医療用の画像保存・配信システム）７や、電子カルテシステム８とも相互に接続されている。
図６は、電子内視鏡１の構成を示すブロック図である。電子内視鏡１は、人体に挿入される部分であるスコープ部（カメラ部）１１と、プロセッサ部１２とを、軟性のチューブ１３で接続したものである。プロセッサ部１２内の光源１４からの光が、チューブ１３内のライトガイド１５を通して、スコープ部１１の先端から出射される。スコープ部１１の先端部のＣＣＤカメラ（撮像レンズ及びＣＣＤ撮像素子）１６は、この光を照明光として人体内を撮影する。
ＣＣＤカメラ１６で光電変換された撮像信号は、スコープ部１１内の映像信号処理回路１７に送られる。映像信号処理回路１７では、この撮像信号にデジタル変換処理及び各種信号処理（輝度信号処理，色信号処理，ガンマ補正，Ｙ・Ｃｂ・Ｃｒへの変換等）が施されることによってデジタルＨＤＴＶ信号が生成される。このデジタルＨＤＴＶ信号は、チューブ１３内のパラレルケーブル１８を通して、スコープ部１１内のＳＤＩエンコーダ１９に送られる。
ＳＤＩエンコーダ１９は、このデジタルＨＤＴＶ信号に、ＳＭＰＴＥ２９２Ｍ規格（ＨＤ−ＳＤＩ）に則って多重，スクランブル等の処理を施す回路である。また、ＳＤＩエンコーダ１９は、プロセッサ部１２全体を制御するＣＰＵ２０の制御のもとで、このデジタルＨＤＴＶ信号のＶＢＩ(Vertical Blanking Interval)領域に、ＳＭＰＴＥ２９１Ｍ規格に則った補助データ（Ancillary data）として、エッセンスマークＴＭを重畳する。
本発明の特徴として、プロセッサ部１２の筐体表面の操作パネル２１には、光ディスクレコーダ２（図１）を操作する釦として、ＲＥＣ釦２２と、ＳＴＯＰ釦２３と、ＭＡＲＫ釦２４とが含まれている。また、プロセッサ部１２の筐体表面の、操作パネル２１の近傍には、マイクロホン２５が設けられている。
ＲＥＣ釦２２は、光ディスクレコーダ２に対する映像の記録開始操作を行うための釦であり、ＳＴＯＰ釦２３は、光ディスクレコーダ２に対する映像の記録終了操作を行うための釦である。
ＭＡＲＫ釦２４は、映像のうちの着目すべきフレーム（例えば疾患の部位が映っているフレームなど）で、光ディスクレコーダ２に対して映像を静止画としてキャプチャさせる操作を行うための釦である。
マイクロホン２５は、ＲＥＣ釦２２，ＳＴＯＰ釦２３，ＭＡＲＫ釦２４を押すことによる光ディスクレコーダ２に対する操作と同じ操作を、それぞれ「レック」，「ストップ」，「マーク」というような単語を発音することによって行うためのものである。マイクロホン２５に入力されて電気信号に変換された音声信号は、音声認識回路２６に送られる。音声認識回路２６は、この音声信号から前述の「レック」，「ストップ」，「マーク」という単語を認識して、その認識結果をＣＰＵ２０に伝える。
図７は、このＲＥＣ釦２２，ＳＴＯＰ釦２３，ＭＡＲＫ釦２４の操作や音声認識回路２６の認識結果に基づいてＣＰＵ２０がＳＤＩエンコーダ１９を制御する処理を示すフローチャートである。
この処理では、最初に、ＲＥＣ釦２２が押されたかまたは音声認識回路２６で「レック」という単語が認識されたかの判断（ステップＳ１）と、ＳＴＯＰ釦２３が押されたかまたは音声認識回路２６で「ストップ」という単語が認識されたかの判断（ステップＳ２）と、ＭＡＲＫ釦２４が押されたかまたは音声認識回路２６で「マーク」という単語が認識されたかの判断（ステップＳ３）とを、いずれかでイエスになるまで繰り返す。
ステップＳ１でイエスになると、“_RecStart”（図２に示したように、ＡＶ素材の記録開始位置を示す予約語）をエッセンスマーク値（図１に示したＫＬＶメタデータのValueの値）としたエッセンスマークＴＭを生成し、ＳＤＩエンコーダ１９を制御して、そのタイミングのフレームのＶＢＩ領域にこのエッセンスマークＴＭを補助データとして重畳させる（ステップＳ４）。そしてステップＳ１に戻る。
ステップＳ２でイエスになると、“_RecEnd”（図２に示したように、ＡＶ素材の記録終了位置を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭを生成し、ＳＤＩエンコーダ１９を制御して、そのタイミングのフレームのＶＢＩ領域にこのエッセンスマークＴＭを補助データとして重畳させる（ステップＳ５）。そしてステップＳ１に戻る。
ステップＳ３でイエスになると、“_ShotMark1” （図２に示したように、ＡＶ素材のうちの着目したシーンである着目点を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭを生成し、ＳＤＩエンコーダ１９を制御して、そのタイミングのフレームのＶＢＩ領域にこのエッセンスマークＴＭを補助データとして重畳させる（ステップＳ６）。そしてステップＳ１に戻る。
ＣＰＵ２０が実行するこの図７の処理に基づき、ＳＤＩエンコーダ１９が、デジタルＨＤＴＶ信号のＶＢＩ領域にエッセンスマークＴＭを重畳する。図８は、ＳＤＩエンコーダ１９によって重畳されるエッセンスマークＴＭの例として“_RecStart”をエッセンスマーク値としたエッセンスマークＴＭ（図７の処理のステップＳ４に基づいて重畳されるもの）を示した図であり、非特許文献１のFigure ５と同じ図である。
図６に示すように、ＳＤＩエンコーダ１９の処理を経たパラレルデジタル映像信号は、パラレル／シリアル変換回路２７によってシリアル信号に変換される。そして、このシリアルデジタル映像信号（ＨＤ−ＳＤＩ信号）が、ＨＤ−ＳＤＩ出力端子２８から出力され、図５に示した同軸ケーブル３を通して光ディスクレコーダ２（図５）に送られる。
図９は、光ディスクレコーダ２のうち本発明に関連する部分の構成を示すブロック図である。同軸ケーブル３を通して送られたＨＤ−ＳＤＩ信号は、ＨＤ−ＳＤＩ入力端子３１から入力し、シリアル／パラレル変換回路３２によってパラレル信号に変換されて、ＳＤＩデコーダ３３に送られる。
ＳＤＩデコーダ３３は、このパラレル変換されたＨＤ−ＳＤＩ信号に対して、ＳＭＰＴＥ２９２Ｍ規格に則ってデスクランブルや多重されたデータの分離等の処理を施すことにより、元のデジタルＨＤＴＶ信号を復元する回路である。また、ＳＤＩデコーダ３３は、デジタルＨＤＴＶ信号のＶＢＩ領域から、タイミングリファレンス信号（ＥＡＶ及びＳＡＶ）と補助データとを検出する処理も行う。
ＳＤＩデコーダ３３によって復元されたデジタルＨＤＴＶ信号は、キャラクタをスーパインポーズするための合成回路３４を経由して、記録用の映像信号処理回路３５と、静止画キャプチャ処理回路３６と、マルチ画面処理回路３７とに送られる。
映像信号処理回路３５では、デジタルＨＤＴＶ信号に、エラー正符号の付加や、光ディスクへの記録に適した信号への変調や、圧縮等の処理が施される。映像信号処理回路３５の処理を経た信号は、光学ピックアップ３８に送られる。
静止画キャプチャ処理回路３６は、デジタルＨＤＴＶ信号から静止画をキャプチャし、その静止画データを、医療用の画像データのフォーマットであるＤＩＣＯＭ（Digital Imaging and Communications in Medicine）フォーマットの画像ファイルとして画像メモリ３９に格納する回路である。
マルチ画面処理回路３７は、合成回路３４からのデジタルＨＤＴＶ信号と、画像メモリ３９から読み出した（例えばファイルの作成時の新しい順に所定数だけ読み出した）画像ファイルの静止画データとをそれぞれ縮小して一画面に配列したマルチ画面の映像信号を生成する回路である。なお、画像メモリ３９にまだ画像ファイルが記憶されていない場合には、マルチ画面処理回路３７は、合成回路３４からのデジタルＨＤＴＶ信号をそのまま出力する（別の例として、静止画データの部分を空白にしたマルチ画面の映像信号を生成してもよい）。マルチ画面処理回路３７で生成された映像信号は、モニタ表示用の映像出力端子４０から出力して、図５のモニタ４に送られる。
ＳＤＩデコーダ３３によって検出されたタイミングリファレンス信号及び補助データは、光ディスクレコーダ２全体を制御するＣＰＵ４１に送られる。ＣＰＵ４１は、この補助データのうちのタイムコードに基づき、オンスクリーンデータ発生回路４２を制御して、現在のタイムコードを表すオンスクリーンデータ（キャラクタ）を発生させる。オンスクリーンデータ発生回路４２で発生されたキャラクタは、合成回路３４に送られて、デジタルＨＤＴＶ信号にスーパインポーズされる。
また、ＣＰＵ４１は、フレーム毎に、ＳＤＩデコーダ３３から送られる補助データからエッセンスマークＴＭの有無及び内容を判別することにより、図１０に示すような処理を実行する。
この処理では、最初に、当該フレームの補助データに、“_RecStart”（図２に示したように、ＡＶ素材の記録開始位置を示す予約語）をエッセンスマーク値（図１に示したＫＬＶメタデータのValueの値）としたエッセンスマークＴＭが含まれているかの判断（ステップＳ１１）と、“_RecEnd” （図２に示したように、ＡＶ素材の記録終了位置を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭが含まれているかの判断（ステップＳ１２）と、“_ShotMark1” （図２に示したように、ＡＶ素材のうちの着目したシーンである着目点を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭが含まれているかの判断（ステップＳ１３）とを、いずれかでイエスになるまで繰り返す。
ステップＳ１１でイエスになると、オンスクリーンデータ発生回路４２（図９）を制御して、現在映像を記録中であることを表す「ＲＥＣ」のようなキャラクタを、それ以降のフレームで発生させ続ける（ステップＳ１４）。また、図９の光学ピックアップ３８の位置を調節するアクチュエータや、スピンドルモータを駆動する駆動回路等（図示略）を制御して、光ディスクレコーダ２内に装填された光ディスク（図示略）への映像の記録を開始させる（ステップＳ１５）。そして、当該フレームにおける処理を終了する。
ステップＳ１２でイエスになると、オンスクリーンデータ発生回路４２を制御して、それまで発生していた記録中であることを表すキャラクタ（過去のフレームについての処理においてステップＳ１４で発生させたキャラクタ）の発生を終了させる（ステップＳ１６）。また、前述のアクチュエータや駆動回路等を制御して、光ディスクへの映像の記録を終了させる（ステップＳ１７）。そして、当該フレームにおける処理を終了する。
ステップＳ１３でイエスになると、エッセンスマーク値である“_ShotMark1”を、当該フレームを識別する識別情報 （例えばフレーム番号）と共に、例えば図４に示したＸＭＬ文書のファイルのような文書ファイルとして、ＣＰＵ４１内部のメモリに記憶する（ステップＳ１８）。続いて、静止画キャプチャ処理回路３６（図９）を制御して、当該フレームの映像を静止画としてキャプチャして画像メモリ３９に画像ファイルを格納させる（ステップＳ１９）。そして、当該フレームにおける処理を終了する。
次に、図５の電子内視鏡１での操作によって、光ディスクレコーダ２に映像が記録される様子や、モニタ４に表示される映像について説明する。
電子内視鏡１を操作するオペレータが撮影を開始すると、電子内視鏡１から光ディスクレコーダ２に同軸ケーブル３を通してＨＤ−ＳＤＩ信号が送られ、光ディスクレコーダ２からモニタ４にデジタルＨＤＴＶ信号が送られることにより、撮影中の映像がモニタ４に表示される。
このオペレータが、光ディスクレコーダ２で映像の記録を開始するために、電子内視鏡１の操作パネル２１のＲＥＣ釦２２（図６）を押すか、または操作パネル２１の近傍のマイクロホン２５（図６）に向けて「レック」という音声を発すると、そのタイミングのＨＤ−ＳＤＩ信号のフレームのＶＢＩ領域に、“_RecStart”をエッセンスマーク値としたエッセンスマークＴＭが重畳される（図７のステップＳ４）。
光ディスクレコーダ２の側では、このエッセンスマークＴＭが分離され、このエッセンスマークＴＭを動作指示と解釈して、映像の記録が開始される（図１０のステップＳ１５）。また、記録中であることを表す「ＲＥＣ」のようなキャラクタがスーパインポーズされて（図１０のステップＳ１４）、モニタ４にもこのキャラクタがスーパ表示される。
このようにして映像の記録を開始した後、このオペレータが、着目すべきフレーム（例えば疾患の部位が映っているフレームなど）で、操作パネル２１のＭＡＲＫ釦２４（図６）を押すか、マイクロホン２５に向けて「マーク」という音声を発すると、そのタイミングのＨＤ−ＳＤＩ信号のフレームのＶＢＩ領域に、“_ShotMark1”をエッセンスマーク値としたエッセンスマークＴＭが重畳される（図７のステップＳ６）。
光ディスクレコーダ２の側では、このエッセンスマークＴＭが分離され、このエッセンスマークＴＭを動作指示と解釈して、エッセンスマーク値“_ShotMark1”がフレーム番号などと共に文書ファイルとして記憶される（図１０のステップＳ１８）とともに、そのフレームの映像が静止画としてキャプチャされる（図１０のステップＳ１９）。また、キャプチャした静止画が、撮影中の映像とともにモニタ４にマルチ画面で表示される。
図１１は、複数のフレームでＭＡＲＫ釦２４を押した（または「マーク」という音声を発した）段階でのモニタ４の表示画面を例示した図である。画面の上寄りに、撮影中の映像が表示されている。この映像には、現在のタイムコードと、記録中であることを表すキャラクタ「ＲＥＣ」とがスーパ表示されている。画面の下寄りには、左から新しい順（タイムコードが現在の値に近い順）に４つの静止画が表示されている。
その後、このオペレータが、光ディスクレコーダ２で映像の記録を終了するために、操作パネル２１のＳＴＯＰ釦２３（図６）を押すか、またはマイクロホン２５に向けて「ストップ」という音声を発すると、そのタイミングのＨＤ−ＳＤＩ信号のフレームのＶＢＩ領域に、“_RecEnd”をエッセンスマーク値としたエッセンスマークＴＭが重畳される（図７のステップＳ５）。
光ディスクレコーダ２の側では、このエッセンスマークＴＭが分離され、このエッセンスマークＴＭを動作指示と解釈して、映像の記録が終了する（図１０のステップＳ１７）。また、記録中であることを表すキャラクタの発生が終了し（図１０のステップＳ１６）、モニタ４にもこのキャラクタがスーパ表示されなくなる。
このようにして、電子内視鏡１の操作パネル２１での光ディスクレコーダ２に対する記録開始，静止画キャプチャ，記録終了操作（操作釦または音声による操作）に応じて、意味をもつ言葉を含んだテキストデータであるエッセンスマークＴＭが挿入されたＨＤ−ＳＤＩ信号が光ディスクレコーダ２で受信され、光ディスクレコーダ２では、このエッセンスマークＴＭを利用して、電子内視鏡１での操作に応じた記録開始，静止画キャプチャ，記録終了動作を行うことができる。
また、電子内視鏡１と光ディスクレコーダ２とをＨＤ−ＳＤＩ信号の伝送用の一本の同軸ケーブル３で接続するだけで、光ディスクレコーダ２での記録動作や静止画キャプチャ動作を制御することができる。
また、電子内視鏡１からは、光ディスクレコーダ２での映像の記録動作を制御するが、記録した映像の再生動作は制御しない。例えば図５の診断用ＰＣ６からＬＡＮ５経由で再生動作を制御するとともに、光ディスクレコーダ２を、この制御に応じて、記録した映像をファイル化してＬＡＮ５経由で送信するように構成することにより、電子内視鏡１と光ディスクレコーダ２とから成る系を、上位システムである図５の医療用映像ネットワークシステム内のサブシステムとして構築することが可能となる。
また、エッセンスマークＴＭは、標準化されたメタデータであるＫＬＶメタデータを応用した可読性のあるテキストデータなので、光ディスクレコーダ２のような本発明に対応した装置以外の装置が電子内視鏡１からＨＤ−ＳＤＩ信号を受信した場合でも、当該装置では、当該メタデータがどのように利用されており当該テキストデータが何を意味しているのかを判別することができる。したがって、そのレベルでの相互運用性（例えば、映像を記録した後の再生時に、“_ShotMark1”をエッセンスマーク値としたエッセンスマークＴＭが重畳されたフレームのサムネイル画像を一覧表示することなど）を保証することができる。
なお、以上の例では、図２に示した予約語をエッセンスマーク値としたエッセンスマークＴＭを生成してＨＤ−ＳＤＩ信号に重畳している。しかし、変更例として、予約語以外のエッセンスマーク値として、オペレータが任意の名称（例えばポリープのような疾患の名称）を割り当てることのできる操作釦を電子内視鏡１の操作パネル２１に設け、その操作釦を押すことによって、その操作釦に割り当てた名称をエッセンスマーク値としたエッセンスマークＴＭを生成してＨＤ−ＳＤＩ信号に重畳し、光ディスクレコーダ２の側では、このエッセンスマーク値をオンスクリーンデータ発生回路４２でキャラクタとして発生するようにしてもよい。それにより、図１２に例示したように、このエッセンスマーク値自体（図では“ポリープ”）をスーパ表示した映像を、光ディスクレコーダ２に記録するとともにモニタ４に表示することができるようになる。
さらに、この変更例において、こうした名称をスーパ表示する時間の長さや画面上の位置やフォント色等を設定するための操作釦を操作パネル２１に設け、その設定内容を示すコマンドを、名称自体とは区別できるようにしてエッセンスマーク値に付加し、光ディスクレコーダ２の側では、そのコマンドに応じて、キャラクタを発生させる時間の長さや画面上の位置やフォント色等を調整するようにしてもよい。
また、以上の例では、操作釦または音声による操作に応じてエッセンスマークＴＭを生成・重畳しているが、こうした操作以外に、次の（１）〜（３）のような処理をトリガーとしてエッセンスマークＴＭを生成・重畳するようにしてもよい。
（１）画像処理によって所定の結果が得られた（例えばパターン認識技術の適用で疾患の部位が検出された）こと。
（２）映像とともに音声を記録する場合に、音声処理によって所定の結果が得られた（た例えば所定のレベルの音声が検出された）こと。
（３）予め設定された時刻が到来したこと。
また、以上の例では、医療用の電子内視鏡と、この電子内視鏡で撮影された映像を記録する光ディスクレコーダとに本発明を適用している。しかし、本発明は、医療用途に限らず、セキュリティ（防犯・防災）用途や、学術用途（遺跡発掘）や、その他、カメラ部を有する装置で生成した映像を他の装置で記録するあらゆる用途に適用してよい。さらに、本発明は、カメラ部を有する装置で生成した映像を、映像記録機能を有しない他の装置に受信させる用途において、当該他の装置の動作を制御するために適用してもよい。
また、以上の例では、電子内視鏡１での光ディスクレコーダ２に対する操作に応じてエッセンスマークＴＭを生成・重畳している。しかし、カメラ部に対する操作を行う操作部を有する装置に本発明を適用する場合に、カメラ部に対する操作に応じたエッセンスマークＴＭを生成・重畳する（例えば、フィルタやシャッタ速度やゲインを変更する操作を行ったことに応じて、図２に示した予約語のうちの“_FilterChange”（フィルタの変更点を示す予約語）や“_ShutterSpeedChange”（シャッタ速度の変更点を示す予約語）や“_GainChange”（ゲインの変更点を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭを生成・重畳する）ようにしてもよい。
また、以上の例では、エッセンスマークＴＭを生成してＨＤ−ＳＤＩ信号のＶＢＩ領域に重畳しているが、エッセンスマークＴＭ以外の、意味をもつ言葉を含んだテキストデータを生成したり、ＨＤ−ＳＤＩ信号以外のフォーマットの映像信号にそうしたテキストデータを挿入するようにしてもよい。
ＳＭＰＴＥによるＫＬＶメタデータの構造を示す図である。 エッセンスマークＴＭの予約語を示す図である。 エッセンスマークＴＭが付与されたビデオクリップを例示した図である。 図３のエッセンスマークＴＭをＸＭＬ文書で一覧表示した図である。 医療用の映像ネットワークシステムの全体構成を示す図である。 図５の電子内視鏡の構成を示すブロック図である。 電子内視鏡内でＣＰＵがＳＤＩエンコーダを制御する処理を示すフローチャートである。 “_RecStart”をエッセンスマーク値としたエッセンスマークＴＭを示す図である。 図５の光ディスクレコーダの構成を示すブロック図である。 光ディスクレコーダ内のＣＰＵがエッセンスマークＴＭに基づいて実行する処理を示すフローチャートである。 図５のモニタの表示画面を例示した図である。 変更例に係るモニタの表示画面を例示した図である。
符号の説明
１ 内視鏡、 ２ 光ディスクレコーダ、 ３ 同軸ケーブル、 ４ モニタ、 ５ ＬＡＮ、 ６ 診断用ＰＣ、 ７ アーカイブ、 ８ 電子カルテシステム、 １１ スコープ部、 １２ プロセッサ部、 １６ ＣＣＤカメラ、 １９ ＳＤＩエンコーダ、 ２０ ＣＰＵ、 ２２ ＲＥＣ釦、 ２３ ＳＴＯＰ釦、 ２４ ＭＡＲＫ釦、 ２５ マイクロホン、 ２６ 音声認識回路、 ３３ ＳＤＩデコーダ、 ３４ 合成回路、 ３５ 映像信号処理回路、 ３６ 静止画キャプチャ処理回路、 ３７ マルチ画面処理回路、 ３９ 画像メモリ、 ４１ ＣＰＵ、 ４２ オンスクリーンデータ発生回路

Claims (14)

  1. 映像信号を生成するカメラ部と、
    上記カメラ部か、上記映像信号を受信させる装置かの少なくともいずれか一方を操作する操作部と、
    上記操作部の操作に応じて、意味をもつ言葉を含んだテキストデータを生成するテキストデータ生成部と、
    上記テキストデータ生成部で生成された上記テキストデータを上記映像信号に対応させて挿入するテキストデータ挿入部と
    を有することを特徴とする映像信号生成装置。
  2. 請求項１に記載の映像信号生成装置において、
    上記カメラ部は、ＳＭＰＴＥによって規定されたＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を生成し、
    上記テキストデータ生成部は、上記テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Valueを生成し、
    上記テキストデータ挿入部は、上記Term Valueを、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間に補助データとして挿入する
    ことを特徴とする映像信号生成装置。
  3. 請求項１に記載の映像信号生成装置において、
    上記操作部は、上記映像信号を受信させる装置での映像の記録開始，記録終了をそれぞれ行う記録開始操作手段，記録終了操作手段を含み、
    上記テキストデータ生成部は、上記記録開始操作手段，上記記録終了操作手段の操作に応じて、それぞれ、映像記録の開始点，終了点であることを示すテキストデータを生成する
    ことを特徴とする映像信号生成装置。
  4. 請求項１に記載の映像信号生成装置において、
    上記操作部は、映像のうちの着目すべきフレームで操作することにより、上記映像信号を受信させる装置に当該フレームを着目点として伝えるための操作手段を含み、
    上記テキストデータ生成部は、上記操作手段の操作に応じて、着目点であることを示すテキストデータを生成する
    ことを特徴とする映像信号生成装置。
  5. 請求項１に記載の映像信号生成装置において、
    マイクロホンと、
    上記マイクロホンに入力された音声を認識する音声認識部と、
    をさらに有しており、
    上記テキストデータ生成部は、上記音声認識部での認識結果にも基づいて上記テキストデータを生成する
    ことを特徴とする映像信号生成装置。
  6. 意味をもつ言葉を含んだテキストデータが挿入された映像信号を受信する受信部と、
    上記受信部において受信した映像信号から上記テキストデータを抽出するテキストデータ抽出部と、
    上記テキストデータ抽出部で抽出された上記テキストデータを動作指示として解釈する解釈部と
    を有し、上記テキストデータに対応した所定の動作を行うことを特徴とする映像信号受信装置。
  7. 請求項６に記載の映像信号受信装置において、
    上記受信部は、ＳＭＰＴＥによって規定されたＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を受信し、
    上記テキストデータ抽出部は、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間の補助データ領域から、上記テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Valueを抽出する
    ことを特徴とする映像信号受信装置。
  8. 請求項６に記載の映像信号受信装置において、
    上記受信部で受信した映像信号を記録する記録部
    を有しており、
    上記解釈部は、映像記録の開始点，終了点であることを示すテキストデータを、それぞれ、映像信号の記録開始指示，記録終了指示として解釈し、
    上記映像記録の開始点，終了点であることを示すテキストデータに応じて、それぞれ、上記記録部での映像信号の記録開始，記録終了を行う
    ことを特徴とする映像信号受信装置。
  9. 請求項８に記載の映像信号受信装置において、
    オンスクリーンデータを発生するオンスクリーンデータ発生部と、
    上記オンスクリーンデータ発生部で発生したオンスクリーンデータを、上記受信部で受信した映像信号に合成する合成部と
    をさらに有しており、上記合成部を経由した映像信号がモニタ表示用に出力され、
    上記記録部での映像信号の記録開始から記録終了までの間、記録中であることを表すオンスクリーンデータを上記オンスクリーンデータ発生部で発生させる
    ことを特徴とする映像信号受信装置。
  10. 請求項６に記載の映像信号受信装置において、
    上記受信部で受信した映像信号を静止画としてキャプチャする静止画キャプチャ部
    を有しており、
    上記解釈部は、着目点であることを示すテキストデータを、映像信号を静止画としてキャプチャする指示として解釈し、
    上記着目点であることを示すテキストデータに応じて、上記静止画キャプチャ部でのキャプチャを行う
    ことを特徴とする映像信号受信装置。
  11. 請求項１０に記載の映像信号受信装置において
    上記受信部で受信した映像信号と、上記静止画キャプチャ部でキャプチャされた静止画とを一画面に表示するマルチ画面の映像信号を生成するマルチ画面処理部
    をさらに有しており、
    上記マルチ画面処理部を経由した映像信号がモニタ表示用に出力される
    ことを特徴とする映像信号受信装置。
  12. 請求項６に記載の映像信号受信装置において、
    オンスクリーンデータを発生するオンスクリーンデータ発生部と、
    上記オンスクリーンデータ発生部で発生したオンスクリーンデータを、上記受信部で受信した映像信号に合成する合成部と
    をさらに有しており、
    上記解釈部は、上記テキストデータ抽出部で抽出されたテキストデータを、当該テキストデータを映像にスーパインポーズする指示として解釈し、
    上記テキストデータ抽出部で抽出されたテキストデータを、上記オンスクリーンデータ発生部でオンスクリーンデータとして発生させる
    ことを特徴とする映像信号受信装置。
  13. 映像信号生成装置と映像信号受信装置とで構成されており、
    上記映像信号生成装置は、
    映像信号を生成するカメラ部と、
    上記カメラ部か、上記映像信号を受信させる装置かの少なくともいずれか一方を操作する操作部と、
    上記操作部の操作に応じて、意味をもつ言葉を含んだテキストデータを生成するテキストデータ生成部と、
    上記テキストデータ生成部で生成された上記テキストデータを上記映像信号に対応させて挿入するテキストデータ挿入部と
    を有しており、
    上記映像信号受信装置は、
    上記映像信号生成装置によって上記テキストデータが挿入された映像信号を受信する受信部と、
    上記受信部において受信した映像信号から上記テキストデータを抽出するテキストデータ抽出部と、
    上記テキストデータ抽出部で抽出された上記テキストデータを動作指示として解釈する解釈部と
    を有し、上記テキストデータに対応した所定の動作を行う
    ことを特徴とする映像信号生成・受信システム。
  14. 請求項１３に記載の映像信号生成・受信システムにおいて、
    上記映像信号生成装置の上記カメラ部は、ＳＭＰＴＥによって規定されたＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を生成し、
    上記映像信号生成装置の上記テキストデータ生成部は、上記テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Valueを生成し、
    上記映像信号生成装置の上記テキストデータ挿入部は、上記Term Valueを、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間に補助データとして挿入し、
    上記映像信号受信装置の上記受信部は、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を受信し、
    上記映像信号受信装置の上記テキストデータ抽出部は、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間の補助データ領域から、上記テキストデータとして上記Term Valueを抽出する
    ことを特徴とする映像信号生成・受信システム。
JP2006247179A 2006-09-12 2006-09-12 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム Expired - Fee Related JP4305483B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006247179A JP4305483B2 (ja) 2006-09-12 2006-09-12 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム
US11/834,167 US9153284B2 (en) 2006-09-12 2007-08-06 Video signal generating apparatus, video signal receiving apparatus, and video signal generating and receiving system
CN200710148941XA CN101146177B (zh) 2006-09-12 2007-09-12 视频信号生成装置、视频信号接收装置以及视频信号生成和接收系统
US14/839,305 US10389926B2 (en) 2006-09-12 2015-08-28 Video signal generating apparatus, video signal receiving apparatus, and video signal generating and receiving system
US16/459,327 US11056226B2 (en) 2006-09-12 2019-07-01 Video signal generating apparatus, video signal receiving apparatus, and video signal generating and receiving system
US17/351,255 US11948675B2 (en) 2006-09-12 2021-06-18 Video signal generating apparatus, video signal receiving apparatus, and video signal generating and receiving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006247179A JP4305483B2 (ja) 2006-09-12 2006-09-12 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム

Publications (2)

Publication Number Publication Date
JP2008072236A true JP2008072236A (ja) 2008-03-27
JP4305483B2 JP4305483B2 (ja) 2009-07-29

Family

ID=39208445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006247179A Expired - Fee Related JP4305483B2 (ja) 2006-09-12 2006-09-12 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム

Country Status (3)

Country Link
US (4) US9153284B2 (ja)
JP (1) JP4305483B2 (ja)
CN (1) CN101146177B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100885A (ja) * 2010-11-10 2012-05-31 Olympus Corp 内視鏡装置
US8693839B2 (en) 2011-01-21 2014-04-08 Sony Corporation Image recording apparatus and image recording control method
JP2014072603A (ja) * 2012-09-28 2014-04-21 Canon Inc 補助データ重畳装置及びそれを備える撮影システム
WO2015083451A1 (ja) * 2013-12-04 2015-06-11 オリンパス株式会社 ワイヤレス伝送システム
JP2016007444A (ja) * 2014-06-25 2016-01-18 オリンパス株式会社 画像記録装置
JP2018174541A (ja) * 2018-06-06 2018-11-08 キヤノン株式会社 撮像装置、撮像装置の制御方法及びシステム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4305483B2 (ja) 2006-09-12 2009-07-29 ソニー株式会社 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム
PL2149827T3 (pl) * 2008-07-28 2015-03-31 Grieshaber Vega Kg Generowanie obrazów do stosowania w wielojęzycznych programach operacyjnych
JP5326066B1 (ja) * 2011-10-25 2013-10-30 オリンパスメディカルシステムズ株式会社 内視鏡手術システム
CN102708838B (zh) * 2012-05-15 2014-12-03 广东威创视讯科技股份有限公司 一种多屏处理器输出信号的方法和装置
JP6143451B2 (ja) * 2012-12-21 2017-06-07 キヤノン株式会社 撮影装置、その制御方法、プログラム、及び記憶媒体、並びに撮影処理システム、その制御方法、プログラム、及び記憶媒体
CN104702908B (zh) 2014-03-28 2018-03-06 杭州海康威视数字技术股份有限公司 一种智能信息传输方法、系统和装置
CN104486560A (zh) * 2014-12-30 2015-04-01 南京巨鲨显示科技有限公司 基于语音识别的多医疗影像显示和控制系统及其工作方法
US10390030B2 (en) * 2017-03-10 2019-08-20 Raytheon Company Symbology encoding in video data
US20200005949A1 (en) * 2018-02-20 2020-01-02 Pristine Surgical, Llc Engagement and Education of Patients for Endoscopic Surgery
US20230290322A1 (en) * 2022-03-10 2023-09-14 Rockwell Collins, Inc. Methodology for image synchronization to video imaging devices

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4652944A (en) * 1984-06-25 1987-03-24 Kirsch Technologies, Inc. Computer memory back-up
JPH04365278A (ja) * 1991-06-13 1992-12-17 Matsushita Electric Ind Co Ltd 多画面表示回路
JPH05292447A (ja) 1992-04-10 1993-11-05 Teac Corp ビデオ信号記録又は再生装置
US5701153A (en) * 1994-01-14 1997-12-23 Legal Video Services, Inc. Method and system using time information in textual representations of speech for correlation to a second representation of that speech
US7113971B1 (en) * 1996-08-05 2006-09-26 Canon Kabushiki Kaisha Communication method and apparatus, server and client on network, and program codes realizing communication thereof
US5926568A (en) * 1997-06-30 1999-07-20 The University Of North Carolina At Chapel Hill Image object matching using core analysis and deformable shape loci
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
US6285819B1 (en) * 1998-04-15 2001-09-04 Daewoo Electronics Co., Ltd. Method and apparatus for interactively changing an EEPROM data of a video cassette tape recorder
DE60042442D1 (de) * 1999-04-26 2009-08-06 Sony Corp Datenverarbeitungsgerät und verfahren zum kontrollieren der aufzeichnung von fernsehprogrammen und aufzeichnungsmedium aud welchem das programm aufgezeichnet ist
US6563105B2 (en) * 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
US6678465B1 (en) * 1999-06-18 2004-01-13 Ati International, Srl Method and apparatus for restricting a video output of a computing system based on copy protection information
JP3813579B2 (ja) * 2000-05-31 2006-08-23 シャープ株式会社 動画像編集装置、動画像編集プログラム、コンピュータ読み取り可能な記録媒体
WO2002019719A1 (en) * 2000-08-30 2002-03-07 Watchpoint Media, Inc. A method and apparatus for hyperlinking in a television broadcast
US7031553B2 (en) * 2000-09-22 2006-04-18 Sri International Method and apparatus for recognizing text in an image sequence of scene imagery
AUPR432701A0 (en) * 2001-04-10 2001-05-17 Lions Eye Institute Of Western Australia Incorporated, The Virtual service system for client and service provider users and method therefor
WO2003030763A1 (en) * 2001-10-05 2003-04-17 Boston Innovative Optics, Inc. A system and method of providing visual documentation during surgery
JP2003164413A (ja) * 2001-12-03 2003-06-10 Olympus Optical Co Ltd 内視鏡画像ファイリングシステム
JP4362265B2 (ja) 2002-04-05 2009-11-11 ソニー株式会社 映像コンテンツ編集支援システム，記録装置，編集者端末装置，コンピュータプログラム，記録媒体，映像コンテンツ編集支援方法
JP2004022023A (ja) * 2002-06-13 2004-01-22 Pioneer Electronic Corp 再生装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2004028155A2 (en) * 2002-09-19 2004-04-01 Image Stream Medical, Llc Streaming digital recording system
JP2004180279A (ja) 2002-11-13 2004-06-24 Sony Corp コンテンツ編集支援システム，映像処理装置，再生装置，編集装置，コンピュータプログラム，およびコンテンツ処理方法
DE60332422D1 (de) 2002-11-13 2010-06-17 Sony Corp Unterstützungssystem zum Editieren von Inhalt, Computerprogramm und Inhaltsverarbeitungsverfahren
JP4218590B2 (ja) * 2004-05-26 2009-02-04 ソニー株式会社 画像処理システム、情報処理装置および方法、画像処理装置および方法、記録媒体、並びにプログラム
JP4433937B2 (ja) 2004-08-24 2010-03-17 ソニー株式会社 撮像装置、撮像方法および撮像プログラム、ならびに、記録装置、記録方法および記録プログラム
US8724023B2 (en) * 2004-09-09 2014-05-13 Texas Instruments Incorporated System and method for transporting an ancillary data packet in the active area of a video stream
DE102004046430A1 (de) * 2004-09-24 2006-04-06 Siemens Ag System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke
US8443279B1 (en) * 2004-10-13 2013-05-14 Stryker Corporation Voice-responsive annotation of video generated by an endoscopic camera
JP4378258B2 (ja) * 2004-10-14 2009-12-02 富士フイルム株式会社 画像補正装置およびその制御方法
KR20060077988A (ko) * 2004-12-30 2006-07-05 삼성전자주식회사 멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한정보 제공 시스템 및 방법
US20060177114A1 (en) * 2005-02-09 2006-08-10 Trongtum Tongdee Medical digital asset management system and method
JP2006221583A (ja) 2005-02-14 2006-08-24 Olympus Corp 医療支援システム
JP4832770B2 (ja) 2005-02-15 2011-12-07 オリンパス株式会社 医療支援システム
JP4264655B2 (ja) * 2005-03-17 2009-05-20 ソニー株式会社 映像記録システム，映像記録装置，映像信号の記録方法
JP4305483B2 (ja) 2006-09-12 2009-07-29 ソニー株式会社 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100885A (ja) * 2010-11-10 2012-05-31 Olympus Corp 内視鏡装置
US8693839B2 (en) 2011-01-21 2014-04-08 Sony Corporation Image recording apparatus and image recording control method
JP2014072603A (ja) * 2012-09-28 2014-04-21 Canon Inc 補助データ重畳装置及びそれを備える撮影システム
WO2015083451A1 (ja) * 2013-12-04 2015-06-11 オリンパス株式会社 ワイヤレス伝送システム
JP5914765B2 (ja) * 2013-12-04 2016-05-11 オリンパス株式会社 ワイヤレス伝送システム
US9584795B2 (en) 2013-12-04 2017-02-28 Olympus Corporation Wireless transfer system
JP2016007444A (ja) * 2014-06-25 2016-01-18 オリンパス株式会社 画像記録装置
JP2018174541A (ja) * 2018-06-06 2018-11-08 キヤノン株式会社 撮像装置、撮像装置の制御方法及びシステム

Also Published As

Publication number Publication date
US20190327401A1 (en) 2019-10-24
US20150373244A1 (en) 2015-12-24
US9153284B2 (en) 2015-10-06
US11056226B2 (en) 2021-07-06
US11948675B2 (en) 2024-04-02
JP4305483B2 (ja) 2009-07-29
US20210313044A1 (en) 2021-10-07
US10389926B2 (en) 2019-08-20
US20080170834A1 (en) 2008-07-17
CN101146177A (zh) 2008-03-19
CN101146177B (zh) 2010-04-07

Similar Documents

Publication Publication Date Title
JP4305483B2 (ja) 映像信号生成装置，映像信号受信装置及び映像信号生成・受信システム
US7417667B2 (en) Imaging device with function to image still picture during moving picture imaging
US8659678B2 (en) Image recording apparatus, image reproducing apparatus, method of controlling image recording apparatus, method of controlling image reproducing apparatus, computer program, and recording medium, with storing of a plurality of frame images, a plurality of attribute information in EXIF format, and plurality of offset data in one image file
US20100080536A1 (en) Information recording/reproducing apparatus and video camera
EP2573758B1 (en) Method and apparatus for displaying summary video
EP1347455A2 (en) Contents recording/playback apparatus and contents edit method
JP4672764B2 (ja) 誤消去判断装置、方法及びプログラム
US7557838B2 (en) Imaging method and imaging apparatus
JP6145748B2 (ja) 映像再生装置および映像記録装置
KR101133125B1 (ko) 촬영시간 표시 시스템 및 방법
US20110085047A1 (en) Photographing control method to set photographing configuration according to image processing scheme useable with image content, and photographing apparatus using the same
KR101032471B1 (ko) 네트워크 기반 자막 생성 방법 및 시스템
US20080002040A1 (en) Imaging apparatus, method of producing image signal, and method of setting imaging operation
JP4934383B2 (ja) 映像情報記録装置及び方法、並びにプログラム
JP6799092B2 (ja) 撮像装置および撮像方法
JP2009159314A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2008199662A (ja) 撮像装置、画像記録装置および画像記録方法
JP3306808B1 (ja) 電子スチルカメラ
US20120069047A1 (en) Image display apparatus, image editing apparatus, image display program, and image editing program
JP3026559B2 (ja) 映像識別信号の附加及び削除装置及びその方法
JP4116915B2 (ja) Ｄｖキャプチャシステム、ｄｖキャプチャ方法、ｄｖキャプチャ処理プログラム、記録媒体及びコンピュータ
JP2009055398A (ja) 番組バンクシステム
JP2004140603A (ja) 画像記録再生装置
JP2004128686A (ja) 写真プリント注文用情報生成装置及び写真プリント注文システム
JP2009272843A (ja) デジタル映像と固定静止画による撮影箇所および撮影領域表示映像一括表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090420

R151 Written notification of patent or utility model registration

Ref document number: 4305483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees