JP2021072575A - 音源表示システム及び音源表示装置 - Google Patents

音源表示システム及び音源表示装置 Download PDF

Info

Publication number
JP2021072575A
JP2021072575A JP2019199163A JP2019199163A JP2021072575A JP 2021072575 A JP2021072575 A JP 2021072575A JP 2019199163 A JP2019199163 A JP 2019199163A JP 2019199163 A JP2019199163 A JP 2019199163A JP 2021072575 A JP2021072575 A JP 2021072575A
Authority
JP
Japan
Prior art keywords
sound source
display
source position
display device
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019199163A
Other languages
English (en)
Inventor
信太郎 吉國
Shintaro Yoshikuni
信太郎 吉國
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019199163A priority Critical patent/JP2021072575A/ja
Priority to US17/085,229 priority patent/US20210134021A1/en
Publication of JP2021072575A publication Critical patent/JP2021072575A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】一般的にはカメラの撮像範囲と収音範囲は一致せず、大抵の場合はカメラの撮像範囲よりも収音範囲の方が広くなる（カメラの撮像範囲＜収音範囲）。そのため、カメラの撮像範囲外の音源は表示できず、カメラの撮像範囲外で物音がした場合に、監視者が容易に音源を特定できず、その音源の監視が難しくなる。また、カメラの撮像範囲外で発生した物音が非常に小さかった場合は、監視者は物音にすら気づくことができない。【解決手段】音源表示システムは、マイクロホンアレイと、音源可視化処理部と、音源位置特定部と、表示制御部と、表示装置と、を備え、表示制御部は音源位置特定部により特定された音源が表示装置の表示範囲外である場合に、音源位置の方向を表示装置に表示する表示情報を生成する。【選択図】図１

Description

本開示は、音源を表示する音源表示システム及び音源表示装置に関する。
従来、カメラにおいて監視エリアを撮像し、マイクロホンアレイにより監視エリアの音声を収音し、監視エリアの画像データにマイクロホンアレイより特定した音源を示す音源画像情報を重畳することにより音源の表示動作を行う、音源表示方法が知られている（例えば特許文献１参照）。
特開２０１８−１０１９８７号公報
しかしながら、一般的にはカメラの撮像範囲と収音範囲は一致せず、大抵の場合はカメラの撮像範囲よりも収音範囲の方が広くなる（カメラの撮像範囲＜収音範囲）。そのため、上記した特許文献１に記載の音源表示方法では、カメラの撮像範囲外の音源は表示できず、カメラの撮像範囲外で物音がした場合に、監視者が容易に音源を特定できず、その音源の監視が難しくなる。また、カメラの撮像範囲外で発生した物音が非常に小さかった場合は、監視者は物音にすら気づくことができない。
本開示は、上述した従来の事情に鑑みてなされたもので、カメラの撮像範囲外に音源が発生した場合でも、音源を特定し、表示装置の端部に音源方向を表示することにより、カメラの撮像範囲外の音源を表示することができ、監視者が容易に音源を特定することができる音源表示システム及び音源表示装置を提供することを目的とする。
本開示は、音源を収音するマイクロホンアレイと、マイクロホンアレイより収音された音源に基づいて画像を生成する信号処理装置と、信号処理装置で生成された画像を表示する表示装置と、を備えた音源表示システムであって、信号処理装置は、マイクロホンアレイより収音された音源に基づいて音源の可視化処理を行う音源可視化処理部と、音源可視化処理部より可視化処理された可視化処理データに基づいて音源位置を特定する音源位置特定部と、音源位置特定部により特定された音源位置を表示する画像を生成するとともに、生成された画像の音源位置が表示装置の表示範囲外である場合に、音源位置の方向を表示する表示情報を生成する表示制御部と、を備えたことを特徴とする、音源表示システムを提供する。
また、本開示は、音源を収音するマイクロホンアレイと、マイクロホンアレイより収音された音源に基づいて音源の可視化処理を行う音源可視化処理部と、音源可視化処理部より可視化処理された可視化処理データに基づいて音源位置を特定する音源位置特定部と、音源位置特定部により特定された音源位置を表示する画像を生成する表示制御部と、表示制御部により生成された画像を表示する表示装置と、を備え、表示制御部は音源位置特定部により特定された音源位置が表示装置の表示範囲外である場合に、音源位置の方向を表示する表示情報を生成することを特徴とする、音源表示装置を提供する。
本開示によれば、カメラの撮像範囲外に音源が発生した場合でも、音源を特定し、表示装置の端部に音源方向を表示することにより、カメラの撮像範囲外の音源を表示することができ、監視者が容易に音源を特定することができる。
本実施の形態の音源表示システムの全体構成図 本実施の形態１の音源表示システムの詳細な構成図 本実施の形態１の音源表示システムの音源表示例の説明図 本実施の形態１の音源表示システムの動作フローの説明図 本実施の形態２の音源表示システムの詳細な構成図 本実施の形態１の音源表示システムの音源表示例の説明図 本実施の形態２の音源表示システムの動作フローの説明図
以下、図面を参照しながら、本開示に係る音源表示システム及び音源表示装置を具体的に開示した実施の形態（以下、「本実施の形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。以下の本実施の形態では、音源表示システムを含む音源画像生成装置を例示して説明する。
図１は、本実施の形態の音源表示システム１００の全体構成図である。図２は、本実施の形態１の音源表示システム２００の詳細な構成図である。図３は、本実施の形態１の音源表示システム２００における音源表示例の説明図である。図４は、本実施の形態１の音源表示システム２００の動作フローの説明図である。図５は、本実施の形態２の音源表示装置５００の詳細な構成図である。図６は、本実施の形態２における音源表示装置５００の音源表示例の説明図である。図７は、本実施の形態２の音源表示装置５００の動作フローの説明図である。
図１に示す音源表示システム１００は、筐体部１０１と、信号処理装置１０４と、表示装置１０５と、音声出力部１０６と、を含む構成であり、筐体部１０１はカメラ１０２と、マイクロホンアレイ１０３と、を含む構成である。
筐体部１０１は、カメラ１０２及びマイクロホンアレイ１０３を収容する端末であり、カメラ１０２の撮像方向とマイクロホンアレイ１０３の収音方向とが概ね同じ向きとなるように保持する。筐体部１０１は、筐体部１０１の使用者であるユーザにより手軽な装着あるいは携帯が可能な可搬型端末であり、例えばウェアラブルカメラ（ＢＷＣ：Ｂｏｄｙ Ｗｏｒｎ Ｃａｍｅｒａ）により構成される。筐体部１０１は、音源表示システムあるいは音源表示装置を構成する。
カメラ１０２は、自装置（つまり筐体部１０１）が設置されたモニタリング対象のエリア（撮像エリア）の状況を撮像し、信号処理装置１０４へエリアの映像データ１０７を送信する。なお、カメラ１０２は、３６０°カメラ（言い換えると、全方位カメラ）であってもよいし、パン方向あるいはチルト方向に回動してもよい。
マイクロホンアレイ１０３は、自装置（つまり筐体部１０１）が設置されたモニタリング対象のエリア（収音エリア）の音声を収音し、信号処理装置１０４へエリアの音声データ１０８を送信する。なお、マイクロホンアレイ１０３はマイクロホンを複数台設置してもよい。
また、音源表示システム１００では、カメラ１０２とマイクロホンアレイ１０３とが別々の筐体に設置されてもよいが、カメラ１０２の撮像エリアにおける音源をマイクロホンアレイ１０３が効率的に収音し音源位置の特定をするために、図１に示すようにカメラ１０２の撮像方向とマイクロホンアレイ１０３の収音方向とが概ね同じ向きとなるよう隣接して配置されかつ筐体部１０１に収容されることが好ましい。
信号処理装置１０４は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータ装置により構成され、マイクロホンアレイ１０３から取得した音声データ１０８及びカメラ１０２から取得した映像データ１０７を用いて各種の信号処理を実施し、映像データ１０７に音源位置を表示した表示画像データ１０９を生成し、表示画像データ１０９を表示装置１０５へ送信する。また、信号処理装置１０４は、音声データ１０８を音声出力部１０６へ送信する。なお、音源表示システム１００において、信号処理装置１０４と筐体部１０１とは別体として構成されているが、信号処理装置１０４と筐体部１０１とが一体化された装置でもよく、この場合には、信号処理装置１０４の内部の構成が筐体部１０１内に含まれた装置として構成されてよい。
表示装置１０５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）あるいは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイ装置により構成され、信号処理装置１０４より取得した表示画像データ１０９を画面上に表示する。具体的には、表示装置１０５は、モニタのような表示装置の画面上に表示画像データ１０９を表示する。
音声出力部１０６は、例えばスピーカにより構成され、信号処理装置１０４より取得した音声データを音声出力する。具体的には、音声出力部１０６は、スピーカにより信号処理装置１０４より取得した音声データを音声信号に変換して音声を出力する。なお、音源表示システム１００における各部間のデータの通信は有線あるいは無線インタフェースにより接続されてもよいし、クラウドなどのネットワーク通信を利用してもよい。
（実施の形態１）
図２に示す実施の形態１における音源表示システム２００は、図１の音源表示システム１００の実施の形態の一例を示すもので、筐体部１０１と、信号処理装置１０４と、表示装置１０５と、音声出力部１０６と、を含む構成である。筐体部１０１、表示装置１０５及び音声出力部１０６は図１と同様なので説明を省略する。信号処理装置１０４は、音声入力部２０１と、音源可視化処理部２０２と、音源位置特定部２０３と、映像入力部２０４と、表示制御部２０５と、を含む構成である。
音声入力部２０１は、マイクロホンアレイ１０３により収音した音声データ１０８を音源可視化処理部２０２及び音源位置特定部２０３へ送信するインタフェースである。
映像入力部２０４は、カメラ１０２により撮像した映像データ１０７を音源可視化処理部２０２及び表示制御部２０５へ送信するインタフェースである。
音源可視化処理部２０２は、映像入力部２０４から取得した映像データ１０７上の位置を示す座標と、音声入力部２０１から取得した音声データ１０８を基に、映像データ１０７を構成する複数の画像データにおける一つ一つの画素毎に、該当する画素の位置にその位置での音圧の算出値を割り当てた音圧マップデータである可視化データ２０７を生成し、音源位置特定部２０３へ送信する。また、音源可視化処理部２０２は、音声データ１０８を音声出力部１０６へ送信する。
音源位置特定部２０３は、予めモニタリング対象のエリアの音源から発生される音圧の想定値を閾値として保持する。音源位置特定部２０３は、音声データ１０８及び可視化データ２０７を基に、可視化データ２０７を構成する音圧マップデータ中の画素毎の音圧値が前述した閾値を超える画素の位置を音源の位置とする音源位置データ２０８を生成し、音源位置データ２０８を表示制御部２０５へ送信する。なお、音源位置データ２０８は、可視化データ２０７を構成する音圧マップデータのうち音圧の算出値が閾値を超える画素だけを特定したデータでもよいし、可視化データ２０７を構成する音圧マップデータ全体の中で音圧の算出値が閾値を超える画素を含めた音圧マップデータ全体であってもよい。
表示制御部２０５は、音源位置が映像データ１０７の範囲内か外かを判定し、それぞれの場合に適した表示情報を表示装置１０５へ送信する。具体的には、音源位置が映像データ１０７の範囲内であれば、表示制御部２０５は音源位置を表示させる表示情報を送信し、音源位置が映像データ１０７の範囲外であれば、表示制御部２０５は音源位置の方向を表示させる表示情報を送信する。実施の形態１においては、映像入力部２０４より取得した映像データ１０７に音源位置データ２０８を重畳し、音圧マップデータの座標に応じて処理された表示画像データ１０９として表示装置１０５へ送信する。
次に、実施の形態１の音源位置の表示方法について、図３を参照して説明する。表示制御部２０５は、音源位置が映像データ１０７の範囲内か外かを判定し、音源位置が映像データ１０７の範囲内のみである場合は、「内のみ」の判定方向に進み、表示装置１０５の表示画面上に音源位置のヒートマップが表示される（表示装置１０５ａ）。音源位置が映像データ１０７の範囲外のみである場合は、「外のみ」の判定方向に進み、表示装置１０５の表示画面上に音源位置の方向を示すインジケータＩＮ２が表示される（表示装置１０５ｃ）。音源位置が映像データ１０７の範囲内外の両方にある場合は、「内外両方」の判定方向に進み、表示装置１０５の表示画面上に音源位置のヒートマップが表示され、更に表示装置１０５の表示画面上に音源位置の方向を示すインジケータＩＮ１が表示される（表示装置１０５ｂ）。本実施の形態１では、音源位置の方向を上側と判定しているので表示画面上の上方端部に音源位置の方向が表示されている。なお、本実施の形態１においては、音源位置が映像データ１０７の範囲外である場合に、表示画面上の端部に音源位置の方向を表示したが、表示画面上の端部に限らず表示画面上であればいずれの箇所でも構わない。更に、映像データ１０７の範囲外の音源位置を表示する手段として、表示制御部２０５は、表示装置１０５の端部すなわち表示装置１０５の枠上に音源位置の方向を表示してもよい。具体的には、表示装置１０５の枠にＬＥＤのような光学素子を備え、その光学素子を点灯あるいは点滅させることにより音源位置の方向を示すインジケータＩＮ１，ＩＮ２を表示する。
次に、実施の形態１の音源表示システム２００の動作について、図４を参照して説明する。
音源表示システム２００が動作を開始すると、カメラ１０２による撮像とマイクロホンアレイ１０３による収音とが同時に開始する。カメラ１０２はモニタリング対象となる撮像エリアを撮像し、映像データ１０７を映像入力部２０４へ送信する（ＳＴ４１０）。映像入力部２０４は映像データ１０７を取得すると、映像データ１０７を可視化処理するのに適当なデータ形態に変換し、音源可視化処理部２０２へ送信する。また映像データ１０７を表示制御部２０５へ送信する（ＳＴ４１１）。マイクロホンアレイ１０３はモニタリング対象となる収音エリアにおける音を収音し、音声データ１０８を音声入力部２０１へと送信する（ＳＴ４０１）。音声入力部２０１は入力された音声データ１０８を音源可視化処理するのに適当なデータ形態に変換し、音源可視化処理部２０２へ送信する（ＳＴ４０２）。音源可視化処理部２０２は音声データ１０８及び映像データ１０７を基に音圧マップデータである可視化データ２０７を生成し、可視化データ２０７を音源位置特定部２０３へ送信する（ＳＴ４０３）。音源位置特定部２０３は音声データ１０８及び可視化データ２０７を基に音圧マップデータ上の音源位置を特定した音源位置データ２０８を生成し、音源位置データ２０８を表示制御部２０５へ送信する（ＳＴ４０４）。表示制御部２０５は音源位置データ２０８及び映像データ１０７を基に音源位置が映像データ１０７の範囲内にあるか、範囲外にあるかを判断する（ＳＴ４０５）。音源位置が映像データ１０７の範囲内である場合（ＳＴ４０５で音源位置が映像データ１０７の範囲内と判定した場合）は、音源位置データ２０８を基にした音源位置を音圧マップデータ上に表示し（ＳＴ４０６）、映像データ１０７に重畳され（ＳＴ４０７）、表示画面上に音源位置がヒートマップとして表示される（ＳＴ４０８）。音源位置が映像データ１０７の範囲外の場合（ＳＴ４０５で音源位置が映像データ１０７の範囲外と判定した場合）は、音源位置データ２０８を基にした音源位置の方向を音圧マップデータ上に表示し（ＳＴ４０９）、映像データ１０７に重畳され（ＳＴ４０７）、表示画面上に音源位置の方向が表示される（ＳＴ４０８）。音源位置が映像データ１０７の範囲内外両方である場合（ＳＴ４０５で音源位置が映像データ１０７の範囲内外両方と判定した場合）は、音源位置データ２０８を基にした音源位置を音圧マップデータ上に表示し（ＳＴ４０６）、映像データ１０７に重畳され（ＳＴ４０７）、表示画面上に音源位置がヒートマップとして表示され（ＳＴ４０８）、更に音源位置データ２０８を基にした音源位置の方向を音圧マップデータ上に表示し（ＳＴ４０９）、映像データ１０７に重畳され（ＳＴ４０７）、表示画面上に音源位置の方向が表示される（ＳＴ４０８）。
これにより、音源表示システム２００によれば、カメラの撮像範囲外に音源が発生した場合でも、音源を特定し、表示画面上に音源位置の方向を表示することにより、カメラの撮像範囲外の音源の方向を示唆することができ、監視者が容易に音源位置を特定することができ、結果として、ユーザの視認性を向上させることができる。言い換えると、音源表示システム２００によれば、表示画像の表示範囲外の音源位置の方向を示すことができる。その結果、監視者が容易に音源位置を特定することができる。また、表示装置の表示範囲外に発生した音源位置について監視者が認識できない程音が小さかった場合でも、音源位置の方向を表示することで、監視者が監視対象の音であった場合にその音源位置の方向を特定することができ、結果としてユーザの視認性を向上させることができる。
（実施の形態２）
次に、図５に示す実施の形態２における音源表示装置５００は、図１の音源表示システム１００の実施の形態の他の一例を示すもので、筐体部１０１と、信号処理装置１０４と、表示装置１０５と、音声出力部１０６と、表示用画像５０１と、を含む構成である。実施の形態２は実施の形態１の音源表示システム２００の構成からカメラ１０２及び映像入力部２０４を除外した構成であるため、各構成部の説明は省略する。また、実施の形態２においては、実施の形態１の映像データ１０７の代替として、表示用画像５０１により予め用意されている表示用画像データ５０２を用いる。
次に、実施の形態２の音源位置の表示方法について図６を参照して説明する。表示制御部２０５は、音源位置が表示用画像データ５０２の範囲内か外かを判定し、音源位置が表示用画像データ５０２の範囲内のみである場合は、「内のみ」の判定方向に進み、表示装置１０５の表示画面上に音源位置のヒートマップが表示される（表示装置１０５ｄ）。音源位置が表示用画像データ５０２の範囲外のみである場合は、「外のみ」の判定方向に進み、表示装置１０５の表示画面上に音源位置の方向を示すインジケータＩＮ４が表示される（表示装置１０５ｆ）。音源位置が表示用画像データ５０２の範囲内外の両方にある場合は、「内外両方」の判定方向に進み、表示装置１０５の表示画面上に音源位置のヒートマップが表示され、更に表示装置１０５の表示画面上に音源位置の方向を示すインジケータＩＮ３が表示される（表示装置１０５ｅ）。本実施の形態２では、音源位置の方向を上側と判定しているので表示画面上の上方端部に音源位置の方向が表示されている。なお、本実施の形態２においても、音源位置が表示用画像データ５０２の範囲外である場合に、表示画面上の端部に音源位置の方向を表示したが、表示画面上の端部に限らず表示画面上であればいずれの箇所でも構わない。更に、表示用画像データ５０２の範囲外の音源位置を表示する手段として、表示装置１０５の端部すなわち表示装置１０５の枠上に音源位置の方向を表示してもよい。具体的には、表示装置１０５の枠にＬＥＤのような光学素子を備え、その光学素子を点灯あるいは点滅させることにより音源位置の方向を示すインジケータＩＮ３，ＩＮ４を表示する。
次に、実施の形態２の音源表示装置５００の動作について、図７を参照して説明する。
音源表示装置５００において、マイクロホンアレイ１０３は、モニタリング対象となる収音エリアにおける音を収音し、音声データ１０８を音声入力部２０１へと送信する（ＳＴ７０１）。音声入力部２０１は、入力された音声データ１０８を音源可視化処理するのに適当なデータ形態に変換し、音源可視化処理部２０２へ送信する（ＳＴ７０２）。音源可視化処理部２０２は、音声データ１０８及び予め用意されている表示用画像５０１から得られる表示用画像データ５０２を基に音圧マップデータである可視化データ２０７を生成し、可視化データ２０７を音源位置特定部２０３へ送信する（ＳＴ７０３）。音源位置特定部２０３は、音声データ１０８及び可視化データ２０７を基に音圧マップデータ上の音源位置を特定した音源位置データ２０８を生成し、表示制御部２０５へ音源位置データ２０８を送信する（ＳＴ７０４）。表示制御部２０５は、音源位置データ２０８及び表示用画像データ５０２を基に音源位置が表示用画像データ５０２の範囲内にあるか、範囲外にあるかを判断する（ＳＴ７０５）。音源位置が表示用画像データ５０２の範囲内である場合（ＳＴ７０５で音源位置が表示用画像データ５０２の範囲内と判定した場合）は、音源位置データ２０８を基にした音源位置を音圧マップデータ上に表示し（ＳＴ７０６）、表示用画像データ５０２に重畳され（ＳＴ７０７）、表示画面上に音源位置がヒートマップとして表示される（ＳＴ７０８）。音源位置が表示用画像データ５０２の範囲外の場合（ＳＴ７０５で音源位置が表示用画像データ５０２の範囲外と判定した場合）は、音源位置データ２０８を基にした音源位置の方向を音圧マップデータ上に表示し（ＳＴ７０９）、表示用画像データ５０２に重畳され（ＳＴ７０７）、表示画面上に音源位置の方向が表示される（ＳＴ７０８）。音源位置が表示用画像データ５０２の範囲内外両方である場合（ＳＴ７０５で音源位置が表示用画像データ５０２の範囲内外両方と判定した場合）は、音源位置データ２０８を基にした音源位置を音圧マップデータ上に表示し（ＳＴ７０６）、映像データ１０７に重畳され（ＳＴ７０７）、表示画面上に音源位置がヒートマップとして表示され（ＳＴ７０８）、更に音源位置データ２０８を基にした音源位置の方向を音圧マップデータ上に表示し（ＳＴ７０９）、表示用画像データ５０２に重畳され（ＳＴ７０７）、表示画面上に音源位置の方向が表示される（ＳＴ７０８）。
これにより、音源表示装置５００によれば、カメラの撮像範囲外に音源が発生した場合でも、音源を特定し、表示画面上に音源位置の方向を表示することにより、カメラの撮像範囲外の音源の方向を示唆することができ、監視者が容易に音源位置を特定することができ、結果として、ユーザの視認性を向上させることができる。
以上のように、実施の形態１及び実施の形態２に係る音源表示システムについて、マイクロホンアレイより収音された音源に基づいて画像を生成する信号処理装置と、信号処理装置で生成された画像を表示する表示装置と、を備えた音源表示システムであって、信号処理装置は、マイクロホンアレイより収音された音源に基づいて音源の可視化処理を行う音源可視化処理部と、音源可視化処理部より可視化処理された可視化処理データに基づいて音源位置を特定する音源位置特定部と、音源位置特定部により特定された音源位置を表示する画像を生成するとともに、生成された画像の音源位置が表示装置の表示範囲外である場合に、音源位置の方向を表示する表示情報を生成する表示制御部と、を備えたことを特徴とする。これにより、特定された音源が表示装置の表示範囲外であった場合でも、音源位置の方向を表示装置に表示することで、表示範囲外の音源位置の方向を示すことができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示システムについて、表示情報は音源位置の方向を表示装置の表示範囲に表示させることを特徴とする。これにより、音源表示システムによれば、特定された音源が表示装置の表示範囲外であった場合でも、音源位置の方向は表示装置の表示範囲に表示することで、表示範囲外の音源位置の方向を示すことができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示システムについて、表示情報は音源位置の方向を表示装置の表示範囲の端部に表示させることを特徴とする。これにより、音源表示システムによれば、特定された音源が表示装置の表示範囲外であった場合でも、音源位置の方向を表示装置の表示範囲の端部に表示することで、表示範囲外の音源位置の方向を示すことができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示システムについて、表示情報は音源位置の方向を表示装置の端部に表示させることを特徴とする。これにより、音源表示システムによれば、特定された音源が表示装置の表示範囲外であった場合でも、音源位置の方向を表示装置の端部に表示することで、表示範囲外の音源位置の方向を示すことができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示システムについて、音源位置特定部は、音源の音量が一定の閾値を超えた場合にのみ音源位置を特定する。これにより、音源表示システムによれば、ノイズ発生を低減することができ、音源の特定をより正確に実施できるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示システムについて、音源位置特定部は、音源が人の声であると認識した場合にのみ音源位置を特定する。これにより、音源表示システムによれば、ノイズ発生による音源位置の特定の精度低下を防止するとともに、音源の位置を特定する効率を向上させることができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示装置は、音源を収音するマイクロホンアレイと、マイクロホンアレイより収音された音源に基づいて音源の可視化処理を行う音源可視化処理部と、音源可視化処理部より可視化処理された可視化処理データに基づいて音源位置を特定する音源位置特定部と、音源位置特定部により特定された音源位置を表示する画像を生成する表示制御部と、表示制御部により生成された画像を表示する表示装置と、を備え、表示制御部は音源位置特定部により特定された音源位置が表示装置の表示範囲外である場合に、音源位置の方向を表示する表示情報を生成することを特徴とする。これにより、音源表示装置によれば、特定された音源が表示装置の表示範囲外であった場合でも、音源位置の方向を表示装置に表示することで、表示範囲外の音源位置の方向を示すことができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示システムについて、表示情報は音源位置の方向を表示装置の表示範囲に表示させることを特徴とする。これにより、音源表示装置によれば、特定された音源が表示装置の表示範囲外であった場合でも、音源位置の方向は表示装置の表示範囲に表示することで、表示範囲外の音源位置の方向を示すことができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示システムについて、表示情報は音源位置の方向を表示装置の表示範囲の端部に表示させることを特徴とする。これにより、音源表示装置によれば、特定された音源が表示装置の表示範囲外であった場合でも、音源位置の方向を表示装置の表示範囲の端部に表示することで、表示範囲外の音源位置の方向を示すことができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示システムについて、表示情報は音源位置の方向を表示装置の端部に表示させることを特徴とする。これにより、音源表示装置によれば、特定された音源が表示装置の表示範囲外であった場合でも、音源位置の方向を表示装置の端部に表示することで、表示範囲外の音源位置の方向を示すことができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示装置は、映像を撮像するカメラを備える。これにより、音源表示装置によれば、カメラにより撮像した映像に音源位置を重畳することで、撮像した映像に音源位置を表示することができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示装置は、カメラは上下左右に回動する。これにより、音源表示装置によれば、表示装置の表示範囲外に発生した音源の方向が表示された方向にカメラを回動させることができ、音源位置を撮像することができるという効果が得られる。
更に、上記構成に加え、実施の形態１及び実施の形態２に係る音源表示装置は、音源位置特定部により特定された音源位置が表示装置の表示範囲外である場合に、カメラは自動で音源位置を撮像する位置に回動する。これにより、音源表示装置によれば、表示装置の表示範囲外に発生した音源位置の方向が表示された方向にカメラが自動で回動するため、音源位置の特定が容易になるという効果が得られる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
本開示は、簡素な構造で、音源位置を特定し、更に、音源位置が表示装置の表示範囲外の場合でも、表示装置に音源位置の方向を表示することにより、監視者が容易に音源位置を特定することができる音源表示システム及び音源表示装置として有用である。
１００ 音源表示システム
１０１ 筐体部
１０２ カメラ
１０３ マイクロホンアレイ
１０４ 信号処理装置
１０５ 表示装置
１０６ 音声出力部
１０７ 映像データ
１０８ 音声データ
１０９ 表示画像データ
２００ 音源表示システム
２０１ 音声入力部
２０２ 音源可視化処理部
２０３ 音源位置特定部
２０４ 映像入力部
２０５ 表示制御部
２０７ 可視化データ
２０８ 音源位置データ
５００ 音源表示装置
５０１ 表示用画像
５０２ 表示用画像データ

Claims (13)

  1. 音源を収音するマイクロホンアレイと、
    前記マイクロホンアレイより収音された音源に基づいて画像を生成する信号処理装置と、
    前記信号処理装置で生成された画像を表示する表示装置と、
    を備えた音源表示システムであって、
    前記信号処理装置は、前記マイクロホンアレイより収音された音源に基づいて音源の可視化処理を行う音源可視化処理部と、
    前記音源可視化処理部より可視化処理された可視化処理データに基づいて音源位置を特定する音源位置特定部と、
    前記音源位置特定部により特定された音源位置を表示する画像を生成するとともに、前記生成された画像の音源位置が前記表示装置の表示範囲外である場合に、音源位置の方向を表示する表示情報を生成する表示制御部と、を備える、
    音源表示システム。
  2. 前記表示情報は前記音源位置の方向を前記表示装置の表示範囲に表示させる、
    請求項１に記載の音源表示システム。
  3. 前記表示情報は前記音源位置の方向を前記表示装置の表示範囲の端部に表示させる、
    請求項１に記載の音源表示システム。
  4. 前記表示情報は前記音源位置の方向を前記表示装置の端部に表示させる、
    請求項１に記載の音源表示システム。
  5. 前記音源位置特定部は、前記音源の音量が一定の閾値を超えた場合にのみ音源位置を特定する、
    請求項１〜４のいずれか一項に記載の音源表示システム。
  6. 前記音源位置特定部は、前記音源が人の声であると認識した場合にのみ音源位置を特定する、
    請求項１〜５のうちいずれか一項に記載の音源表示システム。
  7. 音源を収音するマイクロホンアレイと、
    前記マイクロホンアレイより収音された音源に基づいて音源の可視化処理を行う音源可視化処理部と、
    前記音源可視化処理部より可視化処理された可視化処理データに基づいて音源位置を特定する音源位置特定部と、
    前記音源位置特定部により特定された音源位置を表示する画像を生成する表示制御部と、
    前記表示制御部により生成された画像を表示する表示装置と、を備え、
    前記表示制御部は、前記音源位置特定部により特定された音源位置が前記表示装置の表示範囲外である場合に、音源位置の方向を表示する表示情報を生成する、
    音源表示装置。
  8. 前記表示情報は前記音源位置の方向を前記表示装置の表示範囲に表示させる、
    請求項７に記載の音源表示装置。
  9. 前記表示情報は前記音源位置の方向を前記表示装置の表示範囲の端部に表示させる、
    請求項７に記載の音源表示装置。
  10. 前記表示情報は前記音源位置の方向を前記表示装置の端部に表示させる、
    請求項７に記載の音源表示装置。
  11. 映像を撮像するカメラを更に備える、
    請求項７〜１０のいずれか一項に記載の音源表示装置。
  12. 前記カメラは上下左右に回動する、
    請求項１１に記載の音源表示装置。
  13. 前記音源位置特定部により特定された音源が前記表示装置の表示範囲外である場合に、前記カメラは自動で前記音源を撮像する位置に回動する、
    請求項１２に記載の音源表示装置。
JP2019199163A 2019-10-31 2019-10-31 音源表示システム及び音源表示装置 Pending JP2021072575A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019199163A JP2021072575A (ja) 2019-10-31 2019-10-31 音源表示システム及び音源表示装置
US17/085,229 US20210134021A1 (en) 2019-10-31 2020-10-30 Display system and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019199163A JP2021072575A (ja) 2019-10-31 2019-10-31 音源表示システム及び音源表示装置

Publications (1)

Publication Number Publication Date
JP2021072575A true JP2021072575A (ja) 2021-05-06

Family

ID=75687530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019199163A Pending JP2021072575A (ja) 2019-10-31 2019-10-31 音源表示システム及び音源表示装置

Country Status (2)

Country Link
US (1) US20210134021A1 (ja)
JP (1) JP2021072575A (ja)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063967A (ja) * 1996-08-23 1998-03-06 Meidensha Corp 監視システム
JPH10227849A (ja) * 1997-02-14 1998-08-25 Fuji Xerox Co Ltd 音源位置計測装置、カメラ撮影制御装置、音源位置記録装置及び音源位置計測方法
JP2005065024A (ja) * 2003-08-18 2005-03-10 Honda Motor Co Ltd 携帯端末機器を用いた移動ロボットの画像撮影装置
JP2007158578A (ja) * 2005-12-02 2007-06-21 National Univ Corp Shizuoka Univ 全周囲情報環状表示システム
JP2010183417A (ja) * 2009-02-06 2010-08-19 Hitachi Ltd 音声情報表示システム、音声情報表示方法、及び音声情報表示装置
JP2010232888A (ja) * 2009-03-26 2010-10-14 Ikegami Tsushinki Co Ltd 監視装置
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
JP2013106298A (ja) * 2011-11-16 2013-05-30 Sony Corp 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置
US20130342730A1 (en) * 2012-06-25 2013-12-26 Lg Electronics Inc. Mobile terminal and audio zooming method thereof
WO2016075781A1 (ja) * 2014-11-12 2016-05-19 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
JP2017028529A (ja) * 2015-07-23 2017-02-02 パナソニックＩｐマネジメント株式会社 モニタリングシステム及びモニタリング方法
JP2017135544A (ja) * 2016-01-27 2017-08-03 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP2018101987A (ja) * 2018-01-31 2018-06-28 パナソニックＩｐマネジメント株式会社 監視エリアの音源表示システム及び音源表示方法
WO2018173139A1 (ja) * 2017-03-22 2018-09-27 ヤマハ株式会社 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
JP2019117374A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2019161353A (ja) * 2018-03-09 2019-09-19 株式会社Ｊｖｃケンウッド モニタリング装置、モニタリング方法、およびモニタリング処理用プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4965847B2 (ja) * 2005-10-27 2012-07-04 ヤマハ株式会社 音声信号送受信装置
JP6708154B2 (ja) * 2017-03-28 2020-06-10 カシオ計算機株式会社 対象物検出装置、対象物検出方法、及びプログラム
JP2022051974A (ja) * 2019-02-12 2022-04-04 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063967A (ja) * 1996-08-23 1998-03-06 Meidensha Corp 監視システム
JPH10227849A (ja) * 1997-02-14 1998-08-25 Fuji Xerox Co Ltd 音源位置計測装置、カメラ撮影制御装置、音源位置記録装置及び音源位置計測方法
JP2005065024A (ja) * 2003-08-18 2005-03-10 Honda Motor Co Ltd 携帯端末機器を用いた移動ロボットの画像撮影装置
JP2007158578A (ja) * 2005-12-02 2007-06-21 National Univ Corp Shizuoka Univ 全周囲情報環状表示システム
JP2010183417A (ja) * 2009-02-06 2010-08-19 Hitachi Ltd 音声情報表示システム、音声情報表示方法、及び音声情報表示装置
JP2010232888A (ja) * 2009-03-26 2010-10-14 Ikegami Tsushinki Co Ltd 監視装置
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
JP2013106298A (ja) * 2011-11-16 2013-05-30 Sony Corp 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置
US20130342730A1 (en) * 2012-06-25 2013-12-26 Lg Electronics Inc. Mobile terminal and audio zooming method thereof
WO2016075781A1 (ja) * 2014-11-12 2016-05-19 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
JP2017028529A (ja) * 2015-07-23 2017-02-02 パナソニックＩｐマネジメント株式会社 モニタリングシステム及びモニタリング方法
JP2017135544A (ja) * 2016-01-27 2017-08-03 キヤノン株式会社 撮像装置、制御方法及びプログラム
WO2018173139A1 (ja) * 2017-03-22 2018-09-27 ヤマハ株式会社 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法
JP2019117374A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2018101987A (ja) * 2018-01-31 2018-06-28 パナソニックＩｐマネジメント株式会社 監視エリアの音源表示システム及び音源表示方法
JP2019161353A (ja) * 2018-03-09 2019-09-19 株式会社Ｊｖｃケンウッド モニタリング装置、モニタリング方法、およびモニタリング処理用プログラム

Also Published As

Publication number Publication date
US20210134021A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
JP6702196B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20130079594A1 (en) Industrial endoscope apparatus
US20240302892A1 (en) Service glasses with selective data provision
JPWO2018211781A1 (ja) 撮像装置、撮像方法
JP2008227813A (ja) 画像処理装置、画像処理方法、画像処理システム
TW201337830A (zh) 資訊處理裝置，資訊處理方法及程式
WO2016043063A1 (ja) 画像処理装置および画像処理方法
CN106805934B (zh) 增强现实无线电子内窥镜手术系统
KR20200051591A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2007052809A5 (ja)
JP2006331260A (ja) 位置方位付き写真提供システム及びそのプログラム
CN103165106A (zh) 根据图示的实际物体的图像对电子显示设备中的图示定向
US10147160B2 (en) Image management apparatus and system, and method for controlling display of captured image
US20190306453A1 (en) Information recording system, information recording device, and information recording method
US20190346373A1 (en) Information recording system, information recording device, and information recording method
US9674407B2 (en) System and method for interactive image capture for a device having a camera
JP2021072575A (ja) 音源表示システム及び音源表示装置
KR101596417B1 (ko) 모바일 내시경 장치
JP2016220946A (ja) 内視鏡装置及び内視鏡装置の設定方法
JP6856424B2 (ja) 医療用装置、情報処理装置、処理方法、プログラム、および医療用情報処理システム
CN104062758B (zh) 图像显示的方法和显示设备
CN206880656U (zh) 增强现实无线电子内窥镜手术系统
JP2013244044A (ja) 内視鏡システム、内視鏡装置及びプログラム
KR20220045799A (ko) 전자 장치 및 그 동작 방법
US20240282048A1 (en) Information processing system, non-transitory computer readable medium, and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230912