JP2010050645A

JP2010050645A - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP2010050645A
Application number: JP2008212133A
Authority: JP
Inventors: Koji Waki; 光司脇
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-08-20
Filing date: 2008-08-20
Publication date: 2010-03-04

Abstract

【課題】画面全体が動くような大きな動きを含む映像を見る際に生じる視覚的負担を軽減可能な画像処理装置等を提供する。
【解決手段】本発明の画像処理装置は、入力映像信号に基づいて複数の動きベクトルを検出する特徴検出部と、複数の動きベクトルの相互の大きさ及び向きに関する判断基準に基づき、入力映像信号に対する信号処理を行うか否かを判断する判断部と、判断部において信号処理を行うと判断された場合に、入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理部と、を有する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、所定の特徴を有する映像信号が入力された場合に、該映像信号に対する信号処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

モニタ等の表示部の画面に表示される映像を見る際に生じる視覚的負担を軽減するための種々の技術が従来提案されている。

例えば特許文献１においては、手振れの量及び方向を検出し、検出結果に基づいて撮像素子から出力される映像の切り出し位置を補正する、いわゆる電子式手振れ補正に係る技術が開示されている。

また、例えば特許文献２においては、立体視映像の長時間かつ連続的な鑑賞に起因して快適性を損なう状況に陥ってしまうことを未然に防ぐための技術が開示されている。
特開平１−１０９９７０号公報特開２０００−２３５１６３号公報

しかし、特許文献１に記載の電子式手振れ補正に係る技術によれば、振れ幅が微小なものに対しては視覚的負担の軽減の効果が認められる反面、例えば、画面全体が動くような振れ幅が補正範囲を超えたものについては視覚的負担の軽減の効果が認められない、という問題点がある。

また、特許文献２に記載の技術は、画面に表示される映像の動きの変化に関係なく、単に映像の表示時間が所定時間に達した際に警告表示を行うものである。そのため、特許文献２に記載の技術によれば、例えば、画面全体が動くような大きな動きを含む映像が表示された際には、該所定時間内であっても視覚的負担が大きくなってしまうという状況が生じ得るため、結果的に、視覚的負担に応じた警告表示がなされていない、という問題点がある。

本発明は、前述した事情に鑑みてなされたものであり、画面全体が動くような大きな動きを含む映像を見る際に生じる視覚的負担を軽減可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的としている。

本発明における画像処理装置は、入力映像信号に基づいて複数の動きベクトルを検出する特徴検出部と、前記複数の動きベクトルの相互の大きさ及び向きに関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断部と、前記判断部において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理部と、を有することを特徴とする。

本発明における画像処理装置は、カメラと、前記カメラの動きを検出する動き検出センサと、前記動き検出センサにより検出された物理量に関する判断基準に基づき、前記カメラから出力された入力映像信号に対する信号処理を行うか否かを判断する判断部と、前記判断部において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理部と、を有することを特徴とする。

本発明における画像処理方法は、入力映像信号に基づいて複数の動きベクトルを検出するベクトル検出過程と、前記複数の動きベクトルの相互の大きさ及び向きに関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断過程と、前記判断過程において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理過程と、を有することを特徴とする。

本発明における画像処理方法は、カメラから出力された入力映像信号を取得する過程と、前記カメラの動きを検出する動き検出センサにより検出された物理量を取得する過程と、前記物理量に関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断過程と、前記判断過程において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理過程と、を有することを特徴とする。

本発明における画像処理プログラムは、入力映像信号に基づいて複数の動きベクトルを検出するベクトル検出処理と、前記複数の動きベクトルの相互の大きさ及び向きに関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断処理と、前記判断処理において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理と、をコンピュータに実行させることを特徴とする。

本発明における画像処理プログラムは、カメラから出力された入力映像信号を取得する処理と、前記カメラの動きを検出する動き検出センサにより検出された物理量を取得する処理と、前記物理量に関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断処理と、前記判断過程において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理と、をコンピュータに実行させることを特徴とする。

本発明における画像処理装置、画像処理方法及び画像処理プログラムによると、画面全体が動くような大きな動きを含む映像を見る際に生じる視覚的負担を軽減可能である。

本発明の実施形態の説明に移る前に、まず、視覚的負担の一例としての映像酔いについて説明を行う。

非特許文献１（松田隆夫・大中悠起子、「「映像酔い」の自覚的評価とその誘発要因」、立命館人間科学研究、第９号、ｐｐ９７−１０６、２００５．３）によれば、いわゆる映像酔いについて、下記の言及がなされている。

“ＴＶ画面やスクリーン上の映像が不規則に激しく揺れるのを見続けていると，軽く酔ったような感覚に陥ることがある。「映像酔い」の前兆的な感覚の一種であり，“気分が悪い”（不快感）とか“目が回りそうだ”（眩暈感）と感じるのも，映像酔いの兆候の自覚的な現れの一つである。この兆候は，「乗り物酔い」を典型とする「動揺病」の初期症状と似ているため，映像酔いも動揺病の一種に概括されているが，乗り物酔いはその名のごとく乗り物の揺れが外的主要因であるのに対して，映像酔いは視覚系からの情報のみによって誘発されるという点に特徴がある。”（この段落の“”内の文章は、前記非特許文献１より引用。）
すなわち、映像酔いとは、不自然な映像を見た場合に発生する、乗り物酔いと類似の生理的な不調を指すものとして認識されている。そして、非特許文献２（氏家弘裕、「映像の生体安全性に関するＩＳＯ国際ワークショップ報告」、日本視覚学界学会誌「ＶＩＳＩＯＮ」、Ｖｏｌ１７、Ｎｏ．２、ｐｐ１４３−１４５、２００５）によれば、このような映像酔いの具体的な事例として、例えば下記のようなものが挙げられている。

“例えば，公に報告されたものとしては，英国にて，１９９３年にテレビ・コマーシャルで３名が光過敏性発作を発症し，また，１９９７年には日本で，テレビのアニメ番組を視聴していた多くの人々が光感受性によると見られる症状を訴え，このうち７００名近い人々が病院で手当てを受けたというような事例がある．特に後者は，映像全体の速い周期での赤／青の点滅の映像が主な原因と考えられている．さらに，２００３年には，同じく日本で，授業中に家庭用ビデオカメラで撮影された手ぶれの多い映像を視聴していた中学生約３００名のうち，３６名が映像酔いの症状を呈して病院で手当てを受ける事例が発生した．こうした事例以外にも，映画などで，緊迫感を与えるために，画面全体に手ぶれのような振動を与えたり，ＣＧ映像で臨場感を与えるために，視点をダイナミックに変化させたりすることで，映像酔いが生じやすいことが知られているし，さらに，両眼立体視を利用したいわゆる立体映像では，その視聴条件などによりしばしば頭痛や吐き気など，眼精疲労の不快な症状を引き起こすことが知られている．” （この段落の“”内の文章は、前記非特許文献２より引用。）
このような映像酔いが生じる原因についての研究は、近年盛んになってきている。例えば非特許文献３（森田寿哉・相澤清晴・齋藤隆弘・佐藤隆夫・伊藤崇之、「悪影響画像の検出、軽減変換技術」に関する研究開発（概要）」、［ｏｎｌｉｎｅ］、総務省、［平成２０年５月１２日検索］、インターネット＜ＵＲＬ：http://www.soumu.go.jp/menu_02/ictseisaku/ictR-D/nw_human_int/pdf/nhi_seitaieikyou_3-1.pdf＞）によれば、映像酔いが生じる原因について、下記のような報告がなされている。

・映像酔いの程度が大きい映像は、２Ｈｚ以下の平行移動成分（縦方向または横方向）のパワーが大きい。

・映像を正弦波状に振動させた場合、水平方向においては２．５Ｈｚで映像酔いが最も多く生じ、垂直方向においては０．５Ｈｚで映像酔いが最も多く生じる。

・乗り物酔い（動揺病）を引き起こしやすい揺れである、０．２〜０．３Ｈｚ程度の垂直方向の揺れで映像を振動させたとしても、映像酔いは生じない。

・グローバルモーションの運動方向及び速度の変化を予測する手がかりが多いほど、映像酔いが生じにくくなる。

・映像の大きさ（視野角）が大きいほど、映像酔いが生じやすくなる。

・同一の視野角においては、映像の実サイズが大きいほど（視距離が長いほど）、映像酔いが生じやすくなる。

また、前記非特許文献１によれば、映像酔いが生じる原因について、下記のような報告がなされている。

“松嵜・椿・原澤・繁桝・川島・森田・伊藤・齋藤・佐藤・相澤（２００４）は，映像に含まれる動きが予測できる場合（アクティブ条件）と予測できない場合（パッシブ条件）で映像酔いを比較した。実験では，縦７５ｃｍ×横１２０ｃｍのスクリーンに，９９個の「あ・い・う・え・お」と１個の「ん」（１文字２．５ｃｍ四方）および５２５個のドット（直径０．８ｃｍ）をランダム配置で投影し，被験者は，そのうちの縦１９ｃｍ×横２７ｃｍの小領域だけがヘッドマウントディスプレイ（ＨＭＤ；水平視角３０度）を通して観察できた。この条件下で３名の被験者に，ターゲット文字「ん」の視覚探索課題を順次映像を取り替えて１５分間繰り返し求めたのであるが，ここでアクティブ条件とは，被験者が手に持ったビデオカメラで自由に走査したスクリーン上の領域だけがＨＭＤで観察できるという条件であり（カメラの手ぶれ補正機能はオフにしてあった），実験の第１日目に行われた。各被験者にこれと全く同じ映像を次の日にＨＭＤで見せ，これをパッシブ条件とした。両日とも，課題終了の直後にＳＳＱへの回答が求められた。結果は，パッシブ条件において，ＳＳＱ得点はＮとＤに関してアクティブ条件より明らかに高く，ＤとＴに関しても同様の傾向が強かった。この実験でＨＭＤに写る映像は両条件で同じであるが，日常の様子になぞらえれば，前者はファインダーを通して見る撮影時の映像であり後者は視聴時の映像であろう。この実験ではターゲット文字の視覚探索を課題としたため，松嵜らも指摘するように，アクティブ条件で被験者は走査を効率的に行うため，カメラを画面の端から一定方向へゆっくり規則的に動かすという方略を採用していた。したがって，カメラの急激な折り返しや手ぶれを除けば，パッシブ条件でも映像の動きの予測は可能であった。それでも、撮影時には気にならない映像の動きが視聴時には映像酔いの兆候を誘発するであろうことを，試行的な実験であったとはいえ，この研究は示唆することができた。” （この段落の“”内の文章は、前記非特許文献１より引用。）
さらに、非特許文献４（「コンテンツの生体への影響に関する調査・研究報告書」、［ｏｎｌｉｎｅ］、総務省、［平成２０年５月１２日検索］、インターネット＜ＵＲＬ：http://www.soumu.go.jp/s-news/2004/pdf/040318_1_b1.pdf＞）によれば、映像酔いが生じる原因について、下記のような報告がなされている。

“映像酔い、ＶＲ酔いに影響を与える物理的な刺激特性としては、画面の大きさ、時空間特性（輝度次元）、時空間特性（色次元）、カメラおよび被写体の運動特性、視聴環境などがある。”（中略）“（ａ）画面の大きさ（画角）大画面ほど映像による臨場感が高まるため、映像酔い、ＶＲ酔いが生じやすいことが考えられる。実際に、飛行機操縦のシミュレーター等では、大画面ほど生理的な影響に対する感受性が高まり、影響も大きくなると言う報告もある。画面が大きくなると運動、フリッカーの感度が高い周辺視野への入力が多くなることが、その一因として考えられる。自己運動知覚（ベクション）も、大画面ほど強く感じられる［４０］［４２］。（ｂ）時空間的特性（輝度次元）空間的な解像度と、画面更新の頻度（フレームレート）が関係する。一般化すると、映像系の持つ、時間、空間周波数特性として表現することができる。また、対象物（コンテンツ）の持つ時間、空間周波数分布についても考慮する必要がある。映像酔い、ＶＲ酔いに関しては、特定の時間、空間周波数の存在と症状の生起の関係はあまり明らかになっていないが、横揺れ、回転などの運動成分との関係を示唆する研究例が多くなってきている［４３］。”（中略）“（ｅ）視聴環境映像表示器との距離、環境光の強さ、視聴者の姿勢などの視聴環境も、映像酔い、ＶＲ酔いの大きな要因と考えられる。距離、環境光などは、第一義的には、物理レベルでの視覚入力の時空間特性を通じての影響を与える。また、視聴者の心理的なムード、姿勢の安定性など、視聴者側の要因にも大きな影響を持つ。” （この段落の“”内の文章は、前記非特許文献４より引用。）
以上に述べたように、映像酔いについて、様々なアプローチがこれまでになされているが、原因が単純に特定され得るものではないため、実情においては未だ研究の途にある段階である。但し、生理的な不調を誘引する複数の要因が映像信号に内在している点については、確かな見識が得られている。そこで、以降の各実施形態においては、既知の要因及び未知の要因を包含して、映像信号が視覚的負担を生じさせる要素を具備している、と仮定し、また、該視覚的負担の度合いが増加するに伴って、生理的な不調の度合いが増加してゆく、と仮定しつつ説明を行うものとする。

前記非特許文献２によれば、本発明の目的とするところの、画面全体が動くような大きな動きを含む映像を見る際に生じる視覚的負担について、“授業中に家庭用ビデオカメラで撮影された手ぶれの多い映像を視聴していた中学生約３００名のうち，３６名が映像酔いの症状を呈して病院で手当てを受ける事例が発生した．”という具体的な事例が挙げられている。この事例から、視覚的負担が生じやすくなる状況として、カメラが大きくパンまたはチルトされた映像を見た場合、または、カメラが頻繁にパンまたはチルトされた映像を見た場合が考えられる。

しかし、例えば、草原を左側から右側へ走るトラをカメラが追いかけるシーンをＴＶ画面で見る場合においては、カメラワークの動きが大きいにも関わらず、注視の対象となる観察物が該トラに定まるため、生理的な不調が誘引されることがない。すなわち、カメラが大きくパンまたはチルトされた映像を見たとしても、視覚的負担が少ない場合がある。

一方、例えば、運動会の様子をカメラ撮影に不慣れな人が撮影した映像のように、カメラが急に左右に振られるような映像を見る場合においては、注視の対象となる観察物が定まらないことにより、該映像を見ている最中に生理的な不調が誘引されてしまうことがある。また、例えば、オペ中の医師が装着している頭部装着型カメラ越しの映像を第三者が見る場合においては、処置具を取るために該医師の頭が横方向に振られると、注視の対象となる観察物を見失ってしまうことにより、生理的な不調が誘引されてしまうことがある。

厳密にどのような映像が生理的な不調を誘引するかということについては更なる検討の余地が残されているが、例えば次に記すようなことが推定できる。

すなわち、観察物が背景画像全体とともに激しく動く映像を見た場合に、生理的な不調が誘引されると推定される。一方、観察物が画面中央に位置しながらも背景画像全体の動きが激しい映像を見る場合、または、観察物が激しく動きながらも背景画像全体の動きが穏やかな映像を見る場合には、生理的な不調が誘引されないと推定される。

本発明は、以上のような考察を基としてなされたものであり、画面全体の動きの特徴を参照することにより、画面全体が動くような大きな動きを含む映像を見る際に生じる視覚的負担を軽減することを主な目的としている。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１から図９は、本発明の第１の実施形態に係るものである。図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図２は、特徴検出部による動きベクトルの検出対象となる箇所の一例を示す図である。図３は、第１の実施形態における第１の変形例としての画像処理装置の要部の構成を示すブロック図である。図４は、第１の実施形態における第２の変形例としての画像処理装置の要部の構成を示すブロック図である。図５は、第１の実施形態における第３の変形例としての画像処理装置の要部の構成を示すブロック図である。図６は、第１の実施形態における第４の変形例としての画像処理装置の要部の構成を示すブロック図である。図７は、第１の実施形態における第５の変形例としての画像処理装置の要部の構成を示すブロック図である。図８は、第１の実施形態における第６の変形例としての画像処理装置の要部の構成を示すブロック図である。図９は、第１の実施形態に係る画像処理装置において行われる処理を、ソフトウェアを用いて実現した場合の処理手順を示すフローチャートである。

外部からの映像信号の入力が可能な画像処理装置１は、図１に示すように、外部から入力される映像信号の特徴を検出する特徴検出部２と、特徴検出部２の検出結果に基づいて映像信号に対する信号処理の要否の判断を行う判断部３と、判断部３の判断結果に基づいて映像信号に対して映像品質を低下させるための信号処理を適宜行う映像信号処理部４と、を有している。なお、画像処理装置１に入力される映像信号のソースとしては、カメラ、ビデオまたはＤＶＤ等が挙げられる。

特徴検出部２は、外部から入力される映像信号に基づき、連続する２枚の画像間における画像マッチング処理を行うことにより、該映像信号に含まれる対象物の位置を検出する。その後、特徴検出部２は、入力される映像信号の特徴として、例えば図２に示すように、画像の４隅近傍及び中央部に位置する所定の５箇所の画素における動きベクトルを夫々検出する。

ところで、本実施形態においては、画像（画面）の中央部に観察物が存在し、かつ、画像（画面）の４隅近傍に観察物が存在しない場合（４隅近傍が背景画像である場合）を想定しつつ、前述した所定の５箇所の画素における動きベクトルの検出を行っている。そして、前述の推定を鑑みると、視覚的負担による生理的な不調が誘引され得る映像においては、前述した所定の５箇所の動きベクトルの向き及び大きさが夫々略同一になる、という特徴を映像信号から抽出することができると考えられる。

なお、特徴検出部２による動きベクトルの検出対象となる画素は、複数であればよく、前述した所定の５箇所の画素に限定されるものではない。

判断部３は、特徴検出部２における各動きベクトルの検出結果に基づき、映像信号処理部４における映像信号に対する信号処理の要否の判断を行う。

ここで、判断部３による判断の具体例について述べる。

まず、判断部３は、特徴検出部２により検出された５つの動きベクトルにおける平均ベクトルを算出する。具体的には、判断部３は、特徴検出部２により検出された５つの動きベクトルの角度θ_i（ｉ＝１〜５）と下記数式（１）とに基づいて前記平均ベクトルの角度θ_aveを算出し、該５つの動きベクトルの大きさＲ_i（ｉ＝１〜５）と下記数式（２）とに基づいて前記平均ベクトルの大きさR_aveを算出する。

なお、５つの動きベクトルの角度θ_i（ｉ＝１〜５）、及び、前記平均ベクトルの角度θ_aveは、画像（画面）の水平方向を０°とした場合の角度を示すものとする。

その後、判断部３は、下記数式（３）を用いつつ、５つの動きベクトルの角度θ_i（ｉ＝１〜５）の夫々について、平均ベクトルの角度θ_aveとの差Δθ_i（ｉ＝１〜５）を算出する。

また、判断部３は、下記数式（４）を用いつつ、５つの動きベクトルの大きさＲ_i（ｉ＝１〜５）の夫々について、平均ベクトルの大きさＲ_aveとの差ΔＲ_i（ｉ＝１〜５）を算出する。

判断部３は、５つの動きベクトル各々におけるΔθ_i（ｉ＝１〜５）と閾値θ_minとの比較、該５つの動きベクトル各々におけるΔＲ_i（ｉ＝１〜５）と閾値Ｒ_minとの比較、及び、平均ベクトルの大きさＲ_aveと閾値Ｒ_maxとの比較を行う。具体的には、判断部３は、各Δθ_iの値、各ΔＲ_iの値、及び、Ｒ_aveの値が下記数式（５）、（６）及び（７）の全ての条件を満たすか否かを検出する。

そして、判断部３は、各Δθ_iの値、各ΔＲ_iの値、及び、Ｒ_aveの値が上記数式（５）、（６）及び（７）の全ての条件を満たすことを検出した場合、映像信号処理部４における信号処理が必要である、という判断結果を得る。一方、各Δθ_iの値、各ΔＲ_iの値、及び、Ｒ_aveの値が上記数式（５）、（６）及び（７）のうちの少なくとも１つの条件を満たさないことを検出した場合、映像信号処理部４における信号処理が不要である、という判断結果を得る。

すなわち、判断部３の判断によれば、特徴検出部２により検出された５つの動きベクトル全てが略同一の向きかつ略同一の大きさであるか否かにより、画像（画面）全体の動きが判断され、さらに、平均ベクトルの大きさが所定の閾値より大きいか否かにより、画像（画面）の動きの大きさが判断される。

映像信号の入力元としてカメラを例に挙げると、特徴検出部２により検出された５つの動きベクトル全てが略同一の向きかつ略同一の大きさである場合に、カメラそのものが動いていると判断され、さらに、平均ベクトルの大きさが所定の閾値より大きい場合に、カメラの動きが大きい（速い）と判断される。そして、判断部３は、これら２つの判断結果により、視覚的負担を生じさせる要素を多く含む映像信号がカメラから画像処理装置１へ入力されていると判断する。なお、映像信号の入力元としてのカメラは、動画像を撮影可能な機能を有するものである限りにおいては、例えば、ＣＣＤカメラ、ＣＭＯＳカメラ、ウェブカメラ、ＴＶカメラ、カムコーダ、携帯電話のカメラ、デジタルカメラ、または、内視鏡等のいずれであってもよい。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が不要であるという判断結果が得られた場合においては、入力された映像信号をスルーしつつ出力する。また、映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、入力された映像信号の映像品質を低下させるための信号処理を行う。この映像品質を低下させるための信号処理には、動画像から静止画像に切り替える処理、映像の輝度、コントラスト、色情報、解像度、フレームレートをもとの映像信号におけるものから低下させる処理、画像サイズをもとの映像信号におけるものから縮小する処理、警告を表す情報を映像信号に付加する処理等が含まれる。

ここで、映像信号処理部４による信号処理の具体例について述べる。なお、本実施形態の映像信号処理部４は、以降に述べる各信号処理のうちのいずれか１つを用いて処理を行ってもよく、または、以降に述べる各信号処理を複数組み合わせたものを用いて処理を行ってもよい。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第１の信号処理として、映像信号をフリーズしつつ出力する処理を行う。この場合、視覚的負担を生じさせる要素を多く含む映像信号が入力され続ける限りにおいて、該映像信号が入力されたタイミングの静止画像が出力され続けるため、結果的に、観察者の視覚的負担を軽減することが可能である。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第２の信号処理として、ブルーバック等の単一色の画像等の他の画像を生成しつつ出力する処理を行う。この場合、視覚的負担を生じさせる要素を多く含む映像信号が入力され続ける限りにおいて、色情報を低下させた静止画像が出力され続けるため、結果的に、観察者の視覚的負担を軽減することが可能である。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第３の信号処理として、警告を表す情報を映像信号に付加させつつ出力する処理を行う。例えば、「画像が大きく揺れたため表示を中断しています」等の注意を促す文字列を映像信号に重畳しつつ出力する、または、映像信号の出力に併せて警告音を発生するための処理を行う。この場合、前記文字列が表示されるタイミングまたは前記警告音が発せられるタイミングに応じて観察者が映像から目を逸らすことにより、結果的に、観察者の視覚的負担を軽減することが可能である。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第４の信号処理として、画像（画面）全体のコントラストの低下、又は、輝度の低下に係る処理を映像信号に対して施しつつ出力する処理を行う。この場合、視覚的負担を生じさせる要素を多く含む映像信号が入力され続ける限りにおいて、映像そのものが見え難くなる。これにより、観察者の脳に与える刺激が低下するため、結果的に、該観察者の視覚的負担を軽減することが可能である。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第５の信号処理として、画像（画面）全体をモノクロに変換する処理を映像信号に対して施しつつ出力する処理を行う。この場合、視覚的負担を生じさせる要素を多く含む映像信号が入力され続ける限りにおいて、モノクロ画像が出力され続ける。このようにして色情報を低下させたことにより、観察者の脳に与える刺激が低下するため、結果的に、該観察者の視覚的負担を軽減することが可能である。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第６の信号処理として、デジタルフィルタによるフィルタリング処理、または、モザイク処理を映像信号に対して施しつつ出力する処理を行う。この場合、視覚的負担を生じさせる要素を多く含む映像信号が入力され続ける限りにおいて、全体がぼやけたような解像度の低い画像が出力され続けるため、結果的に、観察者の視覚的負担を軽減することが可能である。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第７の信号処理として、画像サイズを縮小する処理を映像信号に対して施しつつ出力する処理を行う。この場合、視覚的負担を生じさせる要素を多く含む映像信号が入力され続ける限りにおいて、本来のサイズに比べて縮小された画像が出力され続けるため、結果的に、観察者の視覚的負担を軽減することが可能である。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第８の信号処理として、入力される映像信号のフレームレートに比べて低い所定のフレームレートに変換しつつ出力する処理を行う。具体的には、映像信号処理部４は、前記第８の信号処理として、例えば６０ｆｐｓとして入力される映像信号を、前記所定のフレームレートとしての１０ｆｐｓに変換しつつ出力する処理を行う。この場合、視覚的負担を生じさせる要素を多く含む映像信号が入力され続ける限りにおいて、一定の低いフレームレートの映像が出力され続ける。これにより、観察者の脳に与える刺激が低下するため、結果的に、該観察者の視覚的負担を軽減することが可能である。

映像信号処理部４は、判断部３の判断結果に基づき、信号処理が必要であるという判断結果が得られた場合においては、第９の信号処理として、入力される映像信号のフレームレートを、平均ベクトルの大きさＲ_aveの値（映像の動きの速さ）に対して反比例するように低下しつつ出力する処理を行う。この場合、視覚的負担を生じさせる要素を多く含む映像信号が入力されると、該映像信号より得られた平均ベクトルの大きさＲ_aveの値が大きい程コマ送りに近づくような映像が出力される。これにより、観察者の脳に与える刺激が低下するため、結果的に、該観察者の視覚的負担を軽減することが可能である。

そして、映像信号処理部４を経た映像信号は、モニタ及び（または）映像記録装置等へ出力される。

以上に述べたように、本実施形態の画像処理装置１によれば、画面全体が動くような大きな動きを含む映像を見る際に生じる視覚的負担を軽減することができる。

なお、特徴検出部２は、入力される映像信号の特徴を検出するための処理として、該映像信号における動きベクトルを検出するものに限らず、例えば、画像（画面）の輝度平均の差異を検出するものであってもよく、該映像信号における２Ｈｚ以下の平行移動成分（縦方向及び横方向）のパワーの大きさを検出するものであってもよく、または、該映像信号に係るその他の特徴量を検出するものであってもよい。

そして、このような事情を鑑みた場合、本実施形態の画像処理装置１は、例えば図３に示すように、特徴検出処理選択部５Ａをさらに有する画像処理装置１Ａとして構成されるものであっても良い。

本実施形態の第１の変形例としての画像処理装置１Ａの特徴検出部２は、入力される映像信号の特徴を検出するための複数の処理ルーチン（プログラム）を具備している。また、特徴検出部２が具備する処理ルーチン（プログラム）各々には、１番から連番の番号が付されている。

画像処理装置１Ａの特徴検出処理選択部５Ａは、例えば、アップスイッチ、ダウンスイッチ及び７セグメント表示器を具備して構成されている。

このような画像処理装置１Ａの構成においては、前述した処理ルーチン（プログラム）各々に付された番号が前記７セグメント表示器に表示される。そして、観察者が前記アップスイッチまたは前記ダウンスイッチを押下すると、この押下に連動して、入力される映像信号の特徴を検出するための各種処理のうち、該観察者の所望の一の処理が選択される。これに伴い、画像処理装置１Ａの特徴検出部２は、前記所望の一の処理を用いつつ、自身に入力される映像信号の特徴を検出する。

以上に述べたような、本実施形態の第１の変形例としての画像処理装置１Ａによれば、画像処理装置１が具備する効果に加え、入力される映像信号の特徴を検出するための処理として、映像の撮影状況または観察者の観察状況に応じた、より適切な処理を選択することができる。

ところで、上記数式（５）、（６）及び（７）として示した、判断部３による判断の際の判断基準は、映像の撮影状況または観察者の観察状況に応じて適宜変更されるものであってもよい。具体的には、例えば、画像（画面）の右上部分に動く物体が存在し、かつ、画像（画面）全体が大きく動く場合においては、該右上部分に相当する箇所から検出された動きベクトルを、上記数式（５）及び（６）として示した判断基準より除外するものであってもよい。また、例えば、画像（画面）全体が大きく動く映像を見た際に生理的な不調を催す度合いの高い観察者においては、上記数式（７）として示した判断基準における閾値Ｒ_maxの値を小さくするものであってもよい。

そして、このような事情を鑑みた場合、本実施形態の画像処理装置１は、例えば図４に示すように、判断部３における判断基準を調整可能な判断基準調整部５Ｂをさらに有する画像処理装置１Ｂとして構成されるものであっても良い。

画像処理装置１Ｂの判断基準調整部５Ｂは、例えば、アップスイッチ、ダウンスイッチ及び７セグメント表示器を具備して構成されている。

このような画像処理装置１Ｂの構成においては、例えば、閾値Ｒ_maxの値が前記７セグメント表示器に表示される。そして、観察者が前記アップスイッチまたは前記ダウンスイッチを押下すると、この押下に連動して、該閾値Ｒ_maxの値が増加または減少させられる。これに伴い、画像処理装置１Ｂの判断部３は、調整された前記閾値Ｒ_maxの値を用いつつ、映像信号処理部４における信号処理が必要であるか否かの判定を行う。

また、前述のような画像処理装置１Ｂの構成においては、例えば、動きベクトルの数が７セグメント表示器に表示される。そして、観察者が前記アップスイッチまたは前記ダウンスイッチを押下すると、この押下に連動して、該動きベクトルの数が増加または減少させられる。これに伴い、画像処理装置１Ｂの判断部３は、調整された前記動きベクトルの数を用いつつ、映像信号処理部４における信号処理が必要であるか否かの判定を行う。

なお、判断基準調整部５Ｂによる判断基準の調整は、判断部３において実施されるものに限らず、特徴検出部２、または、特徴検出部２に至るまでの系において実施されるものであってもよい。具体的には、例えば、判断基準調整部５Ｂにおいて入力されたＲ_maxの値に応じた係数が動きベクトルに乗算される。

以上に述べたような、本実施形態の第２の変形例としての画像処理装置１Ｂによれば、画像処理装置１が具備する効果に加え、入力される映像信号に対する信号処理の要否に係る判断基準として、映像の撮影状況または観察者の観察状況に応じた、より適切な判断基準となるように調整することができる。

なお、本実施形態の画像処理装置１は、例えば図５に示すように、判断部３における判断基準を複数の中から選択可能な判断基準選択部５Ｄをさらに有する画像処理装置１Ｅとして構成されるものであっても良い。

画像処理装置１Ｅの判断基準選択部５Ｄは、例えば、アップスイッチ、ダウンスイッチ及び７セグメント表示器を具備して構成されている。

このような画像処理装置１Ｅの構成においては、複数の判断基準を表す記号が前記７セグメント表示器に順次表示される。そして、観察者が前記アップスイッチまたは前記ダウンスイッチを押下すると、この押下に連動して、７セグメント表示器に表示される記号が切り替わる。ここで、観察者が所望の判断基準を表す記号を選択すると、画像処理装置１Ｅの判断部３は、選択された判断基準に基づき、映像信号処理部４における信号処理が必要であるか否かの判定を行う。

以上に述べたような、本実施形態の第３の変形例としての画像処理装置１Ｅによれば、画像処理装置１が具備する効果に加え、入力される映像信号に対する信号処理の要否に係る判断基準として、映像の撮影状況または観察者の観察状況に応じた、より適切な判断基準を選択することができる。

一方、映像信号処理部４において行われる第１〜第９の信号処理として前述した、映像信号の映像品質を低下させるための信号処理は、映像の撮影状況または観察者の観察状況に応じて適宜変更されるものであってもよい。

そして、このような事情を鑑みた場合、本実施形態の画像処理装置１は、例えば図６に示すように、映像信号処理選択部５Ｃをさらに有する画像処理装置１Ｃとして構成されるものであっても良い。

本実施形態の第４の変形例としての画像処理装置１Ｃの映像信号処理部４は、前述の第１〜第９の信号処理に対応した処理ルーチン（プログラム）を夫々具備している。また、映像信号処理部４が具備する処理ルーチン（プログラム）各々には、１番から連番の番号が付されている。

画像処理装置１Ｃの映像信号処理選択部５Ｃは、例えば、アップスイッチ、ダウンスイッチ及び７セグメント表示器を具備して構成されている。なお、画像処理装置１Ｃの映像信号処理選択部５Ｃは、アップスイッチ及びダウンスイッチの代わりに、これらのスイッチと略同等の機能を有するものとして、例えば、ダイヤル、ボタンまたは音声入力装置等を具備して構成されても良い。

このような画像処理装置１Ｃの構成においては、前述した処理ルーチン（プログラム）各々に付された番号が前記７セグメント表示器に表示され、また、観察者による前記アップスイッチまたは前記ダウンスイッチの押下に連動して、映像信号の映像品質を低下させるための信号処理のうち、該観察者の所望の一の処理が選択される。これに伴い、画像処理装置１Ｃの映像信号処理部４は、信号処理が必要であるという判断結果が得られた場合に、映像信号の入力タイミングに応じて前記所望の一の処理を実施する。

以上に述べたような、本実施形態の第４の変形例としての画像処理装置１Ｃによれば、画像処理装置１が具備する効果に加え、入力される映像信号の映像品質を低下させるための信号処理として、映像の撮影状況または観察者の観察状況に応じた、より適切な信号処理を選択することができる。

また、画像処理装置１が外部から一対の映像信号を入力する場合には、画像処理装置１は、判断部３の判断結果に基づき、それぞれの映像信号について映像品質を低下させるための信号処理を共通に行うように構成されていてもよい。

そして、このような事情を鑑みた場合、本実施形態の画像処理装置１は、例えば図７に示すように、映像信号処理部４に代えて、一対の映像信号処理部４Ｌ，４Ｒを有する画像処理装置１Ｆとして構成されるものであっても良い。

本実施形態の第５の変形例としての画像処理装置１Ｆは、図７に示すように、外部から入力される一対の映像信号のうちの一方の特徴を検出する特徴検出部２と、特徴検出部２の検出結果に基づいて映像信号に対する信号処理の要否の判断を行う判断部３と、判断部３の判断結果に基づいて一対の映像信号に対してそれぞれ映像品質を低下させるための信号処理を適宜行う一対の映像信号処理部４Ｌ及び４Ｒと、を有している。なお、この場合において、画像処理装置１に入力される一対の映像信号のソースとしては、左目用カメラと右目用カメラとを備えた一対のカメラから構成される立体カメラ等が挙げられる。また、前記立体カメラは、例えば第３の実施形態として後述する、フェイスマウントディスプレイ装置に設けられるように構成されていてもよい。

このような一対のカメラは、いずれも撮影の対象領域が相互に一致するように設定されている。そのため、左目用カメラから出力された映像信号（左）と、右目用カメラから出力された映像信号（右）との間において、特徴が一致する。そのため、特徴検出部２は、前述したように、入力される一対の映像信号のうち、一方のみの特徴を検出することとしている。

また、判断部３において信号処理が必要であると判断された場合、映像信号処理部４Ｌは、映像信号（左）に対して映像品質を低下させるための信号処理を行う。また、判断部３において信号処理が必要であると判断された場合、映像信号処理部４Ｒは、映像信号（右）に対して映像品質を低下させるための信号処理を行う。

その他については、上述した第１の実施形態における画像処理装置１と同様の処理が行われる。

以上に述べたような、本実施形態の第５の変形例としての画像処理装置１Ｆによれば、画像処理装置１が具備する効果に加え、入力される一対の映像信号に対して、映像品質を低下させるための共通の信号処理を同時に行うことができる。

また、本実施形態の画像処理装置１は、例えば図８に示すように、本実施形態の第５の変形例としての画像処理装置１Ｆが、本実施形態の第４の変形例における映像信号処理選択部５Ｃをさらに有して構成された、画像処理装置１Ｇとして構成されるものであっても良い。この場合において、映像信号処理選択部５Ｃは、映像信号処理部４Ｌ及び４Ｒの両方に接続されている。これにより、観察者が映像信号の映像品質を低下させるための信号処理のうちから所望の一の処理を選択すると、映像信号処理選択部５Ｃは、選択された所望の一の処理をそれぞれ映像信号処理部４Ｌ及び４Ｒに対して実施するように制御する。

以上に述べたような、本実施形態の第６の変形例としての画像処理装置１Ｇによれば、画像処理装置１が具備する効果に加え、入力される一対の映像信号の映像品質を低下させるための信号処理として、映像の撮影状況または観察者の観察状況に応じた、より適切な信号処理を選択することができるとともに、このように選択された信号処理を入力された一対の映像信号に対して同時に行うことができる。

一方、本実施形態の説明において述べたハードウェア的な処理は、ソフトウェアを用いて実現されるものであっても良い。

この場合、画像処理装置１は、ＣＰＵと、ＲＡＭ等の主記憶装置と、本実施形態の説明において述べたハードウェア的な処理の全部または一部を実現するための画像処理プログラムが記憶されたコンピュータ読み取り可能な記憶媒体と、を具備して構成される。そして、このような構成によれば、前記ＣＰＵが前記記憶媒体に記憶された画像処理プログラムを読み出して情報の加工・演算処理を実行することにより、本実施形態の説明において述べたものと同様の処理を実現させることができる。

なお、前記記憶媒体は、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭまたは半導体メモリ等のいずれにより構成されるものであっても良い。

また、本実施形態の説明において述べたハードウェア的な処理をソフトウェアを用いて実現する場合、一方のコンピュータから通信回線を介して他方のコンピュータへ画像処理プログラムを配信し、該他方のコンピュータが該画像処理プログラムを実行するようにしても良い。

ここで、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理の処理手順について、図９のフローチャートを参照しつつ説明を行う。

まず、ＣＰＵは、外部から入力される映像信号に基づき、連続する２枚の画像間における画像マッチング処理を行うことにより、該映像信号に含まれる対象物の位置を検出する（図９のステップＳ１１）。

次に、ＣＰＵは、入力される映像信号の特徴として、画像の４隅近傍及び中央部に位置する所定の５箇所の画素における動きベクトルを夫々検出する（図９のステップＳ１２）。

ＣＰＵは、図９のステップＳ１２の処理における各動きベクトルの検出結果に基づき、映像信号の映像品質を低下させるための信号処理の要否の判断を行う（図９のステップＳ１３）。

ＣＰＵは、図９のステップＳ１３の判断結果に基づき、信号処理が不要であるという判断結果を得た場合には、入力された映像信号をスルーしつつ、モニタ及び（または）映像記録装置等へ出力する（図９のステップＳ１５）。一方、ＣＰＵは、図９のステップＳ１３の判断結果に基づき、信号処理が必要であるという判断結果を得た場合には、映像信号の映像品質を低下させるための信号処理を実施（図９のステップＳ１４）した後、該信号処理後の映像信号をモニタ及び（または）映像記録装置等へ出力する（図９のステップＳ１５）。

その後、ＣＰＵは、映像信号が入力され続けている間（図９のステップＳ１６）、前述した、図９のステップＳ１１からの一連の処理を繰り返し行う。また、ＣＰＵは、映像信号の入力が停止するとともに（図９のステップＳ１６）、図９のステップＳ１１からの一連の処理を終了する。

以上に述べた処理手順等によれば、本実施形態の説明において述べたハードウェア的な処理をソフトウェアを用いて実現する場合であっても、画像処理装置１が具備する効果と同様の効果を得ることができる。

（第２の実施形態）
図１０から図１２は、本発明の第２の実施形態に係るものである。図１０は、本発明の第２の実施形態に係る画像処理装置の構成等を示すブロック図である。図１１は、第２の実施形態における変形例としての画像処理装置の要部の構成を示すブロック図である。図１２は、第２の実施形態に係る画像処理装置において行われる処理を、ソフトウェアを用いて実現した場合の処理手順を示すフローチャートである。

なお、以降の説明において、第１の実施形態と同様の構成を持つ部分については、詳細な説明を省略する。また、本実施形態における画像処理装置の構成は、第１の実施形態における画像処理装置１と類似の構成を有している。そのため、本実施形態においては、第１の実施形態における画像処理装置１と異なる部分について主に説明を行うものとする。

画像処理装置１０１は、図１０に示すように、カメラ６からの映像信号が入力される映像信号処理部４と、動き検出センサ７において検出された物理量が入力される判断部３と、を有している。

動き検出センサ７は、カメラ６の動きに応じて生じる物理量を検出及び出力可能な、例えば、加速度センサ、角速度センサまたは測距センサ等により構成されている。

なお、動き検出センサ７は、カメラ６の動きに応じて生じる物理量を検出可能である限りにおいては、カメラ６と一体に設けられているものであってもよく、または、カメラ６と別体に設けられているものであってもよい。

ここで、具体例として、カメラ６が頭部装着型カメラであり、動き検出センサ７が測距センサであり、かつ、動き検出センサ７がカメラ６と一体に設けられている場合の作用について説明を行う。

例えば、カメラ６を装着した医師が撮影を行いながら外科手術を行っている場合においては、被写体距離は略一定に保たれる。しかし、器具の交換時等において医師が急に横を向くと、これに伴って被写体距離が急激に変化する。

このような場合においては、動き検出センサ７は、被写体距離の変化量をモニタリングする。また、判断部３は、該変化量と所定の閾値とを比較するとともに、該比較結果に基づき、映像信号処理部４における映像信号に対する信号処理の要否の判断を行う。そして、前記変化量が前記所定の閾値を超えている場合には、映像信号処理部４における信号処理が必要である、という判断結果が得られ、また、前記変化量が前記所定の閾値以下である場合には、映像信号処理部４における信号処理が不要である、という判断結果が得られる。

なお、映像信号処理部４における信号処理については、第１の実施形態と同様の処理を適用可能であるため、説明を省略する。

また、カメラ６を装着した医師が撮影を行いながら外科手術を行っている場合に動き検出センサ７から出力される被写体距離の変化量をＡとし、また、器具の交換時等において医師が急に横を向いた場合に動き検出センサ７から出力される被写体距離の変化量をＢとすると、前記所定の閾値は、該変化量Ａより大きく、かつ、該変化量Ｂより小さい値として設定されるものとする。

前述した具体例以外の場合であって、例えば、被写体距離の変化が少なく、かつ、カメラ６が上下に動いたり、左右に動いたり、または、回転しながら動いたりするような撮影条件の場合においては、動き検出センサ７として、加速度センサまたは角速度センサを用いればよい。そして、これに伴い、動き検出センサ７から出力される物理量の種類に応じた所定の閾値を適宜設定することにより、判断部３における判断が適切に行われる。

以上に述べたように、本実施形態の画像処理装置１０１によれば、画面全体が動くような大きな動きを含む映像を見る際に生じる視覚的負担を軽減することができる。

なお、本実施形態の画像処理装置１０１によれば、第１の実施形態の第２の変形例に示した判断基準調整部５Ｂとの組み合わせにより、動き検出センサ７から出力される物理量の種類に応じた所定の閾値の値（判断部３における判断基準）を、映像の撮影状況または観察者の観察状況に応じたものとして適宜変更することができる。

また、本実施形態の画像処理装置１０１によれば、第１の実施形態の第４の変形例に示した映像信号処理選択部５Ｃとの組み合わせにより、映像信号処理部４において行われる信号処理の種類を、映像の撮影状況または観察者の観察状況に応じたものとして適宜変更することができる。

また、本実施形態の画像処理装置１０１は、一対のカメラ６Ｌ及び６Ｒに接続されるとともに、映像信号処理部４に代えて一対の映像信号処理部４Ｌ及び４Ｒを有する、図１１に示す画像処理装置１０１Ａとして構成されるものであっても良い。

具体的には、図１１に示すように、本実施形態の変形例としての画像処理装置１０１Ａは、カメラ６Ｌ及び６Ｒからの一対の映像信号がそれぞれ入力される一対の映像信号処理部４Ｌ及び４Ｒと、動き検出センサ７において検出された物理量が入力される判断部３と、を有している。

ここで、動き検出センサ７は、一対のカメラ６Ｌ及び６Ｒを保持する保持部に設けられていることが好ましい。この場合、動き検出センサ７は、カメラ６Ｌ及び６Ｒの両方の動きを同時に検出することになる。

また、判断部３は、映像信号処理部４Ｌ及び４Ｒの両方に接続されている。従って、映像信号に対する信号処理が必要であると判断部３により判断された場合、映像信号処理部４Ｌ及び４Ｒは、カメラ６Ｌ及び６Ｒから入力された一対の映像信号に対して、それぞれ映像品質を低下させるための信号処理を同時に行うことができる。

この場合、画像処理装置１０１は、ＣＰＵと、ＲＡＭ等の主記憶装置と、本実施形態の説明において述べたハードウェア的な処理の全部または一部を実現するための画像処理プログラムが記憶されたコンピュータ読み取り可能な記憶媒体と、を具備して構成される。そして、このような構成によれば、前記ＣＰＵが前記記憶媒体に記憶された画像処理プログラムを読み出して情報の加工・演算処理を実行することにより、本実施形態の説明において述べたものと同様の処理を実現させることができる。

ここで、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理の処理手順について、図１２のフローチャートを参照しつつ説明を行う。

まず、ＣＰＵは、カメラ６から出力された映像信号を取得する（図１２のステップＳ２１）。

次に、ＣＰＵは、動き検出センサ７において検出された物理量として、カメラ６の動きに応じて生じる被写体距離の変化量等の物理量を取得する（図１２のステップＳ２２）。

ＣＰＵは、図１２のステップＳ２２において取得した物理量に基づき、該物理量が所定の閾値を超えているか否かの判定を行う（図１２のステップＳ２３）。

ＣＰＵは、図１２のステップＳ２３の判定結果に基づき、動き検出センサ７において検出された物理量が所定の閾値以下であるという判定結果を得た場合には、信号処理が不要であるとみなし、入力された映像信号をスルーしつつ、モニタ及び（または）映像記録装置等へ出力する（図１２のステップＳ２５）。一方、ＣＰＵは、図１２のステップＳ２３の判定結果に基づき、動き検出センサ７において検出された物理量が所定の閾値を超えているという判定結果を得た場合には、信号処理が必要であるとみなし、映像信号の映像品質を低下させるための信号処理を実施（図１２のステップＳ２４）した後、該信号処理後の映像信号をモニタ及び（または）映像記録装置等へ出力する（図１２のステップＳ２５）。

その後、ＣＰＵは、カメラ６からの映像信号が入力され続けている間（図１２のステップＳ２６）、前述した、図１２のステップＳ２１からの一連の処理を繰り返し行う。また、ＣＰＵは、カメラ６からの映像信号の入力が停止するとともに（図１２のステップＳ２６）、図１２のステップＳ２１からの一連の処理を終了する。

以上に述べた処理手順等によれば、本実施形態の説明において述べたハードウェア的な処理をソフトウェアを用いて実現する場合であっても、画像処理装置１０１が具備する効果と同様の効果を得ることができる。

（第３の実施形態）
図１３から図１９は、本発明の第３の実施形態に係るものである。図１３は、本発明の第３の実施形態に係る画像処理装置を有するフェイスマウントディスプレイ装置の構成を示す正面図である。図１４は、本発明の第３の実施形態に係る画像処理装置を有するフェイスマウントディスプレイ装置の構成を示す左側面図である。図１５は、本発明の第３の実施形態に係る画像処理装置を有するフェイスマウントディスプレイ装置の構成を示す背面図である。図１６は、本発明の第３の実施形態に係る画像処理装置を有するフェイスマウントディスプレイ装置の構成等を示すブロック図である。図１７は、本発明の第３の実施形態に係る画像処理装置を有するフェイスマウントディスプレイ装置の具体的な使用例を示す模式図である。図１８は、図１７に示すフェイスマウントディスプレイ装置により撮影された映像を、離れた位置に設置された３Ｄモニタにおいて見る場合の例を示す模式図である。図１９は、第３の実施形態に係る画像処理装置において行われる処理を、ソフトウェアを用いて実現した場合の処理手順を示すフローチャートである。

なお、以降の説明において、前述した各実施形態と同様の構成を持つ部分については、詳細な説明を省略する。

フェイスマウントディスプレイ装置（以降、ＦＭＤ装置と略記する）２０１は、例えば図１３に示すように、使用者の眼の付近に装着可能な、眼鏡形状またはゴーグル形状を具備するように全体が形成されている。

また、立体カメラとしての機能を有するＦＭＤ装置２０１は、図１３乃至図１５に示すように、カメラ２０２Ｌ及び２０２Ｒと、画像処理装置２０３と、アンテナ２０４と、ＦＭＤ装置２０１の傾き角度を検出する角速度センサ２０５と、使用者の左右の耳に掛けることが可能な形状を具備する装着用冶具２０６と、小型表示部２０７Ｌ及び２０２Ｒと、を有している。

カメラ２０２Ｌは、ＦＭＤ装置２０１を装着している使用者の左目側に相当する映像信号を出力する。また、カメラ２０２Ｒは、ＦＭＤ装置２０１を装着している使用者の右眼側に相当する映像信号を出力する。また、カメラ２０２Ｌ及び２０２Ｒから夫々出力された映像信号は、画像処理装置２０３に入力される。

画像処理装置２０３は、眼鏡形状またはゴーグル形状に形成されたＦＭＤ装置２０１における、フレームに相当する部分に設けられている。

また、画像処理装置２０３は、図１６に示すように、プロセッサ２０３ａと、セレクタ２０３ｂと、無線送信部２０３ｃとを有して構成されている。

特徴検出部としての機能を具備するプロセッサ２０３ａは、角速度センサ２０５における傾き角度の検出結果に基づき、ＦＭＤ装置２０１の角度の変移量を随時算出する。

そして、判断部としての機能を具備するプロセッサ２０３ａは、ＦＭＤ装置２０１の角度の変移量の算出結果に基づき、セレクタ２０３ｂにおける映像信号に対する信号処理の要否の判断を行う。例えば、プロセッサ２０３ａは、算出した角度の変移量が所定の量を超えたことを検出した場合、映像信号に対する信号処理が必要であると判断し、カメラ２０２Ｌからの信号を選択させるための制御をセレクタ２０３ｂに対して行う。また、プロセッサ２０３ａは、例えば、算出した角度の変移量が前記所定の量以下であることを検出した場合、映像信号に対する信号処理が不要であると判断し、カメラ２０２Ｒからの信号を選択させるための制御をセレクタ２０３ｂに対して行う。

セレクタ２０３ｂは、プロセッサ２０３ａの制御に基づき、カメラ２０２Ｌからの映像信号と、カメラ２０２Ｒからの映像信号とのうち、いずれか一の映像信号を選択的に出力する。

無線送信部２０３ｃは、カメラ２０２Ｌからの映像信号と、セレクタ２０３ｂにおいて選択された一の映像信号とを１フレーム毎に交互に結合したものを無線信号に変調する。そして、前記無線信号は、アンテナ２０４を介してＦＭＤ装置２０１の外部へ送信される。

小型表示部２０７Ｌは、ＦＭＤ装置２０１を装着した使用者の左眼の眼前に配置可能な形状及びサイズを具備し、カメラ２０２Ｌから出力される映像信号に応じた映像を表示する。また、小型表示部２０７Ｒは、ＦＭＤ装置２０１を装着した使用者の右眼の眼前に配置可能な形状及びサイズを具備し、カメラ２０２Ｒから出力される映像信号に応じた映像を表示する。

一方、ＦＭＤ装置２０１の外部には、図１６に示すように、ＦＭＤ装置２０１からの無線信号を受信及び復調する無線受信部３０１と、無線受信部３０１からの映像信号に応じた映像が表示される３Ｄモニタ３０２とが設けられている。

ここで、ＦＭＤ装置２０１の作用を、図１７及び図１８に示すような状況を想定しつつ説明する。

例えば歯科医である術者４０１は、図１７に示すように、ＦＭＤ装置２０１を顔に装着した状態において、患者の口腔内の観察及び処置を行う。この際、術者４０１が観察している部分は、カメラ２０２Ｌ及び２０２Ｒにより撮影され、小型表示部２０７Ｌ及び２０７Ｒに表示される。これにより、術者４０１は、カメラ２０２Ｌ及び２０２Ｒによる撮影範囲の状況を、小型表示部２０７Ｌ及び２０７Ｒに表示される映像を見ながら確認することができる。

一方、カメラ２０２Ｌ及び２０２Ｒにより撮影された映像は、無線通信を介し、術者４０１から離れた位置に設置された３Ｄモニタ３０２に表示される。そして、図１８に示すように、例えば学生である観察者４０３は、術者４０１の手技を３Ｄ映像として略リアルタイムに見ることができる。

術者４０１の動きが小さい場合には、信号処理が不要であるとの判断がプロセッサ２０３ａにおいてなされるため、カメラ２０２Ｒからの信号がセレクタ２０３ｂから出力される。その結果、術者４０１の動きが小さい場合、３Ｄモニタ３０２には、３Ｄ映像が表示される。

また、例えば、術者４０１が急に横を向く等の動きの大きな動作を行った場合、角速度センサ２０５により検出される傾き角度が急峻に変化することに伴い、信号処理が必要であるとの判断がプロセッサ２０３ａにおいてなされるため、カメラ２０２Ｌからの映像信号がセレクタ２０３ｂから出力される。その結果、術者４０１の動きが大きい場合、３Ｄモニタ３０２には、２Ｄ映像が表示される。

すなわち、本実施形態の画像処理装置２０３によれば、信号処理が必要であると判断した場合に、自身に入力された映像信号の映像品質を低下させるための信号処理として、３Ｄ映像を２Ｄ映像に変換する処理を行っている。

なお、画像処理装置２０３は、信号処理が必要であると判断した場合に、カメラ２０２Ｌからの映像信号を用いて２Ｄ画像を生成するものに限らず、カメラ２０２Ｒからの映像信号を用いて２Ｄ画像を生成するものであっても良い。

以上に述べたように、本実施形態の画像処理装置２０３、及び、画像処理装置２０３を有するＦＭＤ装置２０１によれば、画面全体が動くような大きな動きを含む映像を見る際に生じる視覚的負担を軽減することができる。

この場合、画像処理装置２０３は、ＣＰＵと、ＲＡＭ等の主記憶装置と、本実施形態の説明において述べたハードウェア的な処理の全部または一部を実現するための画像処理プログラムが記憶されたコンピュータ読み取り可能な記憶媒体と、を具備して構成される。そして、このような構成によれば、前記ＣＰＵが前記記憶媒体に記憶された画像処理プログラムを読み出して情報の加工・演算処理を実行することにより、本実施形態の説明において述べたものと同様の処理を実現させることができる。

ここで、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理の処理手順について、図１９のフローチャートを参照しつつ説明を行う。

まず、ＣＰＵは、カメラ２０２Ｌ及び２０２Ｒから出力された映像信号を取得する（図１９のステップＳ３１）。

次に、ＣＰＵは、角速度センサ２０５における傾き角度の検出結果に基づき、ＦＭＤ装置２０１の角度の変移量を算出する（図１９のステップＳ３２）。

ＣＰＵは、図１９のステップＳ３２において算出した角度の変移量に基づき、該角度の変移量が所定の閾値を超えているか否かの判定を行う（図１９のステップＳ３３）。

ＣＰＵは、図１９のステップＳ３３の判定結果に基づき、算出した角度の変移量が所定の閾値以下であるという判定結果を得た場合には、信号処理が不要であるとみなし、カメラ２０２Ｒからの信号を選択する（図１９のステップＳ３４）。一方、ＣＰＵは、図１２のステップＳ２３の判定結果に基づき、動き検出センサ７において検出された物理量が所定の閾値を超えているという判定結果を得た場合には、信号処理が必要であるとみなし、カメラ２０２Ｌからの信号を選択する（図１９のステップＳ３５）。

そして、ＣＰＵは、カメラ２０２Ｌからの映像信号と、図１９のステップＳ３４またはステップＳ３５において選択した一の映像信号とを無線信号に変調させ、ＦＭＤ装置２０１の外部へ出力させる（図１９のステップＳ３６）。

その後、ＣＰＵは、カメラ２０２Ｌ及び２０２Ｒからの映像信号が入力され続けている間（図１９のステップＳ３７）、前述した、図１９のステップＳ３１からの一連の処理を繰り返し行う。また、ＣＰＵは、カメラ２０２Ｌ及び２０２Ｒからの映像信号の入力が停止するとともに（図１９のステップＳ３７）、図１９のステップＳ３１からの一連の処理を終了する。

以上に述べた処理手順等によれば、本実施形態の説明において述べたハードウェア的な処理をソフトウェアを用いて実現する場合であっても、画像処理装置２０３が具備する効果と同様の効果を得ることができる。

（第４の実施形態）
図２０は、本発明の第４の実施形態に係るものである。図２０は、本発明の第４の実施形態に係る画像処理装置の構成等を示すブロック図である。

なお、以降の説明において、第１の実施形態と同様の構成を持つ部分については、詳細な説明を省略する。また、本実施形態における画像処理装置の構成は、第１の実施形態における画像処理装置１と略同一の構成を有している。そのため、本実施形態においては、第１の実施形態における画像処理装置１と異なる部分について主に説明を行うものとする。

本実施形態の画像処理装置１Ｄは、第１の実施形態における画像処理装置１と同様の構成要素である、特徴検出部２と、判断部３と、映像信号処理部４とを有している一方、表示装置５０１へ映像信号を出力する系と、記録装置５０２へ映像信号を出力する系とからなる２系統の出力系を有する部分が画像処理装置１と異なっている。

画像処理装置１Ｄの判断部３は、第１の実施形態において述べた判断の際に、映像信号処理部４における信号処理が必要であるとの判断結果を得た場合、記録装置５０２における映像の記録を停止させるための制御を行う。また、画像処理装置１Ｄの判断部３は、映像信号処理部４における信号処理が不要であるとの判断結果が得られた場合において、記録装置５０２における映像の記録を開始させるための制御を行う。

このような制御を判断部３が行うことにより、記録装置５０２には、視覚的負担が大きくなるようなシーンがカットされた状態の映像が記録される。そのため、本実施形態の画像処理装置１Ｄによれば、画面全体が動くような大きな動きを含む映像をリアルタイムに見る際に生じる視覚的負担を軽減することができるとともに、記録された該映像を再生して見る場合においても視覚的負担が生じにくい。

なお、本実施形態の画像処理装置１Ｄの構成は、画像処理装置１Ａ、１Ｂ、１Ｃ、１０１及び２０３に対しても略同様に適用することができる。

本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用、または、各実施形態に記載された構成の組み合わせが可能であることは勿論である。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図。特徴検出部による動きベクトルの検出対象となる箇所の一例を示す図。第１の実施形態における第１の変形例としての画像処理装置の要部の構成を示すブロック図。第１の実施形態における第２の変形例としての画像処理装置の要部の構成を示すブロック図。第１の実施形態における第３の変形例としての画像処理装置の要部の構成を示すブロック図。第１の実施形態における第４の変形例としての画像処理装置の要部の構成を示すブロック図。第１の実施形態における第５の変形例としての画像処理装置の要部の構成を示すブロック図。第１の実施形態における第６の変形例としての画像処理装置の要部の構成を示すブロック図。第１の実施形態に係る画像処理装置において行われる処理を、ソフトウェアを用いて実現した場合の処理手順を示すフローチャート。本発明の第２の実施形態に係る画像処理装置の構成等を示すブロック図。第２の実施形態における変形例としての画像処理装置の要部の構成を示すブロック図。第２の実施形態に係る画像処理装置において行われる処理を、ソフトウェアを用いて実現した場合の処理手順を示すフローチャート。本発明の第３の実施形態に係る画像処理装置を有するＦＭＤ装置の構成を示す正面図。本発明の第３の実施形態に係る画像処理装置を有するＦＭＤ装置の構成を示す左側面図。本発明の第３の実施形態に係る画像処理装置を有するＦＭＤ装置の構成を示す背面図。本発明の第３の実施形態に係る画像処理装置を有するＦＭＤ装置の構成等を示すブロック図。本発明の第３の実施形態に係る画像処理装置を有するＦＭＤ装置の具体的な使用例を示す模式図。図１７に示すＦＭＤ装置により撮影された映像を、離れた位置に設置された３Ｄモニタにおいて見る場合の例を示す模式図。第３の実施形態に係る画像処理装置において行われる処理を、ソフトウェアを用いて実現した場合の処理手順を示すフローチャート。本発明の第４の実施形態に係る画像処理装置の構成等を示すブロック図。

符号の説明

１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１０１，２０３画像処理装置
２特徴検出部
３判断部
４映像信号処理部
２０１ＦＭＤ装置

Claims

入力映像信号に基づいて複数の動きベクトルを検出する特徴検出部と、
前記複数の動きベクトルの相互の大きさ及び向きに関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断部と、
前記判断部において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理部と、
を有することを特徴とする画像処理装置。
前記入力映像信号は、カメラから出力されたものであることを特徴とする請求項１に記載の画像処理装置。
前記入力映像信号は、立体カメラから出力されたものであることを特徴とする請求項１に記載の画像処理装置。
前記特徴検出部は、画像の４隅近傍及び中央部に位置する所定の５箇所の画素における動きベクトルを検出することを特徴とする請求項１乃至請求項３のいずれか一に記載の画像処理装置。
カメラと、
前記カメラの動きを検出する動き検出センサと、
前記動き検出センサにより検出された物理量に関する判断基準に基づき、前記カメラから出力された入力映像信号に対する信号処理を行うか否かを判断する判断部と、
前記判断部において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理部と、
を有することを特徴とする画像処理装置。
前記カメラは、立体カメラであることを特徴とする請求項５に記載の画像処理装置。
前記動き検出センサは、加速度センサまたは角速度センサであり、
前記判断基準は、前記カメラの動きに応じたものとして定められることを特徴とする請求項５に記載の画像処理装置。
前記動き検出センサは、測距センサであり、
前記判断基準は、前記カメラから被写体までの距離の変化に応じたものとして定められることを特徴とする請求項５に記載の画像処理装置。
前記映像信号処理部は、前記判断部において信号処理を行うと判断された場合に、前記立体カメラから出力される一方の映像信号を遮断しつつ、他方の映像信号を該一方の映像信号として出力する処理、または、前記立体カメラから出力される他方の映像信号を遮断しつつ、一方の映像信号を該他方の映像信号として出力する処理を行うことを特徴とする請求項３または請求項６に記載の画像処理装置。
前記判断部における判断基準を複数の中から選択可能な判断基準選択部をさらに有することを特徴とする請求項１乃至請求項９のいずれか一に記載の画像処理装置。
前記判断部における判断基準を調整可能な判断基準調整部をさらに有することを特徴とする請求項１乃至請求項９のいずれか一に記載の画像処理装置。
前記判断部における判断の際に用いられる前記複数の動きベクトルの数を増減可能な、判断基準調整部をさらに有することを特徴とする請求項１乃至請求項４のいずれか一に記載の画像処理装置。
前記判断基準には、前記複数の動きベクトルにおける平均ベクトルの大きさの閾値が含まれ、
前記閾値を変更可能な判断基準調整部をさらに有することを特徴とする請求項１乃至請求項４のいずれか一に記載の画像処理装置。
前記映像信号処理部において行われる信号処理の処理内容を複数の中から１つ選択可能な、映像信号処理選択部をさらに有することを特徴とする請求項１乃至請求項９のいずれか一に記載の画像処理装置。
前記入力映像信号を記録可能な記録装置をさらに有し、
前記判断部は、信号処理を行うと判断した場合に、前記記録装置における前記入力映像信号の記録を停止させる制御を行うことを特徴とする請求項１乃至請求項９のいずれか一に記載の画像処理装置。
入力映像信号に基づいて複数の動きベクトルを検出するベクトル検出過程と、
前記複数の動きベクトルの相互の大きさ及び向きに関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断過程と、
前記判断過程において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理過程と、
を有することを特徴とする画像処理方法。
カメラから出力された入力映像信号を取得する過程と、
前記カメラの動きを検出する動き検出センサにより検出された物理量を取得する過程と、
前記物理量に関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断過程と、
前記判断過程において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理過程と、
を有することを特徴とする画像処理方法。
入力映像信号に基づいて複数の動きベクトルを検出するベクトル検出処理と、
前記複数の動きベクトルの相互の大きさ及び向きに関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断処理と、
前記判断処理において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
カメラから出力された入力映像信号を取得する処理と、
前記カメラの動きを検出する動き検出センサにより検出された物理量を取得する処理と、
前記物理量に関する判断基準に基づき、前記入力映像信号に対する信号処理を行うか否かを判断する判断処理と、
前記判断過程において信号処理を行うと判断された場合に、前記入力映像信号に係る映像の品質を低下させるための信号処理を行う映像信号処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。