以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
本実施の形態において、後述するルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置1について説明する。なお、目的に応じて脳負荷が調整された画像とは、例えば、視聴時に脳負荷をより低減できる画像や、視聴時により脳に刺激を与えエンターテインメント性が増加する画像などである。視聴時に脳の負荷をより低減できる画像とは、例えば対象をより認知しやすい画像のことである。また、目的とは、通常、視聴者の画像視聴時の目的であり、例えば、リラックスして視聴したいという目的、できるだけ疲れずに長時間視聴したいという目的、エンターテインメント性を味わいたいという目的等がある。
また、本実施の形態において、目的に応じて脳負荷が調整された画像を取得する処理は、例えば、時空間ブロックごとに処理を行う。時空間ブロックについての説明は、後述する。
また、本実施の形態において、ルックアップテーブルはカスタマイズ可能である。
また、本実施の形態において、画像処理装置1は、出力候補の画像が所定の条件を満たさない場合に、当該所定の条件を満たすように変換する機能を有する。
図1は、本実施の形態における画像処理装置1のブロック図である。
画像処理装置1は、格納部101、拘束条件格納部102、指示受付部103、画像受付部104、分割部105、画像解析部106、マッピング部107、合成部108、画像出力部109、およびルックアップテーブル更新部110を具備する。
マッピング部107は、例えば、種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備する。
格納部101は、1以上のルックアップテーブルを格納し得る。格納部101は、ルックアップテーブルの種類を識別する種類識別子と種類識別子に対応するルックアップテーブルとの組を2組以上格納していても良い。なお、ルックアップテーブルのデータ構造は、テーブル構造とは限らない。ルックアップテーブルのデータ構造は、問わない。
ここで、ルックアップテーブルは、1または2以上の対応情報を有する。対応情報は、1以上の第一の画像の全部または一部分と、1以上の第二の画像の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応情報が一つの場合、かかる対応情報は、例えば、画像を変換する演算式や、画像を変換する演算式に与える1以上のパラメータ群である。対応情報は、例えば、時空間ブロックの画素値の中央値を算出する演算式でも良い。
また、1以上の第一の画像の全部または一部分および1以上の第二の画像の全部または一部分は、出力される一画面の画像でも良いし、一画面の一部のブロックの画像でも良いし、一画素でも良いし、時間的に連続する複数画面でも良いし、時間的に連続する複数画面の空間上の一部分(後述する時空間ブロック)でも良いし、時間的に連続する複数画面の連続する一画素の集合などでも良い。つまり、第一の画像および第二の画像の情報量の単位は問わない。なお、時空間ブロックとは、通常、映像を、空間的、または時間的、または空間的かつ時間的に分割した一部分をいう。ただし、時空間ブロックは、画素の集合であれば良い。つまり、時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、画像を分割されて取得された複数の時空間ブロックは、一部に重複した画素を有するものでも良い。
第二の画像は、第一の画像より、視聴する場合に、脳の負荷をより低減できる画像である。また、第二の画像は、第一の画像より、通常、一の対象を認知する場合の脳の負荷をより低減できる画像である。脳の負荷をより低減できる画像とは、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などのうちの1以上の属性を、より感じる画像である。なお、属性は画像によって異なる。なお、質感とは、材質感、光沢感、透明感、ふんわり感、しっとり感など、画像に含まれる対象の質感である。また、遠近感とは、解像感、立体感、奥行き感、空気感などとも言える。
なお、脳の負荷を低減できる画像とは、脳に好適に感じられる画像と言い換えても良い。
また、1以上の第一の画像より脳の負荷を低減できる1以上の第二の画像は、例えば、1以上の第一の画像と異なる環境で取得され得る1以上の画像である。つまり、かかる場合、例えば、1以上の第一の画像と、1以上の第二の画像は、画像を取得する環境が異なる。
第一の画像とは、例えば、一の環境で得られた一の対象についての画像である。また、第二の画像とは、例えば、他環境で得られた前記一の対象についての画像である。また、第一の画像とは、例えば、一の環境で一の対象を撮影した画像である。また、第二の画像とは、例えば、他環境で前記一の対象を撮影した画像である。また、かかる場合、第二の画像と第一の画像は、通常、同一の画素数であるが、異なる画素数でも良い。なお、一の対象を撮影した画像とは、一の対象を撮影したに等しい、作り出した画像でも良い。
また、他環境とは、一の環境とは異なる環境であり、一の環境より目的に合致した画像を撮影できる環境である。また、他環境とは、例えば、一の環境より脳負荷を低減できる画像を撮影できる環境である。他環境とは、例えば、以下の(1)から(9)のような環境である。(1)一の環境より照明(光源)の光量が多い環境、(2)一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、(3)一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、(4)一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、(5)一の環境と照明の色が異なる環境、(6)一の環境と異なる天候の環境、(7)一の環境と異なる温度や湿度の環境、(8)一の環境と異なる被写界深度の環境、(9)一の環境と異なるシャッター速度の環境などである。
つまり、一の環境と他環境とでは、例えば、光量、光源の位置、光源の色、カメラの位置、カメラの設定などの撮影環境が異なる。また、環境とは、通常、撮影環境であるが、画像を取得する環境に関するものであれば何でも良い。
なお、第二の画像は、第一の画像より、単に画素数が多い、という画像は含まない。かかる単に画素数が多い画像は、単純に画素数が多いカメラ(例えば、HDカメラ)で撮影した画像を規範とする画像である一方、本発明における脳に好適に感じられる画像は、脳の判断、脳の感じ方(人の感じ方と言っても良い)を規範とする画像であり、一線を画する。
また、第一の画像に対して、脳負荷が調整された第二の画像は、例えば、第一の画像よりエンターテインメント性が向上する画像も含む。エンターテインメント性が向上する画像は、エンターテインメント性を嗜好するユーザにとって、脳に好適に感じられる画像である。脳に好適に感じられる画像とは、脳における刺激を楽しむことができる画像とも言える。また、エンターテインメント性が向上する複数の画像(映像)は、例えば、一部にフラッシュ画面が挿入されている映像である。
なお、脳負荷が調整された第二の画像が、第一の画像よりエンターテインメント性が向上する画像である場合、かかる第二の画像は、脳への刺激をより楽しむことができるが、脳の負荷がより増加する場合もあり得る。
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該第一の画像をデフォルメした画像である。第一の画像をデフォルメした第二の画像は、例えば、第一の画像に映っている人物の似顔絵画像である。似顔絵画像等のデフォルメした画像は、ユーザにとって、対象を認識し易く、対象の認知の際に、脳負荷が低減されるように、脳負荷が調整された画像であると言える。
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該一の対象を描写した絵画を撮影した画像である。対象を描写することで、対象の持つ概念がよりわかりやすく表現されることがある。すなわち、対象を直接撮影した画像より、対象を描写した絵画を撮影した画像の方が、脳負荷が低減できるように、脳負荷が調整された画像であると言える。
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該第一の画像のCG画像である。対象によって、撮影画像より、CG画像の方が、脳負荷が低減できるように、脳負荷が調整された画像であると言える。
また、対応情報は、例えば、第一画像関連情報と第二画像関連情報との対である。第一画像関連情報は、1以上の第一の画像の全部または一部分に関する情報である。第二画像関連情報は、1以上の第二の画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、1以上の第一の画像の全部または一部分から抽出される1以上の特徴量である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分を生成する演算式である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分を生成する演算式に与えるパラメータ群の対である。かかる場合、演算式は、マッピング部107が保持している。また、画像から抽出される1以上の特徴量には、例えば、1以上の画像の一部の特徴量である近傍特徴量と、1以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティ、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ(DR)、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、1または2以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報(PinPであるか否か、PoutPであるか否か、テロップの有無など)、1以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果(顔など)などである。ここで、コンテンツ情報とは、例えば、電子番組表(EPG)が有する番組のジャンル、タイトル、出演者名等である。なお、1以上の特徴量を、適宜、特徴量ベクトルとも言う。
格納部101は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。特に、格納部101は、不揮発性のRAMであることが好適である。また、格納部101にルックアップテーブルが記憶される過程は問わない。例えば、記録媒体を介してルックアップテーブルが格納部101で記憶されるようになってもよく、通信回線等を介して送信されたルックアップテーブルが格納部101で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたルックアップテーブルが格納部101で記憶されるようになってもよい。
拘束条件格納部102は、拘束条件を格納し得る。拘束条件とは、画像処理装置1におけるいずれかの処理に関する条件である。処理に関する条件とは、例えば、処理対象である画像(入力画像)の全部または一部に対する条件である。また、処理に関する条件とは、例えば、処理に利用されるルックアップテーブルに関する条件である。また、処理に関する条件とは、例えば、出力画像に関する条件である。拘束条件とは、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件であると言える。また、処理対象である画像(入力画像)の全部または一部に対する条件とは、例えば、処理対象の1以上の特徴量(例えば、輝度、画素値など)をパラメータとする条件である。入力画像の全部または一部に対する条件は、例えば、画素値が正常範囲を逸脱していないことである。なお、画素値の正常範囲は予め格納されている。また、ルックアップテーブルに関する条件とは、例えば、ルックアップテーブルが有する対応情報の選択頻度などの選択に関する条件である。ルックアップテーブルに関する条件は、例えば、直前で使用された対応情報と同じ対応情報を使用しないことである。また、ルックアップテーブルに関する条件は、例えば、第一の特定の条件下では連続して同一の対応情報を使用したり、第二の特定条件下では特定の対応情報を固定的に使用したり、第三の特定の条件下では連続して同一の対応情報を使用しないこと等である。また、例えば、出力画像に関する条件とは、出力画像象の1以上の特徴量(例えば、輝度、画素値など)をパラメータとする条件である。出力画像に関する条件とは、マッピング部107が取得した1以上の第二の画像の全部または一部分が満たすべき拘束条件である、と言える。出力画像に関する条件は、例えば、アクティビティが閾値以内であることなどである。また、出力画像に関する条件は、例えば、画素の最大値「画素の値<=255」、画素の最小値「画素の値>=10」、画素の値の変化Δについての「画素の輝度の時間的な変化<=100」、ダイナミックレンジ「DR<=200」などである。拘束条件は、画像処理を行うプログラム中に埋め込まれていても良いことは言うまでもない。
また、拘束条件は、入力画像の全部または一部に対する条件、ルックアップテーブルに関する条件、出力画像に関する条件のうち、2種類以上の条件を含んでも良い。かかる拘束条件は、例えば、入力画像の画素値と出力画像の画素値との差が、閾値より大きいことである。なお、閾値は予め格納されている。
拘束条件格納部102は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部102に拘束条件が記憶される過程は問わない。例えば、記録媒体を介して拘束条件が拘束条件格納部102で記憶されるようになってもよく、通信回線等を介して送信された拘束条件が拘束条件格納部102で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束条件が拘束条件格納部102で記憶されるようになってもよい。
指示受付部103は、指示を受け付ける。指示は、ユーザから受け付けても良いし、外部の記録媒体から読み出しても良いし、外部の装置から受信しても良い。また、指示は、放送装置から送信される放送に埋め込まれていても良い。なお、指示は、ユーザの嗜好等に合致するようにルックアップテーブルを変更する指示である。指示は、例えば、画像の立体感の度合いを含む。また、指示は、例えば、出力されている1以上の各第二画像情報候補集合が有する2以上の第二の画像の候補のうち、1以上の第二の画像の候補を選択する指示である。かかる選択は、ユーザの嗜好に合致する画像を選択する指示である。また、指示は、例えば、年齢や年齢層(30歳代、60歳代など)や性別や近視や老視・調節障害の有無などのユーザ属性を含んでも良い。また、指示は、例えば、目的や課題や嗜好である。目的や課題や嗜好には、「画像が見えにくいのでもっとよく見えるようにしたい」、「画像が暗くて見えにくい」「もっと派手な画が見たい」といった例がある。つまり、指示の内容や種類は、種々あり得る。
また、受け付けとは、リモコンやキーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、リモコンやテンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。指示受付部103は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
画像受付部104は、画像を受け付ける。また、画像受付部104は、1以上の画像の集合である映像を受け付けても良い。ここで、画像とは、一の静止画でも良いし、2以上の静止画から構成される動画でも良い。画像受付部104は、例えば、テレビジョンチューナーや、無線または有線の受信手段等により実現され得る。なお、画像の受け付けとは、記録媒体からの画像の読み出し等でも良い。つまり、画像を受け付ける手段は問わない。
分割部105は、画像受付部104が受け付けた画像(静止画でも動画でも良い)を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する。なお、上述した通り、画像を分割して取得された複数の時空間ブロックは、重複した領域を含んでも良い。また、上述した通り、画像を分割して取得された複数の時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、分割部105は、例えば、1画面(1フィールドまたは1フレーム)を4つに分割しても良いし、n画面(nは2以上の整数)を8つに分割しても良い。なお、分割する数は問わない。また、分割部105は、画像から1画素ずつ取得して、画像解析部106に渡しても良い。つまり、時空間ブロックは1画素でも良い。
分割部105は、通常、MPUやメモリ等から実現され得る。分割部105の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
画像解析部106は、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する。例えば、画像解析部106は、分割部105が取得した2以上の各第一の時空間ブロックごとに、各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定しても良い。なお、画像解析部106は、2以上の第一の画像の全部または一部分を決定しても良い。
また、例えば、画像解析部106は、画像受付部104が受け付けた画像、または分割部105が取得した2以上の各第一の時空間ブロックを解析し、1以上の特徴量を取得し、1以上の特徴量に対応する第一の画像の全部または一部分を決定する。ここで、1以上の特徴量とは、例えば、上述した近傍特徴量、全体特徴量のうちの1以上の特徴量である。なお、画像解析部106は、画像受付部104が受け付けた1以上の画像の全部または一部分を解析し、1以上の特徴量を取得する処理だけでも良い。なお、画像解析部106が取得する特徴量は、全体特徴量と近傍特徴量の両方を含むことが好適である。
また、1以上の特徴量に対応する第一の画像の全部または一部分を決定する処理は、例えば、取得した特徴量ベクトルと、各対応情報が有する第一の画像の全部または一部分の特徴量ベクトルとの距離を算出し、当該距離が最小の第一の画像の全部または一部分の特徴量ベクトルに対応するパラメータ群、または演算式等を取得する処理である。
また、1以上の特徴量に対応する第一の画像の全部または一部分を決定する処理は、例えば、取得した特徴量ベクトルからルックアップテーブルのアドレスを算出する処理である。なお、ルックアップテーブルのアドレスを算出する処理は、予め格納されている演算式に特徴量ベクトルを代入し、演算する処理である。
画像解析部106は、通常、MPUやメモリ等から実現され得る。画像解析部106の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
マッピング部107は、ルックアップテーブル中の1または2以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。また、例えば、マッピング部107は、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報を用いて(対応情報の一部(例えば、パラメータ群)を用いることも含む)、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成する。また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分を、対応情報から取得する。
マッピング部107は、画像解析部106が取得した1以上の特徴量に基づいて、画像受付部104が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できる1以上の対応情報を選択する動作、または画像受付104部が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できるルックアップテーブルおよび1以上の対応情報を選択する動作のうちの一の動作を行っても良い。そして、次に、マッピング部107は、選択した1以上の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得しても良い。
また、マッピング部107は、画像解析部106が取得した1以上の特徴量に基づいて、画像受付部104が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できる2以上の対応情報を選択する動作、または前記画像受付部が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できるルックアップテーブルおよび2以上の対応情報を選択する動作のうちの一の動作を行い、当該選択した2以上の対応情報を用いて、1以上の第二の画像の全部または一部分を取得しても良い。なお、2以上の対応情報を用いて1以上の第二の画像の全部または一部分を取得する場合、マッピング部107は、画像受付部104が受け付けた1以上の画像の全部または一部分を、2以上の各対応情報を用いて処理し、当該処理した2以上の結果を融合して、1以上の第二の画像の全部または一部分を取得しても良い。また、2以上の対応情報を用いて1以上の第二の画像の全部または一部分を取得する場合、マッピング部107は、2以上の対応情報を用いて、新たな対応情報を生成し、当該新たな対応情報を用いて、1以上の第二の画像の全部または一部分を取得しても良い。なお、上記の2以上の結果の融合とは、例えば、画像の2以上の属性の両方を用いた画像を生成することや、2以上の属性の中間的な性質を持つ画像を生成することなどである。
マッピング部107は、2以上の各第一の時空間ブロックごとに、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報を用いて(対応情報の一部を用いることも含む)、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得しても良い。マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得する。また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分(第二の時空間ブロック)を、対応情報から取得する。
また、マッピング部107は、第二の画像の全部または一部分を取得した後、補正処理を行っても良い。補正処理は、マッピング部107が、画像受付部104が受け付けた画像の全部または一部分の特徴量と、対応情報が有する第一の画像の全部または一部分の特徴量とを用いて、第二の画像の全部または一部分を補正する処理である。なお、補正して取得した画像も、第二の画像と言っても良いし、出力画像と言っても良い。補正処理は、例えば、マッピング部107が、画像受付部104が受け付けた画像の全部または一部分の特徴量と、対応情報が有する第一の画像の全部または一部分の特徴量との差分を取得し、当該差分を用いて、第二の画像の全部または一部分を補正し、出力画像の全部または一部分が、画像受付部104が受け付けた画像の全部または一部分に、より合致するように補正する処理である。
マッピング部107は、通常、MPUやメモリ等から実現され得る。マッピング部107の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
以下、マッピング部107が種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備する場合について説明する。なお、マッピング部107は、種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備しない場合もある。
マッピング部107を構成する種類識別子取得手段1071は、利用するルックアップテーブルの種類を識別する1または2以上の種類識別子を取得する。種類識別子取得手段1071は、例えば、種類識別子と、画像の全部または一部分の1以上の特徴量とが対応付けて、格納部101に格納されている場合、画像受付部104が受け付けた画像の全部または一部分の1以上の特徴量を取得し、当該1以上の特徴量に最も近似する1以上の特徴量を決定し、当該1以上の特徴量に対応する種類識別子を格納部101から取得しても良い。また、種類識別子取得手段1071は、図示しないEPG格納部に格納されているEPG(電子番組表)に含まれる番組(出力中の番組)のジャンルを種類識別子としても良い。さらに、種類識別子取得手段1071は、ユーザから受け付けた種類識別子を図示しない記録媒体に格納しており、かかる種類識別子を取得しても良い。また、種類識別子取得手段1071は、指示受付部103が受け付けた指示に対応する1以上の種類識別子を取得する。例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、ノイズを低減するルックアップテーブルの種類を識別する種類識別子を取得する。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、照明環境を明るくするルックアップテーブルの種類を識別する種類識別子を取得しても良い。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、ノイズを低減するルックアップテーブルの種類識別子と、照明環境を明るくするルックアップテーブルの種類識別子とを取得しても良い。
また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、画像中のノイズを検出し、閾値以上のノイズが存在するか否かを検知し、閾値以上のノイズが存在すると判断した場合は、ノイズを低減するルックアップテーブルの種類識別子を取得する。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、画像の輝度値の分布を取得し、画像の輝度分布が予め決められた条件を満たさないほど暗いと判断した場合、照明環境を明るくするルックアップテーブルの種類識別子を取得しても良い
種類識別子取得手段1071は、通常、MPUやメモリ等から実現され得る。種類識別子取得手段1071の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
出力画像候補取得手段1072は、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報(対応情報の一部でも良い趣旨である)を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を取得する。ここで取得された第二の画像の全部または一部分は、出力画像の全部または一部分の候補である。また、「第二の画像の全部または一部分を取得する」とは、例えば、対応情報が有する演算式、または演算式に代入するパラメータの集合を用いて、演算し、第二の画像の全部または一部分を取得することである。かかる場合、対応情報は、第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合を有している。また、「第二の画像の全部または一部分を取得する」とは、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報に含まれる第二の画像の全部または一部分を取得することでも良い。
出力画像候補取得手段1072は、通常、MPUやメモリ等から実現され得る。出力画像候補取得手段1072の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
判断手段1073は、拘束条件を満たすか否かを判断する。拘束条件が処理対象である画像の全部または一部に対する条件である場合、判断手段1073は、画像受付部104が受け付けた画像の全部または一部の1以上の特徴量を取得し、当該1以上の特徴量が拘束条件を満たすか否かを判断する。また、拘束条件がルックアップテーブルに関する条件である場合、判断手段1073は、ルックアップテーブルの過去の利用に関する情報(条件に対応する利用履歴)を取得し、当該利用履歴が拘束条件を満たすか否かを判断する。なお、利用履歴とは、例えば、入力画像のうちの最近のnフィールド(nは1以上の整数)の処理で用いられたルックアップテーブルの種類識別子や、入力画像のうちの最近のnフィールド(nは1以上の整数)の処理で用いられた対応情報を特定する情報である。なお、拘束条件が利用履歴を含む場合、当該利用履歴は、マッピング部107が図示しない記録媒体に蓄積して、生成される、とする。さらに、拘束条件が出力画像に関する条件である場合、判断手段1073は、例えば、出力画像候補取得手段1072が取得した第二の画像の全部または一部分が、拘束条件格納部102の拘束条件を満たすか否かを判断する。例えば、判断手段1073は、拘束条件に含まれる第二の画像の全部または一部分の属性値(例えば、画素の最大値、画素の輝度の時間的な変化)を取得し、属性値が拘束条件(例えば、「画素の最大値<=255」、「画素の輝度の時間的な変化<=100」)を満たすか否かを判断する。
判断手段1073は、通常、MPUやメモリ等から実現され得る。判断手段1073の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、第二の画像の全部または一部分を変更する。また、変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、ルックアップテーブルを変更しても良い。
また、変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、判断後に受け付けられる入力画像、または判断後に得られた時空間ブロック、または判断後に受け付けられる入力画像の1以上の特徴量、または判断後に得られた時空間ブロックの1以上の特徴量を変更しても良い。
また、判断手段1073が拘束条件を満たさないと判断した場合には、変更手段1074は、例えば、判断手段1073の判断対象である第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する。ここで、「拘束条件を満たすように変更する処理」は、例えば、第二の画像の全部または一部分を構成する複数の画素の最大値が拘束条件(例えば、「最大値<=255」)に合致するように、例えば、複数の画素の最大値が255になるように、当該複数の画素の値を全体的に圧縮する処理である。なお、全体的に複数の画素の値を圧縮する処理とは、同一の割合で複数の画素の値を小さくしても良いし、異なる割合や、値の大きさに応じて、複数の画素の値を小さくする等しても良い。
変更手段1074は、通常、MPUやメモリ等から実現され得る。変更手段1074の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
出力画像取得手段1075は、複数の対応情報のうちの、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報(対応情報の一部でも良い趣旨である)を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。ここで、上記の複数の対応情報とは、格納部101の一のルックアップテーブルの複数の対応情報、または、1または2以上の種類識別子に対応する1または2以上のルックアップテーブルが有する複数の対応情報である。
また、出力画像取得手段1075は、判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段1074が取得した変更画像、または判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分および変更手段1074が取得した変更画像を、出力画像の全部または一部分として取得することは好適である。
また、出力画像取得手段1075は、1または2以上の種類識別子に対応する1または2以上のルックアップテーブルが有する対応情報のうちの、画像解析部106が取得した1以上の特徴量に対応する1以上の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、出力画像の全部または一部分として取得しても良い。なお、1または2以上の種類識別子は、種類識別子取得手段1071が取得した種類識別子である。
なお、出力画像取得手段1075は、上述した補正処理を行うことは好適である。
出力画像取得手段1075は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
合成部108は、マッピング部107が取得した2以上の各第二の時空間ブロックを、2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する。
合成部108は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
画像出力部109は、出力画像を出力する。画像出力部109は、合成部108が生成した出力画像を出力しても良い。ここでの出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影であるが、外部の装置や他のプログラムへの送信などを含む概念である。
画像出力部109は、例えば、ディスプレイやプロジェクター等の出力デバイスを含むと考えても含まないと考えても良い。画像出力部109は、例えば、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
ルックアップテーブル更新部110は、指示受付部103が受け付けた指示に応じて、ルックアップテーブルが有する2以上の対応情報のいずれかを変更する。ルックアップテーブル更新部110は、ルックアップテーブルが有するすべての対応情報を更新しても良いし、一部の対応情報を更新しても良い。対応情報が第二の画像の全部または一部分を生成するための演算式、または第二の画像の全部または一部分を生成するためのパラメータ群を含む場合、ルックアップテーブル更新部110は、例えば、指示に応じて、演算式に含まれるパラメータ群、または第二の画像の全部または一部分を生成するためのパラメータ群を変更する。例えば、指示は、画像の立体感の度合いを含む場合、ルックアップテーブル更新部110は、ユーザから入力された画像の立体感の度合いを用いて、対応情報が有するパラメータ群を変更する。かかる場合の変更方法(変更するための式等)は問わない。例えば、ルックアップテーブル更新部110は、画像の立体感の度合いの情報に対応付けて、パラメータ群を図示しない記録媒体に保持しており、指示された画像の立体感の度合いの情報に対応するパラメータ群を図示しない記録媒体から読み出す。また、例えば、ルックアップテーブル更新部110は、画像の立体感の度合いをパラメータとするパラメータ群の生成のための演算式を保持しており、かかる演算式に画像の立体感の度合いを代入し、演算を行い、パラメータ群を取得する。
また、指示受付部103が1以上の第二の画像の候補を選択する指示を受け付けた場合、例えば、ルックアップテーブル更新部110は、1以上の第二の画像の各候補から、1以上の特徴量を取得し、当該1以上の特徴量をパラメータ群として、取得する。また、指示受付部103が1以上の第二の画像の候補を選択する指示を受け付けた場合、例えば、ルックアップテーブル更新部110は、1以上の第二の画像の各候補から、1以上の特徴量を取得し、当該1以上の特徴量を予め格納している演算式に代入し、演算を行い、パラメータ群を取得する。
ルックアップテーブル更新部110は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、画像処理装置1の動作について、図2のフローチャートを用いて説明する。
(ステップS201)画像受付部104は、1以上の画像を受け付けたか否かを判断する。1以上の画像を受け付ければステップS202に行き、1以上の画像を受け付けなければステップS210に行く。なお、ここでの画像は、通常、2以上の静止画から構成される映像である。
(ステップS202)分割部105は、ステップS201で受け付けられた画像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する。
(ステップS203)画像解析部106は、カウンタiに1を代入する。
(ステップS204)画像解析部106は、ステップS202で取得された第一の時空間ブロックのうち、i番目のブロックが存在するか否かを判断する。i番目のブロックが存在すればステップS205に行き、i番目のブロックが存在しなければステップS208に行く。
(ステップS205)画像解析部106は、i番目の第一の時空間ブロックに対して、画像解析処理する。そして、画像解析部106は、i番目の第一の時空間ブロックに対応する第一の画像の全部または一部分を決定する。かかる画像解析処理について、図3のフローチャートを用いて説明する。
(ステップS206)マッピング部107は、ステップS205で決定された第一の画像の全部または一部分に対応する対応情報を用いて、ステップS205で決定された第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。かかる処理をマッピング処理という。マッピング処理について、図4のフローチャートを用いて説明する。なお、本ステップで取得された出力画像の全部または一部分は、第二の時空間ブロックである。
(ステップS207)画像解析部106は、カウンタiを1、インクリメントし、ステップS204に戻る。
(ステップS208)合成部108は、ステップS206で取得された2以上の第二の時空間ブロックを合成し、出力画像を生成する。さらに詳細には、ステップS206で取得された2以上の各第二の時空間ブロックを、2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する。
(ステップS209)画像出力部109は、ステップS208で生成された出力画像を出力する。
(ステップS210)指示受付部103は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS211に行き、ユーザの指示を受け付けなければステップS201に戻る。
(ステップS211)ルックアップテーブル更新部110は、ステップS210で受け付けられた指示に応じて、ルックアップテーブルを更新する。かかる処理をルックアップテーブル更新処理という。ルックアップテーブル更新処理について、図6のフローチャートを用いて説明する。
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
また、図2のフローチャートにおいて、複数の画像や画像ストリームを受け付け中に、ステップS210の指示を受け付け、ルックアップテーブルを更新しても良い。
次に、ステップS205の画像解析処理について、図3のフローチャートを用いて説明する。
(ステップS301)画像解析部106は、上記のi番目の第一の時空間ブロックに対して、画像解析し、1以上の特徴量である特徴量ベクトル(第一特徴量ベクトルという)を取得する。なお、1以上の特徴量は、例えば、上述した近傍特徴量または/および全体特徴量のうちの1以上の特徴量である。また、例えば、1以上の特徴量は、例えば、複数の画素の最大値(MAX)および最小値(MIN)、ダイナミックレンジ(DR=MAX−MIN)、輝度度数分布、時間方向の差分値などである。また、画像から、かかる1以上の特徴量を取得する技術は公知技術であるので詳細な説明を省略する。なお、特徴量は上述した特徴量に限らないことは言うまでもない。
(ステップS302)画像解析部106は、カウンタiに1を代入する。
(ステップS303)画像解析部106は、格納部101のルックアップテーブルの中に、i番目の対応情報が存在するか否かを判断する。i番目の対応情報が存在すればステップS304に行き、i番目の対応情報が存在しなければステップS307に行く。なお、格納部101に2以上のルックアップテーブルが存在する場合、本ステップでは、いずれかの一のルックアップテーブルを使用することで良い。また、後述する種類識別子取得処理を行ってから、当該種類識別子取得処理で取得された種類識別子に対応するルックアップテーブルを使用しても良い。
(ステップS304)画像解析部106は、i番目の対応情報が有する特徴量ベクトル(第二特徴量ベクトルという)を取得する。
(ステップS305)画像解析部106は、ステップS301で取得した第一特徴量ベクトルと、ステップS304で取得した第二特徴量ベクトルの距離を算出し、当該距離をi(i番目の対応情報)に対応付けて、バッファに一時蓄積する。
(ステップS306)画像解析部106は、カウンタiを1、インクリメントし、ステップS303に戻る。
(ステップS307)画像解析部106は、バッファに蓄積されている距離が最も小さい対応情報を取得する。上位処理にリターンする。なお、対応情報を取得する処理は、第一の画像の全部または一部分を決定する処理である。
なお、図3のフローチャートにおいて、対応情報は、ID(アドレスでも良い)を保持しており、例えば、1以上の特徴量を予め格納している演算式に代入して、ID(アドレスでも良い)を取得するようにしても良い。つまり、画像解析処理の方法は問わない。
次に、ステップS206のマッピング処理の例について、図4のフローチャートを用いて説明する。
(ステップS401)マッピング部107を構成する種類識別子取得手段1071は、利用するルックアップテーブルの種類を識別する種類識別子を取得する。かかる種類識別子取得処理の例について、図5のフローチャートを用いて説明する。
(ステップS402)出力画像候補取得手段1072は、ステップS401で取得された種類識別子に対応するルックアップテーブルの中の対応情報であって、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報中のパラメータ群を取得する。
(ステップS403)出力画像候補取得手段1072は、ステップS402で取得したパラメータ群を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成する。さらに具体的には、例えば、出力画像候補取得手段1072は、予め格納している演算式に、ステップS402で取得したパラメータ群を代入し、演算式を実行する。そして、出力画像候補取得手段1072は、第二の画像の全部または一部分を取得する。
(ステップS404)判断手段1073は、拘束条件格納部102から、拘束条件を読み出す。
(ステップS405)判断手段1073は、ステップS402で取得された第二の画像の全部または一部分が、ステップS403で読み出した拘束条件を満たすか否かを判断し、判断結果をバッファに代入する。
(ステップS406)ステップS404における判断結果が「拘束条件を満たす(合致)」である場合はステップS407に行き、「拘束条件を満たさない(合致しない)」である場合は、ステップS408に行く。
(ステップS407)出力画像取得手段1075は、出力画像の全部または一部分として、ステップS402で取得された第二の画像の全部または一部分を得る。上位処理にリターンする。
(ステップS408)変更手段1074は、ステップS402で取得された第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する。
(ステップS409)出力画像取得手段1075は、出力画像の全部または一部分として、ステップS408で取得された変更画像を得る。上位処理にリターンする。
なお、図4のフローチャートにおいて、第二の画像の全部または一部分を生成する方法や、第二の画像の全部または一部分を取得する方法は、他の方法でも良い。
また、図4のフローチャートにおいて、格納部101のルックアップテーブルが一つである場合、ステップS401の処理は不要であることは言うまでもない。
次に、ステップS401の種類識別子取得処理の例について、図5のフローチャートを用いて説明する。
(ステップS501)種類識別子取得手段1071は、上記のi番目のブロック(第一画像)の特徴量ベクトルを取得する。
(ステップS502)種類識別子取得手段1071は、カウンタiに1を代入する。
(ステップS503)種類識別子取得手段1071は、格納部101に、i番目の種類識別子が存在するか否かを判断する。i番目の種類識別子が存在すればステップS504に行き、i番目の種類識別子が存在しなければステップS507に行く。
(ステップS504)種類識別子取得手段1071は、i番目の種類識別子に対応する特徴量ベクトルを取得する。
(ステップS505)種類識別子取得手段1071は、ステップS501で取得した特徴量ベクトルと、ステップS504で取得した特徴量ベクトルとの距離を算出し、i番目の種類識別子に対応付けて、バッファに一時蓄積する。
(ステップS506)種類識別子取得手段1071は、カウンタiを1、インクリメントし、ステップS503に戻る。
(ステップS507)種類識別子取得手段1071は、ステップS505で算出した最も小さい距離に対応する種類識別子を取得する。上位処理にリターンする。
なお、図5のフローチャートにおいて、種類識別子取得処理は、上述したような他の方法でも良い。つまり、図5のフローチャートにおいて、ブロックの特徴量ベクトル(1以上の近傍特徴量)を用いて種類識別子を決定したが、上述したように、全体特徴量や近傍特徴量を用いて種類識別子を決定しても良いし、電子番組表の情報等を用いて種類識別子を決定しても良いし、ユーザからの指示によって種類識別子を決定しても良い。
次に、ステップS211のルックアップテーブル更新処理について、図6のフローチャートを用いて説明する。
(ステップS601)ルックアップテーブル更新部110は、指示受付部103が受け付けた指示を取得する。
(ステップS602)ルックアップテーブル更新部110は、ステップS601で取得した指示に含まれる1以上のパラメータを取得する。
(ステップS603)ルックアップテーブル更新部110は、カウンタiに1を代入する。
(ステップS604)ルックアップテーブル更新部110は、格納部101のルックアップテーブルに、i番目の対応情報が存在するか否かを判断する。i番目の対応情報が存在すればステップS605に行き、i番目の対応情報が存在しなければ上位処理にリターンする。
(ステップS605)ルックアップテーブル更新部110は、ステップS602で取得した1以上のパラメータを用いて、i番目の対応情報が有するパラメータ群、またはi番目の対応情報が有する演算式を変更する。
(ステップS606)ルックアップテーブル更新部110は、カウンタiを1、インクリメントし、ステップS604に戻る。
なお、図6のフローチャートにおいて、ルックアップテーブルが複数存在する場合は、すべてのルックアップテーブルを更新しても良い。
次に、拘束条件を用いて、画像等を動的に変更する処理の具体例について説明する。画像処理装置1における拘束条件格納部102、マッピング部107の判断手段1073、および変更手段1074により、拘束条件を満たすように処理を行い、目的に応じて、脳負荷が調整された画像を出力できる。
第一の具体例は、出力画像の画素値がある値を超えた時に、その値に収まるように補正する処理である。かかる場合、拘束条件は「出力画像の1以上の画素値が閾値を超えないこと」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、閾値を超えないように補正する。そして、出力画像取得手段1075は、判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段1074が取得した変更画像、または判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分と変更手段1074が取得した変更画像を用いて、出力画像を取得する。
第二の具体例は、入力画像の画素値が正常範囲を逸脱している場合に、入力画像の当該画素を、周辺画素を利用して穴埋め補正する処理である。かかる場合、拘束条件は「入力画像の画素値が正常範囲を逸脱してない」ことである。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、当該画素の予め決められた範囲の周辺画素の1以上の画素値を取得し、当該1以上の画素値を用いて、異常な画素の画素値を決定する。そして、出力画像取得手段1075は、変更手段1074が取得した1以上の特徴量、または画像受付部104が受け付けた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する。
第三の具体例は、対応情報を用いて出力画像を取得する場合に、直前で、ルックアップテーブルの一の対応情報が使われた場合、次は、他の対応情報を使うようにする処理である。かかる場合、拘束条件は「連続して同一の対応情報を使用しない」ことである。そして、判断手段1073が、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が、直前に使用されたか否かを判断する。なお、かかる場合、直前に利用された対応情報を特定する情報が少なくとも一時蓄積される。そして、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報は直前に使用された対応情報と同一である、と判断手段1073が判断した場合、変更手段1074は、2番目に近い対応情報を取得する。つまり、変更手段1074は、画像解析部106に当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を画像解析部106に出し、画像解析部106は、再度、第一の画像の全部または一部分を決定する。かかる第一の画像の全部または一部分に対応する対応情報は、処理対象の入力画像や時空間ブロック等に対して、2番目に近い第一の画像の全部または一部分に対応する対応情報である。そして、出力画像取得手段1075は、変更手段1074が取得した対応情報を用いて、1以上の第二の画像の一部分を取得する。
第四の具体例は、拘束条件に含まれるパラメータと変更先が異なる例である。第四の具体例は、例えば、出力画像の画素値が閾値を超えた時には、特定の対応情報を使って処理し直す場合である。つまり、拘束条件は「出力画像の1以上の画素値が閾値を超えないこと」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、予め決められた対応情報を読み出す。そして、当該対応情報を用いて、出力画像取得手段1075は、再度、出力画像を構成する。
第五の具体例は、複数個所のパラメータを判定に使う例である。第五の具体例は、例えば、拘束条件は「入力画像の画素値と出力画像の画素値との差が閾値以内であること」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、出力画像の当該画素の画素値を補正して、入力画像の画素の画素値との差を閾値以内にする。そして、出力画像取得手段1075は、かかる画素値の画素を有する出力画像を取得する。
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を出力する画像処理装置を提供できる。例えば、本実施の形態によれば、脳負荷をより低減できる画像を出力する画像処理装置や、より脳に刺激を与え、エンターテインメント性が増加する画像を出力する画像処理装置等を提供できる。
また、本実施の形態における画像処理装置が脳負荷をより低減できる画像を出力する場合、当該画像処理装置は、人間の脳にとって、好適な画像として認知できるような画像を出力できる。
さらに具体的には、本実施の形態によれば、光量、光源の位置、光源の色、カメラの位置など、異なった環境で撮影した画像を出力できることにより、人間の脳にとって、好適な画像として認知できるような画像を出力できる。さらに具体的には、本実施の形態によれば、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などをより感じる画像を出力できる。
また、本実施の形態によれば、複数のルックアップテーブルのうちの適切なルックアップテーブルを使用することにより、目的に応じて脳負荷が調整された画像を出力できる。
また、本実施の形態によれば、拘束条件を満たすように、出力画像を変更することにより、目的に応じて、さらに好適に脳負荷が調整された画像を出力できる。
また、本実施の形態によれば、ルックアップテーブルをカスタマイズ可能とすることにより、ユーザの嗜好等に応じて、さらに好適に脳負荷が調整された画像を出力できる。
なお、本実施の形態における画像処理装置1はテレビ受信機でも良い。かかる場合、画像受付部104が受け付ける画像は、テレビ映像を構成する画像である。
また、本実施の形態における画像処理装置1を用いれば、受け付けた動画を用いて、目的に応じて、リアルタイムに脳負荷が調整された動画を生成し、出力する装置を実現できる。
また、本実施の形態において、ルックアップテーブルが一つの対応情報のみを有する場合、画像処理装置1は、画像解析部106を有さなくても良い。かかる場合、画像処理装置1は、図7のような構成となる。そして、かかる場合、マッピング部107は、格納部101の一の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。なお、かかる場合も、画像解析部106が存在し、画像解析部106が受け付けられた1以上の画像の全部または一部分から1以上の特徴量を取得し、マッピング部107が当該特徴量を用いて、上述した補正処理を行っても良い。
また、本実施の形態の画像処理装置1において、指示受付部103やルックアップテーブル更新部110等の一部の構成要素を具備しなくても良いことは言うまでもない。
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の第一の画像の全部または一部分と、前記第一の画像に対して、脳負荷が調整された画像であり、前記第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納しており、コンピュータを、1以上の画像を受け付ける画像受付部と、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部、または前記マッピング部が取得した1以上の第二の画像の一部分の集合である1以上の出力画像を出力する画像出力部として機能させるためのプログラム、である。
また、上記プログラムにおいて、前記ルックアップテーブルは、2以上の対応情報を有し、コンピュータを、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部としてさらに機能させ、前記マッピング部は、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像を取得するものとして、コンピュータを機能させるためのプログラム、であることは好適である。
また、上記プログラムにおいて、前記第一の画像の全部または一部分は、入力される映像のうちの一部である第一の時空間ブロックであり、前記第二の画像の全部または一部分は、画面に出力される映像のうちの一部である第二の時空間ブロックであり、前記画像受付部は、1以上の画像の集合である映像を受け付け、コンピュータを、前記画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する分割部としてさらに機能させ、前記画像解析部は、前記分割部が取得した2以上の各第一の時空間ブロックごとに、当該各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定し、前記マッピング部は、前記2以上の各第一の時空間ブロックごとに、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得し、前記マッピング部が取得した2以上の各第二の時空間ブロックを、当該2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部としてさらに機能させることは好適である。
また、上記プログラムにおいて、前記画像解析部は、前記画像受付部が受け付けた1以上の画像、または前記分割部が取得した2以上の各第一の時空間ブロックを解析し、1以上の特徴量を取得し、当該1以上の特徴量に対応する第一の画像の全部または一部分を決定するものとして、コンピュータを機能させるためのプログラム、であることは好適である。
また、上記プログラムにおいて、前記記憶媒体には、ルックアップテーブルの種類を識別する種類識別子と当該種類識別子に対応するルックアップテーブルとの組を2組以上格納しており、前記マッピング部は、利用するルックアップテーブルの種類を識別する1以上の種類識別子を取得する種類識別子取得手段と、前記1以上の種類識別子に対応する1以上のルックアップテーブルが有する対応情報のうちの、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する出力画像取得手段とを具備するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、コンピュータを、ユーザの指示を受け付ける指示受付部と、前記指示に応じて、前記ルックアップテーブルが有する2以上の対応情報のいずれかを変更するルックアップテーブル更新部としてさらに機能させることは好適である。
また、本実施の形態における画像処理装置を実現するソフトウェアは、記憶媒体に、1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルと、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件とを格納しており、コンピュータを、1以上の画像を受け付ける画像受付部と、1または2以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部として機能させるプログラムである。
(実施の形態2)
本実施の形態において、実施の形態1と比較して、画像処理装置2は、分割部105、および合成部108を具備しない。
図8は、本実施の形態における画像処理装置2のブロック図である。
画像処理装置2は、格納部101、拘束条件格納部102、指示受付部103、画像受付部104、画像解析部106、マッピング部107、画像出力部109、およびルックアップテーブル更新部110を具備する。
次に、画像処理装置2の動作について、図9のフローチャートを用いて説明する。図9のフローチャートは、図2のフローチャートの一部分である。ただし、ステップS205の画像解析処理は、ステップS201で受け付けられた画像全体に対して行われる。また、ステップS206のマッピング処理も、ステップS201で受け付けられた画像全体に対して行われる。
さらに、図9のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
また、図9のフローチャートにおいて、複数の画像や画像ストリームを受け付け中に、ステップS210の指示を受け付け、ルックアップテーブルを更新しても良い。
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を出力する画像処理装置を提供できる。例えば、本実施の形態によれば、脳負荷をより低減できる画像を出力する画像処理装置や、より脳に刺激を与え、エンターテインメント性が増加する画像を出力する画像処理装置等を提供できる。
また、本実施の形態における画像処理装置が脳負荷をより低減できる画像を出力する場合、当該画像処理装置は、人間の脳にとって、好適な画像として認知できるような画像を出力する画像処理装置を提供できる。
さらに具体的には、本実施の形態によれば、光量、光源の位置、光源の色、カメラの位置など、画像を取得する環境を、より良くした画像を出力できることにより、人間の脳にとって、好適な画像として認知できるような画像を出力できる。さらに具体的には、本実施の形態によれば、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などをより感じる画像を出力できる。
なお、本実施の形態における画像処理装置2を組み込んだテレビ受信機は、構成可能である。かかる場合、画像受付部104が受け付ける画像は、テレビ映像を構成する画像である。
また、本実施の形態において、ルックアップテーブルが一つの対応情報のみを有する場合、画像処理装置2は、画像解析部106を有さなくても良い。かかる場合、画像処理装置1は、図10のような構成となる。そして、かかる場合、マッピング部107は、格納部101の一の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。なお、かかる場合も、画像解析部106が存在し、画像解析部106が受け付けられた1以上の画像の全部または一部分から1以上の特徴量を取得し、マッピング部107が当該特徴量を用いて、上述した補正処理を行っても良い。
また、本実施の形態の画像処理装置2において、指示受付部103やルックアップテーブル更新部110等の一部の構成要素を具備しなくても良いことは言うまでもない。
さらに、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の第一の画像の全部または一部分と、前記第一の画像に対して、脳負荷が調整された画像であり、前記第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納しており、コンピュータを、1以上の画像を受け付ける画像受付部と、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部、または前記マッピング部が取得した1以上の第二の画像の一部分の集合である1以上の出力画像を出力する画像出力部として機能させるためのプログラム、である。
(実施の形態3)
本実施の形態において、ルックアップテーブルを生成するルックアップテーブル取得装置3について説明する。ルックアップテーブル取得装置3は、本明細書で言う第一の画像の全部または一部分を、第二の画像の全部または一部分に変換するために用いられるルックアップテーブルを学習するための装置である。
図11は、本実施の形態におけるルックアップテーブル取得装置3のブロック図である。
ルックアップテーブル取得装置3は、格納部101、第一画像格納部31、第二画像格納部32、第二画像情報候補集合格納部33、指示受付部103、候補出力部34、第二画像蓄積部35、第一画像関連情報取得部36、第二画像関連情報取得部37、ルックアップテーブル構成部38、およびルックアップテーブル蓄積部39を具備する。
指示受付部103は、ユーザの指示を受け付ける。ここでの指示は、第二画像情報候補集合格納部33に格納されている第二画像情報候補集合を出力する指示、1以上の第二の画像情報の候補を選択する指示等である。なお、ユーザとは、ルックアップテーブル取得装置3を提供する企業の担当者でも良いし、上述した画像処理装置やテレビ受信機のユーザ(視聴者)などでも良い。また、第二画像情報候補集合、および第二の画像情報については後述する。
第一画像格納部31は、1以上の第一の画像を格納し得る。第一の画像は、画像処理装置により受け付けられる画像を想定した画像である。第一の画像は、例えば、第二の画像より、上述した意味において、脳負荷がかかる画像である。また、第一の画像は、例えば、エンターテインメント性の向上が図られていない画像である。
第一画像格納部31は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第一画像格納部31に第一の画像が記憶される過程は問わない。第一画像格納部31の第一画像は、例えば、第二画像格納部32の第二画像から生成されても良い。つまり、例えば、図示しない手段が、第二画像の輝度を下げたり、カメラ位置を自動的に変更するシミュレーションを行ない、画像の性質を変えたりして、第一画像を生成しても良い。
第二画像格納部32は、1以上の第二の画像を格納し得る。第二の画像は、第一の画像に対して、目的に応じて、脳負荷が調整された画像である。例えば、第二の画像は、第一の画像より、脳負荷が低減できる画像である。また、例えば、第二の画像は、第一の画像より、エンターテインメント性が増加された画像である。さらに、例えば、第二の画像は、他環境で一の対象を撮影して、取得される画像である。
第二の画像と第一の画像は、同一の対象についての画像である。第二の画像と第一の画像は、通常、同一の画素数であるが、異なる画素数でも良い。
第二画像格納部32は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第二画像格納部32に第二の画像が記憶される過程は問わない。第二画像格納部32の第二画像は、例えば、第一画像格納部31の第一画像から生成されても良い。つまり、例えば、図示しない手段が、第一画像の輝度を上げたり、カメラ位置を自動的に変更するシミュレーションを行ない、画像の性質を変えたりして、第二画像を生成しても良い。
第二画像情報候補集合格納部33は、1以上の各第一の画像に対応付けて、1以上の第二画像情報候補集合を格納し得る。第二画像情報候補集合は、2以上の第二の画像情報の候補の集合である。第二の画像情報とは、第二の画像に関する情報である。また、第二の画像情報は、第二の画像でも良いし、第二の画像の1以上の属性等でも良い。画像の属性は、例えば、撮影パラメータや1以上の特徴量である。また、2以上の各第二の画像情報の候補は、対応付けられている第一の画像と同一の対象についての第二の画像の画像情報である。第二画像情報候補集合格納部33は、物理的に、第一画像格納部31を含んでいても良い。また、「第一の画像に対応付けてられている」とは、第一の画像に直接的に対応付けられていても良いし、第一の画像に間接的に対応付けられていても良い。間接的な対応付けは、例えば、第一の画像情報に対応付けられていることである。第一の画像情報は、第一の画像に関する情報であり、第一の画像そのもの、または第一の画像の属性などである。
第二画像情報候補集合格納部33は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第二画像情報候補集合格納部33に第二画像情報候補集合が記憶される過程は問わない。
候補出力部34は、第二画像情報候補集合格納部33に格納されている1以上の第二画像情報候補集合を出力する。指示受付部103が第二画像情報候補集合を出力する指示を受け付けた場合に、候補出力部34は、第二画像情報候補集合格納部33に格納されている1以上の第二画像情報候補集合を出力しても良い。ここでの出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影であるが、外部の装置や他のプログラムへの送信などを含む概念である。
第二画像蓄積部35は、指示受付部103が受け付けた指示に対応する1以上の各第二の画像情報の候補に対応する1以上の第二の画像を、第二画像情報候補集合に対応する第一の画像に対応付けて、第二画像格納部32に蓄積する。例えば、第二の画像情報が第二の画像である場合、第二画像蓄積部35は、指示受付部103が受け付けた指示に対応する1以上の第二の画像を、第一の画像に対応付けて、第二画像格納部32に蓄積する。また、例えば、第二の画像情報が画像の属性である場合、第二画像蓄積部35は、当該画像の属性を用いて、第二の画像を構成し、第一の画像に対応付けて、第二画像格納部32に蓄積する。第二画像蓄積部35は、通常、MPUやメモリ等から実現され得る。第二画像蓄積部35の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第一画像関連情報取得部36は、第一画像格納部31の1以上の第一の画像から1以上の第一画像関連情報を取得する。第一画像関連情報は、第一の画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、第一の画像の全部または一部分から抽出される1以上の特徴量である。なお、1以上の特徴量には、1以上の第一の画像の一部の特徴量である近傍特徴量と、1以上の第一の画像全体の特徴量である全体特徴量とがある。近傍特徴量と全体特徴量の例は、上述したので、説明を省略する。また、第一画像関連情報は、上述した1以上の特徴量を縮退した情報でも良い。かかる縮退した情報も、特徴量である。
第一画像関連情報取得部36は、通常、MPUやメモリ等から実現され得る。第一画像関連情報取得部36の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第二画像関連情報取得部37は、第二画像格納部32の1以上の第二の画像から1以上の第二画像関連情報を取得する。第二画像関連情報は、第二の画像の全部または一部分に関する情報である。第二画像関連情報は、第二の画像の全部または一部分を生成するための情報であり、例えば、第二の画像の全部または一部分を生成するための演算式に与えるパラメータ群や、第二の画像の全部または一部分を生成するための演算式である。第二画像関連情報は、例えば、第二の画像の全部または一部分そのものでも良い。第二画像関連情報は、例えば、第二の画像の全部または一部分そのものである場合、第二画像関連情報取得部37は、第二の画像を時空間ブロックに分割する処理を行う。
第二画像関連情報取得部37は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
ルックアップテーブル構成部38は、1または2以上の対応情報を有するルックアップテーブルを構成する。対応情報は、第一画像関連情報と第二画像関連情報とを対応付ける情報である。また、対応情報は、通常、第一画像関連情報と第二画像関連情報とを有する情報である。なお、対応情報は、第一画像関連情報と第二画像関連情報とを対応付けられる情報であれば良く、その内容や構造は問わない。また、ここで、第一画像関連情報に対応する第二画像関連情報について、第一画像関連情報の元になる第一の画像の全部または一部分と、第二画像関連情報の元になる第二の画像の全部または一部分とが、映像を構成するフレーム画像上の空間的な位置が対応する場合、映像上の時間的な位置が対応する場合、映像上の空間的および時間的な位置が対応する場合がある。
ルックアップテーブル構成部38は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
ルックアップテーブル蓄積部39は、ルックアップテーブル構成部38が構成したルックアップテーブルを、格納部101に蓄積する。なお、ここでの蓄積とは、メモリへの書き込みなども含む。
ルックアップテーブル蓄積部39は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、ルックアップテーブル取得装置3において、ユーザが、自身にとって好適な第二の画像を選択する動作について、図12のフローチャートを用いて説明する。
(ステップS1201)指示受付部103は、第二画像情報候補集合を出力する指示を受け付けたか否かを判断する。かかる指示を受け付ければステップS1202に行き、かかる指示を受け付けなければステップS1201に戻る。
(ステップS1202)候補出力部34は、カウンタiに1を代入する。
(ステップS1203)候補出力部34は、第二画像情報候補集合格納部33に、i番目の第二画像情報候補集合が存在するか否かを判断する。i番目の第二画像情報候補集合が存在すればステップS1204に行き、i番目の第二画像情報候補集合が存在しなければ処理を終了する。
(ステップS1204)候補出力部34は、i番目の第二画像情報候補集合を第二画像情報候補集合格納部33から読み出し、出力する。
(ステップS1205)指示受付部103は、第二画像情報候補集合が有する2以上の第二の画像情報の候補から、1または2以上の第二の画像情報に対する選択指示を受け付けたか否かを判断する。かかる選択指示を受け付けた場合はステップS1206に行き、かかる選択指示を受け付けなかった場合はステップS1205に戻る。
(ステップS1206)第二画像蓄積部35は、ステップS1205で受け付けられた指示に対応する1以上の第二の画像情報の候補を取得する。
(ステップS1207)第二画像蓄積部35は、ステップS1206で取得した第二の画像情報を用いて、第二の画像を取得し、第一の画像に対応付けて、第二画像格納部32に蓄積する。この第一の画像は、i番目の第二画像情報候補集合に対応付けられている第一の画像である。
(ステップS1208)候補出力部34は、カウンタiを1、インクリメントする。ステップS1203に戻る。
次に、ルックアップテーブル取得装置3が、ルックアップテーブルを構成し、蓄積する動作について、図13のフローチャートを用いて説明する。なお、第一画像格納部31に格納されている各第一の画像に対応する第二の画像が第二画像格納部32に格納されている、とする。
(ステップS1301)第一画像関連情報取得部36は、カウンタiに1を代入する。
(ステップS1302)第一画像関連情報取得部36は、i番目の第一の画像が、第一画像格納部31に格納されているか否かを判断する。i番目の第一の画像が格納されていればステップS1303に行き、格納されていなければ処理を終了する。
(ステップS1303)第一画像関連情報取得部36は、i番目の第一の画像を、第一画像格納部31から読み出す。
(ステップS1304)第一画像関連情報取得部36は、ステップS1303で読み出したi番目の第一の画像をブロックに分割する。そして、第一画像関連情報取得部36は、n個の第一の時空間ブロックを得る。
(ステップS1305)第二画像関連情報取得部37は、i番目の第二の画像を、第二画像格納部32から読み出す。
(ステップS1306)第二画像関連情報取得部37は、ステップS1305で読み出したi番目の第二の画像をブロックに分割する。そして、第二画像関連情報取得部37は、n個の第二の時空間ブロックを得る。
(ステップS1307)ルックアップテーブル構成部38は、カウンタjに1を代入する。
(ステップS1308)ルックアップテーブル構成部38は、ステップS1304で取得された時空間ブロックの中で、j番目のブロックが存在するか否かを判断する。j番目のブロックが存在すればステップS1309に行き、j番目のブロックが存在しなければステップS1314に行く。
(ステップS1309)第一画像関連情報取得部36は、i番目の第一の画像のj番目のブロックから、第一画像関連情報を取得する。
(ステップS1310)第二画像関連情報取得部37は、i番目の第二の画像のj番目のブロックから、第二画像関連情報を取得する。
(ステップS1311)ルックアップテーブル構成部38は、ステップS1309で取得された第一画像関連情報と、ステップS1310で取得された第二画像関連情報とを有する対応情報を構成する。
(ステップS1312)ルックアップテーブル蓄積部39は、ステップS1311で構成された対応情報を格納部101に蓄積する。
(ステップS1313)ルックアップテーブル構成部38は、カウンタjを1、インクリメントする。ステップS1308に戻る。
(ステップS1314)第一画像関連情報取得部36は、カウンタiを1、インクリメントする。ステップS1302に戻る。
以下、本実施の形態におけるルックアップテーブル取得装置3の具体的な動作について説明する。
まず、ルックアップテーブル取得装置3において、ユーザからの第二の画像の選択指示を受け付け、第二の画像を蓄積する動作の例について説明する。
今、図14に示すような複数の第二画像情報候補集合が、第二画像情報候補集合格納部33に格納されている。なお、ここでは、第二画像情報候補集合において、候補1の画像は、第一の画像である、とする。また、第二画像情報候補集合において、候補1から候補4が第二の画像の候補である。つまり、ここでは、第二の画像情報は、第二の画像そのものである。
そして、ユーザは、ルックアップテーブル取得装置3に、第二画像情報候補集合を出力する指示を入力した。そして、指示受付部103は、第二画像情報候補集合を出力する指示を受け付ける。
次に、候補出力部34は、1番目の第二画像情報候補集合(図14の「ID=1」のレコードの画像の集合)を読み出し、出力する。かかる第二画像情報候補集合の出力例が図15である。
次に、ユーザは、自分の嗜好に合致する画像を選択する指示(例えば、「4」)を入力する。そして、指示受付部103は、指示(例えば、「4」)を受け付ける。
次に、第二画像蓄積部35は、指示に対応する4番目の画像を取得し、第二画像格納部32に蓄積する。
以上の処理を他の第二画像情報候補集合に対しても行い、ユーザが好む第二の画像が第二画像格納部32に蓄積される。
次に、ルックアップテーブル取得装置3が、ルックアップテーブルを構成し、蓄積する具体的な動作について説明する。ここでは、7つの具体例を用いて説明する。
(具体例1)
具体例1は、光量が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
まず、一の被写体に光量Aの光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に光量B(光量B>光量A)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、第二の画像の方が、第一の画像より脳負荷を低減できる画像である。また、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることは好適である。高品位に感じる画像とは、被写体の質感、遠近感、空気感、温もり感、透明感、新鮮な感じ、または高級感等が表出している画像である。
また、光源の光量を変えて撮影する被写体は、自然、人間、動物、静物等、多数の他種類のものとすることは好適である。また、被写体により、光源の光量の変更度合いが異なっても良いことは言うまでもない。
以上により、第一画像格納部31と第二画像格納部32とが構築された。
次に、第一画像関連情報取得部36は、第一画像格納部31から順次、第一の画像を読み出す。そして、第一画像関連情報取得部36は、第一の画像をブロックに分割し、n個の第一の時空間ブロックを得る。なお、複数の第一の時空間ブロックは、重複する領域が存在しても良い。つまり、第一画像関連情報取得部36が行う分割処理は、分割部105が行う分割処理と同様の処理である。
また、第二画像関連情報取得部37も、第二画像格納部32から、第一の画像に対応する第二の画像を読み出す。そして、第二画像関連情報取得部37は、第二の画像をブロックに分割し、n個の第二の時空間ブロックを得る。
次に、第一画像関連情報取得部36は、第一の画像の各ブロックから、複数の画素の最大値および最小値、ダイナミックレンジ、輝度度数分布、時間方向の差分値(例えば、直前のフィールドの対応する画素との差分値)などを取得する。かかる情報は特徴量ベクトルであり、第一画像関連情報である。第一画像関連情報は、ブロックごとに取得される。
次に、第二画像関連情報取得部37は、第二の画像の各ブロックから、ブロックを生成するための1以上のパラメータを取得する。具体的には、第二画像関連情報取得部37は、例えば、第二の画像の各ブロックの特徴ベクトルを取得し、当該特徴ベクトルを演算式に代入し、1以上のパラメータを取得する。また、1以上のパラメータは、第二画像関連情報の例である。
そして、次に、ルックアップテーブル構成部38は、ブロックごとに、第一画像関連情報と第二画像関連情報とを有する対応情報を構成する。そして、ルックアップテーブル蓄積部39は、構成された対応情報を格納部101に蓄積する。
以上の処理により、多数の対応情報を有するルックアップテーブルが生成される。なお、同一、または近似する第一画像関連情報を、まとめて一の対応情報にしても良い。
(具体例2)
具体例2は、色が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
まず、一の被写体に、色X(例えば、白)の光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に色Y(例えば、橙)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることが必要である。
また、光源の色を変えて撮影する被写体は、自然、人間、動物、静物等、多数の他種類のものとすることは好適である。また、被写体により、光源の色の変更度合いが異なっても良いことは言うまでもない。
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
(具体例3)
具体例3は、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
まず、一の被写体に、位置αに設置された光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に位置β(位置αに光源が設置されている場合より、被写体の陰を多く作り出す位置)に設置された光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より被写体の陰の領域が多く出ており、被写体の立体感をより感じさせることが必要である。
また、光源の位置を変えて撮影する被写体は、自然、人間、動物、静物等、多数の他種類のものとすることは好適である。また、被写体により、光源の位置の変更度合いが異なっても良いことは言うまでもない。
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
(具体例4)
具体例4は、異なる光量で、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
まず、一の被写体に、位置αに配置された光源であり、光量Aの光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に、位置βに配置された光源であり、光量B(光量B>光量A)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることは好適である。
また、光源の光量を変えて撮影する被写体は、自然、人間、動物、静物等、多数の他種類のものとすることは好適である。
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
(具体例5)
具体例5は、天候、温度、湿度のうちの1以上が異なる環境で、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
まず、天気「曇り」、温度「25度」、湿度「40%」の環境で、一の被写体に光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、天気「曇り」、温度「22度」、湿度「70%」の環境で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、より遠近感・しっとり感などを感じることができる。
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
また同様に、まず、天気「曇り」、温度「25度」、湿度「40%」の環境で、一の被写体に光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、天気「晴れ」、温度「28度」、湿度「20%」の環境で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、より空気感・温もり感などを感じることができる。
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
(具体例6)
具体例6は、異なる被写界深度の画像を撮影できる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
まず、被写界深度がより浅い画像を撮影する撮影装置で、一の被写体に光源を当て、第一の画像を取得し、第一画像格納部31に蓄積する。また、被写界深度がより深い画像を撮影する撮影装置で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、より全体的にピントが合っていることにより、通常、すっきり感が増加したように感じる。また、第二の画像の方が、奥行きによるメリハリが増し、通常、奥行き感や立体感が得られる。
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
(具体例7)
具体例7は、シャッタースピードが異なる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
一の被写体に光源を当て、より遅いシャッタースピードの撮影装置で、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に光源を当て、より速いシャッタースピードの撮影装置で、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、スピード感や躍動感が増加したように感じられる。
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を生成するために利用できるルックアップテーブルを自動取得できる。
また、本実施の形態によれば、画像の視聴者であるユーザがルックアップテーブル取得装置3を用いて、ルックアップテーブルを作成すれば、自分にとって、目的に応じて脳負荷が調整された画像を出力できるルックアップテーブルを得ることができる。
また、本実施の形態によれば、ユーザの属性(30歳まで、60歳以上、女性、男性、高校生など)ごとに、1以上のユーザが第二の画像を選択する処理を行えば、ユーザの属性ごとにルックアップテーブルが作成され得る。そして、そのように作成されたルックアップテーブルを用いた画像処理装置(例えば、テレビ受信機)は、ユーザ属性ごとに、自分の嗜好に合致するように、脳負荷が調整された画像を出力できる。
また、本実施の形態のルックアップテーブル取得装置3において、第二画像情報候補集合格納部33、指示受付部103、候補出力部34、第二画像蓄積部35等の一部の構成要素を具備しなくても良いことは言うまでもない。
さらに、本実施の形態におけるルックアップテーブル取得装置3を用いて取得したルックアップテーブルが、実施の形態1、2で説明した画像処理装置に複写され、利用されることは好適である。
なお、本実施の形態におけるルックアップテーブル取得装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の第一の画像と、第一の画像に対して、脳負荷が調整された画像であり、前記1以上の各第一の画像と同一の対象についての画像である1以上の各第二の画像を、前記1以上の各第一の画像に対応付けて格納しており、コンピュータを、前記記憶媒体に格納されている1以上の第一の画像の全部または一部分に関する情報である1以上の第一画像関連情報を、前記1以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、前記記憶媒体に格納されている1以上の第二の画像の全部または一部分に関する情報である1以上の第二画像関連情報を、前記1以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部と、前記第一画像関連情報取得部が取得した第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、前記1以上の第一の画像の全部または一部分と前記1以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、1または2以上有するルックアップテーブルを構成するルックアップテーブル構成部と、前記ルックアップテーブル構成部が構成したルックアップテーブルを、記憶媒体に蓄積するルックアップテーブル蓄積部として機能させるためのプログラム、である。
また、上記プログラムにおいて、記憶媒体に、1以上の各第一の画像に対応付けて、当該1以上の各第一の画像と同一の対象についての2以上の第二の画像の候補の集合である第二画像情報候補集合を1以上、さらに格納しており、コンピュータを、前記1以上の第二画像情報候補集合を出力する候補出力部と、前記候補出力部が出力した1以上の各第二画像情報候補集合が有する2以上第二の画像の候補のうち、1以上の第二の画像の候補を選択する指示を受け付ける指示受付部と、前記指示受付部が受け付けた指示に対応する1以上の第二の画像の候補を、第二画像情報候補集合に対応する第一の画像に対応付けて、前記第二画像格納部に蓄積する第二画像蓄積部としてさらに機能させるプログラムであることは好適である。
また、図16は、本明細書で述べたプログラムを実行して、上述した実施の形態のルックアップテーブル取得装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図16は、このコンピュータシステム340の概観図であり、図17は、コンピュータシステム340のブロック図である。
図16において、コンピュータシステム340は、FDドライブ、CD−ROMドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。
図17において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、MPU3413と、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム340に、上述した実施の形態のルックアップテーブル取得装置等の機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ341に、上述した実施の形態のルックアップテーブル取得装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。