以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。なお、実施の形態を説明するための全図(フローチャートも含む)において、同一の構成要素には同一符号を付与し、重複する説明は省略する。
(実施の形態1)
図1は、本発明の実施の形態1におけるメディアデータ処理装置1の概略構成図である。図1において、メディアデータ処理装置1は周辺装置検出手段10、加工方法決定手段20、メディアデータ取得手段30および加工手段40を備える。
周辺装置検出手段10は、無線を介してメディアデータ処理装置1の外部に存在する周辺装置を検出し、検出した周辺装置に関する情報である周辺装置情報101を出力する。
ここで、周辺装置情報101は、周辺装置検出手段10が検出した携帯電話端末等の周辺装置の装置数、すなわち動作中の周辺装置を所持している人物が何人いるかを表した数値である。周辺装置検出手段10が周辺装置の装置数を検出して周辺装置情報101として出力することにより、携帯電話端末100は周辺におおよそ何人の周辺装置を所持している人物が居るかを把握することができる。
加工方法決定手段20は、メディアデータ取得手段30からメディアデータ301を取得し、周辺装置情報101に基づいてメディアデータ301の加工方法を決定し、加工方法を指示するための加工指示201を出力する。
メディアデータ取得手段30は、外部から画像データや演奏データ等のメディアデータを取得し、加工方法決定手段20に出力する。
加工手段40は、加工指示201に基づいてメディアデータ301を加工する。
なお、周辺装置検出手段10における検出処理には公知の検出方法(たとえば特開平10−267973号公報の第7ページから第9ページの図4〜図8に記載の方法)を用いてよく、従って本明細書中では詳しい説明を省略するものとする。
図2は、本発明の実施の形態1におけるメディアデータ処理装置1を携帯電話端末100として構成したときの構成図である。図2において携帯電話端末100は、周辺装置検出手段10、加工方法決定手段20、撮像手段31、加工手段40、表示手段50、蓄積手段60および操作入力手段90を備える。
撮像手段31は、外部の被写体を撮像して被写体の画像データ302を図1のメディアデータ301に相当するデータとして出力する。
加工方法決定手段20は、画像データ302の色温度を増減する加工を施すかどうかを決定し、加工指示201を出力する。
蓄積手段60は、加工方法決定手段20が出力した加工指示201を蓄積し、蓄積している加工指示201を加工手段40へ出力する。
加工手段40は、加工指示201に基づいて画像データ302を加工して加工済画像データ402を出力する。
表示手段50は、加工手段40が出力した加工済画像データ402を表示する。
操作入力手段90は、撮影操作と表示操作の操作入力を検知して蓄積手段60および加工方法決定手段20の処理の開始を指示する。
図3は、本発明の実施の形態1における携帯電話端末100の外観を示す図である。周辺装置検出手段10は、撮像手段31と同じ筐体の内部に設置され、被写体近傍に存在する周辺装置が発する無線信号を高感度で検出できるようになっている。
図4は、本発明の実施の形態1における携帯電話端末100の加工方法決定手段20の処理手順を表すフローチャートである。操作入力手段90が撮影操作を検知すると、加工方法決定手段20は、図4のフローチャートが示す処理を開始する。
加工方法決定手段20は、まず画像データ302を取得し(ステップS101)、周辺装置情報101を取得する(ステップS102)。
次に加工方法決定手段20は、周辺装置情報101が示す周辺装置の検出装置数が所定の数を越えているかどうかを判断し(ステップS111)、検出装置数が所定の数を越えている場合(ステップS111、YES)はステップS112へ進み、越えていない場合(ステップS111、NO)はステップS151へ進む。
ステップS112において加工方法決定手段20は、画像データ302の色温度を下降させる加工を施すように加工方法を決定する。ステップS151において加工方法決定手段20は、ステップS112までの処理で決定した加工方法を加工指示201として出力する。
加工方法決定手段20が加工指示201を出力すると、蓄積手段60が加工指示201を蓄積する。蓄積手段60は、操作入力手段90が表示操作を検知すると蓄積している加工指示201を加工手段40へ出力する。そして加工手段40が加工指示201に従って画像データ302を加工して加工済画像データ402を出力すると、表示手段50が加工済画像データ402を表示する。
なお、図4のステップS102が請求項12に記載の第1のステップに、ステップS111およびS112が同じく請求項12に記載の第2のステップにそれぞれ相当する。また、図4のステップS151の加工指示201に従って、加工手段40が画像データ302を加工する処理が請求項13に記載の第3のステップに相当する。
以下、本発明の実施の形態1の具体的な動作を説明する。すなわち、周辺装置の装置数に応じて画像データの色調を決定する具体例である。
図5は、本発明の実施の形態1における携帯電話端末100を用いて撮影を行う際の状況を説明する図である。図5(a)は、利用者Uが携帯電話端末100を用いて4人の人物に囲まれた人物U−Fを撮影する第一の状況を示している。また、図5(b)は、利用者Uが携帯電話端末100を用いて周囲に人物がいない状態で人物U−Fを撮影する第二の状況を示している。
図5において、人物U−Fは周辺装置100−Fを、人物U−Fの周囲の人物は周辺装置100−G、100−H、100−I、100−Jをそれぞれ所持している。また、利用者Uは人物U−Fの顔の部分のみがアップで写る構図、すなわちU−F以外の人物が写らない構図で撮影を行うものとする。
まず、第一の状況(図5(a))における携帯電話端末100の動作を説明する。第一の状況において利用者Uが操作入力手段90で撮影操作を行うと、加工方法決定手段20は図4のフローチャートに示す処理を開始する。
まず、ステップS101において加工方法決定手段20は画像データ302を取得し、ステップS102において周辺装置情報101を取得する。このとき、周辺装置検出手段10は、5台の周辺装置100−F〜100−Jを検出し、周辺装置情報101として数値「5」を出力するので、ステップS102において加工方法決定手段20は検出装置数「5」を得る。
次に加工方法決定手段20は、ステップS111の判断がYESであるのでステップS112の処理へ進み、画像データ302の色温度を下降させる加工を施すよう加工方法を決定して(ステップS112)、加工指示201を出力する(ステップS151)。蓄積手段60は加工方法決定手段20が出力した加工指示201を蓄積する。
一方、第二の状況(図5(b))においては、ステップS101にて加工方法決定手段20が画像データ302を取得し、ステップS102において周辺装置情報101を取得する。このとき、周辺装置検出手段10は、1台の周辺装置100−Fを検出し、周辺装置情報101として数値「1」出力するので、図4のステップS111における判断がNOとなり、加工方法決定手段20は画像データ302の色温度を変更する加工を施さないよう加工方法を決定する。
図6は、本発明の実施の形態1における携帯電話端末100の加工方法決定手段20が出力する加工指示201の構造を模式的に示した図である。図6(a)は第一の状況(図5(a))において加工方法決定手段201が出力する加工指示201−11を示している。また、図6(b)は第二の状況(図5(b))において加工方法決定手段201が出力する加工指示201−12を示している。
加工指示201−11および201−12は、いずれもヘッダ、画像データ302の内容、および加工方法を指示する加工指示情報から成る。加工指示201−11は、画像データ302の内容を表す画像データ302−11と、色温度を下降させることを示す加工指示情報D12「色温度調整=降下」を含んでいる。一方、加工指示201−12は画像データ302の内容を表す画像データ302−12と、画像データ302−12を原画像のまま保つことを示す加工指示情報D14「色温度調整=なし」を含んでいる。
なお、本発明の実施の形態1における加工指示201の構造は、たとえばTIFF(Tagged Image File Format)形式を用いて電子データとして表現することが可能である。
蓄積手段60が加工指示201を蓄積した後、利用者Uが操作入力手段90で表示操作を行うと、蓄積手段60が蓄積した加工指示201を出力し、加工手段40が加工指示201の加工処理を開始する。
加工手段40が加工指示201−11に従って、画像データ302−11の色温度を下降する加工を行うと、画像データ302−11よりやや赤みがかった色調の加工済画像データ402を加工処理の結果として出力する。これに対し、加工手段40が加工指示201−12を取り込むと第二の画像データ302−12の内容をそのまま加工済画像データ402として出力する。その結果、周囲に多くの人物がいる第一の状況(図5(a))で撮影した撮影画像は、賑やかな雰囲気を表す赤みがかった温かみのある色調に加工されて表示手段50に表示されることになる。
以上説明したように、本発明の実施の形態1における携帯電話端末100では、周辺装置検出手段10が検出する周辺装置の装置数が所定数より多い場合に加工方法決定手段20が画像データ302の色温度を下げることにより賑やかな雰囲気を表す色調に画像データ302を加工するよう加工方法を決定している。このメディアデータ処理方法により、撮影した画像に周囲の人物が写っていない場合であっても、多くの人物が居る賑やかな雰囲気で撮影した画像を、賑やかさを感じ取れるよう加工して表示することができる。
以上の説明から明らかなように、本発明の実施の形態1における携帯電話端末は、メディアデータを取得する際に無線を介して周辺装置を検出した結果に基づいてメディアデータの加工方法を決定するため、メディアデータが人物の感情や表情を抽出するための情報を含んでいない場合であっても、メディアデータ取得時の状況を適切に判断してメディアデータを加工することができる。
また、本発明の実施の形態1における携帯電話端末は、周辺装置の装置数を判別してディアデータの加工方法を決定するため、メディアデータが人物の感情や表情を抽出するための情報を含んでいない場合であっても、メディアデータ取得時の状況をより適切に判断してメディアデータを加工することができる。
(実施の形態2)
次に本発明の実施の形態2について説明する。本実施の形態2では、メディアデータの加工方法を決定する際に、周辺装置の属性情報を利用する点に特徴がある。
図7は、本発明の実施の形態2におけるメディアデータ処理装置1の概略構成図である。図7においてメディアデータ処理装置1は、周辺装置検出手段10、加工方法決定手段20、メディアデータ取得手段30、加工手段40および装置属性情報提供手段80を備える。上記実施の形態1におけるメディアデータ処理装置1と同様の構成については説明を省略する。
装置属性情報提供手段80は、周辺装置検出手段10が検出した周辺装置の属性に関する情報である装置属性情報801を出力する。
図8は、本発明の実施の形態2におけるメディアデータ処理装置1を携帯電話端末200として構成したときの構成図である。図8において携帯電話端末200は、図2の携帯電話端末100の構成要素に加え、図7の装置属性情報提供手段80に対応する構成要素として電話帳記憶手段81を備える。また、携帯電話端末200は、図2の携帯電話端末100とは異なり、加工手段40が出力する加工済画像データ402を蓄積手段60に蓄積するよう構成されている。
加工方法決定手段20は、画像データ302に別の画像である補助画像を重畳する加工の方法を決定する。また、加工方法決定手段20は、図2の加工方法決定手段20とは異なり、加工手段40が備える処理機能を直接呼び出すことによって加工手段40に加工指示201を与える。
周辺装置情報101は、周辺装置検出手段10が検出した周辺装置を識別する装置識別子を含んでいる。周辺装置検出手段10が複数の周辺装置を検出した場合は、周辺装置検出手段10は検出した複数の装置識別子を周辺装置情報101として出力する。
加工補助情報802は、加工方法決定手段20において画像データ302の加工方法を決定する際に用いる補助的な情報であり、補助画像を識別する情報であるファイル名や画像データ302の加工方法を決定する際に適用する規則を含んでいる。
電話帳記憶手段81は、周辺装置情報101が示す周辺装置に対応する装置属性情報801および加工補助情報802をテーブル形式のデータで保持している。
図9は、本発明の実施の形態2における携帯電話端末200の電話帳記憶手段81が保持する周辺装置属性テーブルT811および加工規則テーブルT812の具体例を示す図である。
図9(a)に示す周辺装置属性テーブルT811は、装置属性情報801および加工補助情報802を保持するテーブルである。周辺装置属性テーブルT811は、周辺装置の装置識別子ごとのレコード(R8111〜R8115)から成り、各レコード(R8111〜R8115)は、装置識別子を表すフィールドF8111、周辺装置の所有者名を表すフィールドF8112、所有者が属するグループを表すフィールドF8113、所有者の似顔絵を表したアイコン画像ファイルのファイル名を表すフィールドF8114を有している。
ここで、所有者名F8112およびグループF8113は周辺装置の装置属性情報801に相当する情報である。また、アイコン画像ファイルのファイル名F8114は加工補助情報802に対応する情報である。
図9(b)に示す加工規則テーブルT812は、画像データ302の加工方法を決定する際に適用する規則を表すテーブルである。加工規則テーブルT812は、周辺装置の所有者が属するグループごとのレコード(R8121〜R8123)から成り、各レコード(R8121〜R8123)は、グループを表すフィールドF8121、加工内容が選択される優先度を表すフィールドF8122、および加工内容を表すフィールドF8123を有している。
ここで、優先度F8122は、数値が大きいほど加工内容F8123が優先的に適用されることを表している。また、加工内容F8123の値「−」は、加工処理を行わないことを表している。
図10は、本発明の実施の形態2における携帯電話端末200の加工方法決定手段20の処理手順を表すフローチャートである。操作入力手段90が撮影操作を検知すると、加工方法決定手段20は、図10のフローチャートが示す処理を開始する。
まず、ステップS101において加工方法決定手段20は画像データ302を取得し、ステップS102において周辺装置情報101を取得する。
ステップS203において加工方法決定手段20は、図9(a)の周辺装置属性テーブルT811を参照することにより、ステップS102で取得した周辺装置情報101に含まれる周辺装置の装置識別子(フィールドF8111)ごとに、周辺装置の所有者が属するグループ(フィールドF8113)の情報を取得する。
ステップS211において加工方法決定手段20は、図9(b)の加工規則テーブルT812を参照することにより、ステップS203で取得したグループのうち最高優先度のグループ、すなわちフィールドF8122の数値が最大であるグループ(フィールドF8121)を求める。そしてステップS212において加工方法決定手段20は、ステップS211で求めたグループの加工内容(フィールドF8123)を画像データ302の加工内容とする。
ステップS213において加工方法決定手段20は、ステップS212で求めた加工内容に基づいて処理を分岐する。加工方法決定手段20は、加工内容が「なし」の場合、すなわち図9(b)の加工規則テーブルT812のフィールドF8123の値が「−」の場合はステップS251へ進み、加工内容が「個別」の場合はステップS252へ進み、加工内容に補助画像ファイルのファイル名が指定されている場合はステップS253へ進む。
ステップS251において、加工方法決定手段20は、加工を行わずに画像データ302をそのまま加工済画像データ402として出力するよう加工手段40に加工指示201を与える。
ステップS252において、加工方法決定手段20は、図9(a)の周辺装置属性テーブルT811を参照することにより、ステップS102で取得した装置識別子をフィールドF8111に持つレコードのアイコン画像ファイル名(フィールドF8114)を周辺装置ごとに取得し、画像データ302に重畳するよう加工手段40に加工指示201を与える。
ステップS253において、加工方法決定手段20は、加工内容が指定する補助画像を画像データ302に重畳するよう加工手段40に加工指示201を与える。
加工手段40が加工指示201に従って画像データ302を加工し、加工済画像データ402を出力すると、蓄積手段60が加工済画像データ402を蓄積する。操作入力手段90が表示操作を検知すると、蓄積手段60は加工済画像データ402を出力し、表示手段50がこれを表示する。
なお、図10のステップS102が請求項12に記載の第1のステップに、ステップS211、ステップS212、ステップS213およびステップS251〜S253が同じく請求項12に記載の第2のステップにそれぞれ相当する。また、図10のステップS251〜S253の加工指示201に従って、加工手段40が画像データ302を加工する処理が請求項13に記載の第3のステップに相当する。さらに、図10のステップS203が請求項16に記載の第5のステップに相当する。
以下、本発明の実施の形態2の具体的な動作を説明する。すなわち、周辺装置の属性情報に応じて画像データに重畳する補助画像を決定する具体例である。
図11(a)は、本発明の実施の形態2における携帯電話端末200を用いて利用者Uが利用者Uの仕事仲間である人物U−E、および人物U−Eの取引相手である人物U−Kを撮影する第三の状況を示している。図11(a)において、人物U−Eは周辺装置200−Eを、人物U−Kは周辺装置200−Kをそれぞれ所持している。周辺装置200−E、200−Kの装置識別子はそれぞれ「0901111EEEE」、「0901111KKKK」であるものとする。また、利用者Uは人物U−Eと人物U−Kの手の部分がアップで写る構図で撮影を行うものとする。
図11(a)に示す第三の状況において利用者Uが操作入力手段90で撮影操作を行うと、加工方法決定手段20は図10のフローチャートに示す処理を開始する。
ステップS102において加工方法決定手段20は、装置識別子「0901111EEEE」および「0901111KKKK」を取得する。ステップS203において加工方法決定手段20は、装置識別子「0901111EEEE」および「0901111KKKK」から周辺装置の所有者、すなわち人物U−Eと人物U−Kのグループを取得しようとするが、図9(a)の周辺装置属性テーブルT811には装置識別子「0901111KKKK」が登録されていないため、装置識別子「0901111EEEE」をフィールドF8111に保持するレコードR8115のフィールドF8113が示すグループ「仕事」のみを装置属性情報801として取得する。
ステップS211において加工方法決定手段20は、図9(b)の加工規則テーブルT812を参照し、フィールドF8121の値が「仕事」であるレコードR8121の優先度「3」を得る。ステップS203で取得したグループは「仕事」のみであるので、加工方法決定手段20は最高優先度のグループとして「仕事」を得る。
ステップS212において加工方法決定手段20は、加工内容としてレコードR8121のフィールドF8123の値「−」を得る。ステップS213の条件判断において、加工内容が「−」のため、加工方法決定手段20はステップS251へ進み、画像データ302に加工を施さずに加工済画像データ402として出力するよう加工手段40に指示する。
加工手段40が出力した加工済画像データ402は、蓄積手段60により蓄積される。ここで利用者Uが操作入力手段90で表示操作を行うと、蓄積手段60が蓄積した加工済画像データ402を出力し、表示手段50が加工済画像データ402を表示する。
図11(b)は、第三の状況(図11(a))における加工済画像データ402−21の内容を示す図である。人物U−EおよびU−Kの手の画像P21に補助画像は重畳されておらず、仕事中の撮影に相応しい真面目な画像となっている。
図12(a)は、本発明の実施の形態2における携帯電話端末200を用いて利用者Uが利用者Uと恋人の関係にある人物U−Dを撮影する第四の状況を示している。図12(a)において、人物U−Dは周辺装置200−Dを所持している。周辺装置200−Dの装置識別子は「0901111DDDD」であるものとする。また、利用者Uは人物U−Dと利用者Uの手の部分がアップで写る構図で撮影を行うものとする。
第四の状況において加工方法決定手段20は、第三の状況(図11(a))と同様に処理を行うが、図10のステップS203〜S211の処理において加工方法決定手段20はグループ「恋人」を得て、ステップS212で加工情報として補助画像ファイルのファイル名「Heart.jpg」を得る。このため、ステップS213における判断は「補助画像ファイル名」となり、加工方法決定手段20はステップS253へ進み、補助画像ファイル「Heart.jpg」を画像データ302に重畳するよう加工方法を決定する。
図12(b)は、第四の状況(図12(a))における加工済画像データ402−22の内容を示す図である。加工済画像データ402−22は、利用者Uおよび人物U−Dの手の画像P22に補助画像P23が重畳され、利用者Uと人物U−Dとがお互いに好意を抱いている雰囲気を表現した画像となっている。
図13(a)は、本発明の実施の形態2における携帯電話端末200を用いて利用者Uが利用者Uと恋人の関係にある人物U−D、および利用者Uと家族の関係にある人物U−A、U−B、U−C、U−Lを撮影する第五の状況を示している。図13(a)において、人物U−A、U−B、U−C、U−Dはそれぞれ周辺装置200−A、200−B、200−C、200−Dを所持している。周辺装置200−A、200−B、200−C、200−Dの装置識別子はそれぞれ「0901111AAAA」、「0901111BBBB」、「0901111CCCC」、「0901111DDDD」であるものとする。また、利用者Uは人物U−Cと人物U−Lの手の部分がアップで写る構図で撮影を行うものとする。
第五の状況において加工方法決定手段20は、第三の状況(図11(a))および第四の状況(図12(a))と同様に処理を行うが、図10のステップS203の処理で加工方法決定手段20はグループ「恋人」および「家族」を得る。
さらに、ステップS211において加工方法決定手段20は、グループ「恋人」と「家族」のうち、優先度(図9(b)のフィールドF8122の数値)が高いグループ「家族」を最高優先度のグループとして得て加工内容「個別」を得る。したがって、加工方法決定手段20は、ステップS213の判断でステップS252へ進み、アイコン画像「image1.jpg」、「image2.jpg」、「image3.jpg」、「image4.jpg」を画像データ302に重畳するよう加工方法を決定する。
図13(b)は、第五の状況(図13(a))における加工済画像データ402−23の内容を示す図である。加工済画像データ402−23は、人物U−CおよびU−Lの手の画像P24に人物U−A〜U−Dの似顔絵のアイコン画像P25〜P28が重畳され、人物U−Lが家族愛に包まれている雰囲気を表現した画像となっている。なお、ここでは、加工方法決定手段20が、画像P24と、アイコン画像P25〜P28とを重畳する位置を決定するものとするが、操作入力手段90からの入力操作に従って、アイコン画像P25〜P28を任意の位置に配置するようにしてもよい。
以上説明したとおり、本発明の実施の形態2における携帯電話端末200は、周辺装置検出手段10が検出した周辺装置を識別する装置識別子を出力し、加工方法決定手段20が装置識別子から得られる周辺装置の所有者の属性に基づいてメディアデータ301の加工方法を決定している。このメディアデータ処理方法により、周囲の人物の顔が撮影した画像に写っていない場合であっても、利用者と周囲の人物との関係や雰囲気を感じ取れるように画像を加工して表示することができる。
以上の説明から明らかなように、本発明の実施の形態2における携帯電話端末は、メディアデータを取得する際に無線を介して周辺装置を検出した結果に基づいてメディアデータの加工方法を決定するため、メディアデータが人物の感情や表情を抽出するための情報を含んでいない場合であっても、メディアデータ取得時の状況を適切に判断してメディアデータを加工することができる。
また、本発明の実施の形態2における携帯電話端末は、検出した周辺装置の属性情報に基づいてメディアデータの加工方法を決定するため、利用者と周囲の人物との関係を携帯電話端末が判別できるので、メディアデータが人物の感情や表情を抽出するための情報を含んでいない場合であって、メディアデータ取得時の状況をより適切に判断してメディアデータを加工することができる。
(実施の形態3)
次に本発明の実施の形態3について説明する。本実施の形態3では、メディアデータの加工方法を決定する際に、無線を介した周辺装置の検出結果と、その他の手段により周囲から取得した環境情報とを組み合わせて利用する点に特徴がある。
図14は、本発明の実施の形態3におけるメディアデータ処理装置1の概略構成図である。図14においてメディアデータ処理装置1は、周辺装置検出手段10、加工方法決定手段20、メディアデータ取得手段30、加工手段40および環境検出手段70を備える。環境検出手段70は、メディアデータ処理装置1の周囲の環境の状態を検出して環境情報701を出力する。また、加工方法決定手段20は、周辺装置情報101および環境情報701に基づいて加工方法を決定するよう構成されている。
図15は、本発明の実施の形態3におけるメディアデータ処理装置1を携帯電話端末300として構成したときの構成図である。図15において携帯電話端末300は、図2の携帯電話端末100の構成要素に加え、環境検出手段70に対応する構成要素として音声入力手段71および音声分析手段72を備える。
また、携帯電話端末300は、図2の携帯電話端末100とは異なり、操作入力手段90の撮影操作に基づいて蓄積手段60が画像データ302、周辺装置情報101、および環境情報701に対応する音声情報703を蓄積するよう構成されている。さらに、蓄積手段60は、蓄積した画像データ302、周辺装置情報101、および音声情報703を操作入力手段90の表示操作に基づいて出力するよう構成されている。
このように、画像データ302を撮影時に未加工の状態で蓄積しておき、蓄積した周辺装置情報101に基づいて画像データ302の表示時に加工方法を決定する構成とすることにより、画像データ302の加工処理が行われた後でも未加工の画像データ302を確認することができ、利便性が増す。
音声入力手段71は、外部の音声を電気信号である音声信号702に変換して出力する。音声分析手段72は、音声信号702の音圧を測定し、測定結果を音声情報703として出力する。音声情報703は、図14の環境情報701に相当する情報であり、音声信号702の音圧レベルを表す情報を含む。
周辺装置情報101は、図2の周辺装置情報101と同様、周辺装置の装置数を含んでいる。加工方法決定手段20は、画像データ302に別の画像である補助画像を重畳する加工の方法を決定する。また、加工方法決定手段20は、図2の加工方法決定手段20とは異なり、加工手段40が備える処理機能を直接呼び出すことによって加工手段40に加工指示201を与える。
図16は、本発明の実施の形態3における携帯電話端末300の外観を示す図である。音声入力手段71は、撮像手段31とは異なる方向から到達する音声を取得できるよう撮像手段31と異なる側面に設けられている。上記設置方法により、被写体となる人物が発する音声よりも、撮影時の雰囲気に顕著な影響を与える周囲の人物が発する音声の方をより高感度で捉えることができる。
図17は、本発明の実施の形態3における携帯電話端末300の加工方法決定手段20の処理手順を表すフローチャートである。操作入力手段90で撮影操作が行われると、蓄積手段60が画像データ302、周辺装置情報101、および音声情報703を蓄積する。そして操作入力手段90が表示操作を検知すると、蓄積手段60が蓄積した画像データ302、周辺装置情報101、および音声情報703を出力し、加工方法決定手段20が図17のフローチャートに示す処理を開始する。
ステップS101およびS102において加工方法決定手段20は、撮影時に蓄積手段60が蓄積した画像データ302、周辺装置情報101を取得する。ステップS303において加工方法決定手段20は、音声情報703を取得する。
ステップS312において加工方法決定手段20は、ステップS303で取得した音声情報703に含まれる、音声信号702の音圧レベルが所定の値を越えているかどうかを判断し、超えている場合(ステップS312、YES)はステップS251へ進み、越えていない場合(ステップS312、NO)はステップS352へ進む。
ステップS352において加工方法決定手段20は、所定の補助画像を画像データ302に重畳するよう加工手段40に加工指示201を与える。
加工手段40が加工指示201に従って画像データ302を加工し、加工済画像データ402を出力すると、表示手段50がこれを表示する。
なお、図17のステップS102が請求項12に記載の第1のステップに、ステップS111、ステップS312、ステップS251およびステップS352が同じく請求項12に記載の第2のステップにそれぞれ相当する。また、図10のステップS251またはステップS352の加工指示201に従って、加工手段40が画像データ302を加工する処理が請求項13に記載の第3のステップに相当する。さらに、図17のステップS303が請求項15に記載の第4のステップに相当する。
以下、本発明の実施の形態3の具体的な動作を説明する。すなわち、周辺装置の装置数と周囲で発生する音声の音圧レベルに応じて画像データに重畳する補助画像を決定する具体例である。
図18(a)は、利用者Uが本発明の実施の形態3における携帯電話端末300を用いて周囲に人物がいない状態で人物U−Mを撮影する第六の状況を示している。図18(a)に示す第六の状況において利用者Uが操作入力手段90で撮影操作を行うと、蓄積手段60は画像データ302、周辺装置情報101、および音声情報703を蓄積する。
図20は、蓄積手段60が蓄積する蓄積データ601の具体例を示す図である。図20に示すとおり、蓄積手段60は、画像データ302、周辺装置情報101および音声情報703を互いに関連付けて単一の蓄積データ601として蓄積する。図20(a)は、第六の状況において蓄積手段60が蓄積する蓄積データ601−31を示している。蓄積データ601−31は、ヘッダD31、画像データ302の内容を表す画像データ302−31、周辺装置情報101の内容を表す検出装置数情報D32、音声情報703の内容を表す音圧レベル情報D33から成る。
第六の状況においては、周囲に人物がいないので周辺装置検出手段10が周辺装置を検出しない。従って、検出装置数情報D32として値「0」が蓄積されている。音圧レベル情報D33の数値「55」は、音声入力手段71が取得した周囲の音の音圧レベルが55デシベルであり、比較的静かな環境にあることを示している。
なお、蓄積データ601−31は、たとえばTIFF(Tagged Image File Format)形式を用いて電子データとして表現することが可能である。
蓄積データ601−31が蓄積手段60に蓄積された状態で利用者Uが操作入力手段90で表示操作を行うと、蓄積手段60が蓄積データ601−31を出力し、加工方法決定手段20が図17のフローチャートが示す処理を開始する。
まず、ステップS101およびS102において加工方法決定手段20は、撮影時に蓄積手段60が蓄積した画像データ302、周辺装置情報101を取得する。ステップS303において加工方法決定手段20は、音声情報703を取得する。
ステップS111において加工方法決定手段20は、蓄積データ601−31の検出装置数情報D32を参照し、検出装置数「0」を取得するので判断はNOとなり、ステップS251へ進む。
ステップS251において加工方法決定手段は、加工を行わずに画像データ302−31をそのまま加工済画像データ402として出力するよう加工手段40に加工指示201を与える。その結果、表示手段50は、図18(b)に示すとおり、人物U−Mの画像P31のみが写った加工済画像データ402−31を表示する。
図19(a)は、利用者Uが本発明の実施の形態3における携帯電話端末300を用いて、第六の状況(図18(a))と同一の場所において、周囲の観客が人物U−Mを静かに注視している状態で人物U−Mを撮影する第七の状況を示している。5人の観客はそれぞれ周辺装置300−N、300−O、300−P、300−Q、300−Rを所持している。また、利用者Uは人物U−Mの顔の部分のみがアップで写る構図、すなわち観客が写らない構図で撮影を行うものとする。
図19(a)に示す第七の状況において利用者Uが操作入力手段90で撮影操作を行うと、蓄積手段60は画像データ302、周辺装置情報101、および音声情報703を蓄積する。第七の状況において蓄積手段60が蓄積する蓄積データ601−32の内容を図20(b)に示す。
第七の状況においては、5台の周辺装置300−N、300−O、300−P、300−Q、300−Rを周辺装置検出手段10が検出する。従って、検出装置数D35として値「5」が蓄積されている。音圧レベル情報D36の数値「55」は、図20(a)に示す第六の状況における蓄積データ601−31(図20(a))の数値D33と同じく、音声入力手段71が取得した周囲の音の音圧レベルが55デシベルであり、周囲が静かであることを示している。
蓄積データ601−32が蓄積手段60に蓄積された状態で利用者Uが操作入力手段90で表示操作を行うと、蓄積手段60が蓄積データ601−32を出力し、加工方法決定手段20が図17のフローチャートが示す処理を実行する。
第七の状況におけるステップS111の判断は第六の状況における判断とは異なりYESとなるので加工方法決定手段20はステップS312へ進む。音圧レベルの数値D36が「55」であるのでステップS312の判断はNOとなり、加工方法決定手段20はステップS352へ進み、補助画像「tension.jpg」を画像データ302−32に重畳するよう加工方法を決定する。
図19(b)に、第七の状況において表示手段50が表示する加工済画像データ402−32の内容を示す。加工済画像データ402−32は、人物U−Mの画像P32に複数の観客の顔を表す画像P33が重畳され、緊張した雰囲気を表現した画像となっている。
なお、人物U−Mの周囲に5人の観客がいて騒がしくしている場合、すなわち観客が人物U−Mを注視していないような状態で撮影を行うと、図17のステップS312の判断がYESとなるので、緊張した雰囲気を表現するための画像P33は重畳されない。
以上説明したとおり、本発明の実施の形態3における携帯電話端末300は、周辺装置検出手段10が検出した周辺装置の装置数と音声分析手段72が測定した周囲の音声の音圧レベルに基き、装置数が所定数より多く、音圧レベルが所定値以下である場合に加工方法決定手段が画像データ302に補助画像を重畳することにより緊張した雰囲気を表現した画像となるように加工方法を決定している。このメディアデータ処理方法により、撮影した画像に周囲の人物が写っておらず、同一の場所で周囲の状況が逐次変化する場合であっても、周囲の状況を判別することができ、緊張した雰囲気で撮影した画像を、緊張感を感じ取れるよう加工して表示することができる。
以上の説明から明らかなように、本発明の実施の形態3における携帯電話端末は、メディアデータを取得する際に無線を介して周辺装置を検出した結果に基づいてメディアデータの加工方法を決定するため、メディアデータが人物の感情や表情を抽出するための情報を含んでいない場合あっても、メディアデータ取得時の状況を適切に判断してメディアデータを加工することができる。
また、本発明の実施の形態3における携帯電話端末は、メディアデータを取得する際に無線を介して周辺装置を検出した結果と、その他の手段により周囲から取得した環境情報とに基づいてメディアデータの加工方法を決定するため、周辺装置の検出結果が同一であっても環境情報が異なる場合を携帯電話端末が判別することができるので、メディアデータ取得時の状況をより適切に判断してメディアデータを加工することができる。
なお、本発明の実施の形態1、2および3において、画像データは静止画であるものとして説明したが、動画像データであってもよい。
また、本発明の実施の形態1、2および3において、メディアデータは画像データであるとしたが、これに限るものではなく、外部から取得可能なメディアデータであればどのようなデータであってもよく、たとえば音波形データ、MIDI(Musical Instrument Digital Interface)形式等で表現された演奏データとし、周辺装置情報に基づいて音響的な特殊効果等を付与する加工方法を決定するようにしてもよい。
また、本発明の実施の形態1、2および3において、メディアデータの加工は色温度の変更または補助画像の重畳であるとしたがこれに限るものではなく、サイズや解像度の変更、色相・彩度・明度・コントラスト等の色調変更、変形・ぼかし・シャープ化・ピクセレーション・コラージュ・テクスチャ化等の特殊効果の適用であってもよい。
また、本発明の実施の形態2および3において、補助画像を重畳する加工方法を決定するものとしたがこれに限るものではなく、アニメーションやテキストや音データ等のオブジェクトを重畳したり、ネットワーク上のコンテンツや実行可能なプログラムへの参照情報を関連づける加工方法を決定するようにしてもよい。
また、本発明の実施の形態1、2および3において、操作入力手段による表示操作に基づいて加工済画像データを表示手段で表示するようにしたが、撮影時のプレビュー表示のように、利用者が表示操作を行わなくても加工済画像データが表示されるよう構成してもよい。
また、本発明の実施の形態3において、環境情報は音声情報であるとしたがこれに限るものではなく、たとえば照度、温度、気圧、高度、速度、加速度、振動の大きさや周期、紫外線量、位置情報等であってもよい。また、環境検出手段は音声入力手段および音声分析手段であるとしたが、これに限るものではなく、上記の各種情報を検出するセンサ等であってもよい。
また、本発明の実施の形態1、2および3において、周辺装置情報または環境情報はメディアデータ取得の際に取得した情報のみを利用するようにしたが、これに限るものではなく、たとえば所定時間前に取得した周辺装置情報または環境情報とメディアデータ取得時に取得した情報とを比較し、比較結果に基づいて加工方法決定手段が加工方法を決定するようにしてもよい。このようにすることにより、たとえば混雑した場所から空いている場所に移動した場合等、状況の時間変化を捉えることが可能となり、メディアデータ取得時の状況をより適切に判断することができる。
また、本発明の実施の形態2において、装置属性情報提供手段は加工方法決定手段と同一筐体内に具備するものとして説明したが、これに限るものではなく、筐体外部に設けられた装置属性情報提供手段から通信を介して装置属性情報を取得するようにしてもよい。
また、本発明の実施の形態2において、周辺装置の所有者に関連づけられたアイコン画像を画像データに重畳するようにしたがこれに限るものではなく、利用者に関連づけられた情報を重畳するようにしてもよい。
また、本発明の実施の形態3において、環境情報として音声信号の分析結果を蓄積手段に蓄積するようにしたが、未分析の音声信号を蓄積しておき、メディアデータの加工時に音声信号を分析するようにしてもよい。
また、本発明の実施の形態1、2および3において、周辺装置検出手段と加工方法決定手段は同一筐体内に設けたが、互いに分離して別筐体に設けてもよい。
また、本発明の実施の形態1および3において、周辺装置検出手段は周辺装置の装置数を検出するものとしたが、装置数を正確に検出する必要は必ずしもなく、たとえば特定の周波数帯域の電波の受信強度を測定することにより周囲に存在する周辺装置の多さを判定し、判定結果に基づいてメディアデータの加工方法を決定するようにしてもよい。
また、本発明の実施の形態1、2および3において、携帯電話端末の例を説明したが、これに限るものではなく、デジタルカメラ、ビデオカメラ、録音装置等、外部からメディアデータを取得する機能を有する電子機器であれば同様の効果が得られる。