JP2016173791A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】口元が不自然に描画されることのない画像を提供する。
【解決手段】画像処理装置において実行される動画データ生成処理は、記憶部に記憶された人物の撮影画像から口を認識しＳ３、認識した口が開いているか否かを判定するＳ５。口が開いていると判定した場合Ｓ１０、制御部は、口内部を検出しＳ１１、検出した口内部の画像情報を修正するＳ１２。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来、人物の口が半開きとなっていない画像を動画コンテンツの代表画像に決定する技術が知られている（例えば、特許文献１参照）。

特開２０１２−４７２２号公報

ところで、図１０（ａ）に示すように、人物の口が半開きになっている１枚の撮影画像（静止画像）から口パーツを検出すると、図１０（ｂ）に点線で示すように歯を含んだ状態で口パーツが検出される。口を音声に合わせて開閉させる顔変形処理では、この歯を含んだ状態の口パーツを口が閉じた状態とみなし、口開け時に開口した部分に歯を挿入する処理を行うため、図１０（ｃ）に示すように、歯の中に歯が挿入された、口元が不自然な画像となってしまう。

本発明の課題は、口元が不自然に描画されることのない画像を提供できるようにすることである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
人物の画像から口を認識する認識手段と、
前記認識手段により認識された口の領域から口内部を検出する検出手段と、
前記検出手段により検出された口内部の画像情報を修正する修正手段と、
を備える。

本発明によれば、口元が不自然に描画されることのない画像を提供することが可能となる。

本実施形態における画像出力システムの全体構成例を示す図である。 図１の画像処理装置の機能的構成を示すブロック図である。 図１のデジタルサイネージ装置の機能的構成を示すブロック図である。 図３のスクリーン部の概略構成を示す図である。 図２の制御部により実行される動画データ生成処理を示すフローチャートである。 領域周辺部と領域中央部を説明するための図である。 ＨＳＶ座標系に口パーツ領域内の唇領域の各画素の色情報及び歯領域の各画素の色情報をプロットしたカラーマップを模式的に示す図である。 口パーツ領域における唇の内側境界を説明するための図である。 開口量を説明するための図である。 従来の技術において口が半開きになった画像を用いて口を開閉させる顔変形処理を行ったときの処理結果を説明するための図である。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

［画像出力システム１００の構成］
図１は、本発明の実施形態における画像出力システム１００の全体構成を示す図である。画像出力システム１００は、画像処理装置１とデジタルサイネージ装置２とがＬＡＮ（local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通信ネットワークＮを介してデータ送受信可能に接続されて構成されている。

［画像処理装置１の構成］
図２は、画像処理装置１の主制御構成を示すブロック図である。画像処理装置１は、１枚の顔画像に基づいて動画データを生成し、その生成された動画データをデジタルサイネージ装置２に送信する装置であり、例えば、ＰＣ（Personal Computer）等が適用可能である。画像処理装置１は、図２に示すように、制御部１１、記憶部１２、操作部１３、表示部１４、通信部１５等を備えて構成されている。

制御部１１は、記憶部１２のプログラム記憶部１２１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部１１は、記憶部１２のプログラム記憶部１２１に記憶されているプログラムとの協働により、図５に示す動画データ生成処理を実行したり、生成した動画データをデジタルサイネージ装置２に送信したりする。制御部１１は、認識手段、検出手段、修正手段、判定手段、生成手段、エッジ検出手段、算出手段、動画データ生成手段として機能する。

記憶部１２は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１２には、図２に示すように、プログラム記憶部１２１が設けられている。プログラム記憶部１２１には、制御部１１で実行されるシステムプログラム、後述する動画データ生成処理を始めとする各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部１２には、動画データの元画像となる撮影画像（静止画像。本実施形態においては、２次元の画像とする）及び動画データ用の音声データが記憶されている。なお、音声データは、音声を表わすテキストデータであってもよい。

操作部１３は、カーソルキー、文字入力キー、テンキー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部１１に出力する。また、操作部１３は、表示部１４の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部１１に出力する。

表示部１４は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニタにより構成され、制御部１１から入力される表示信号の指示に従って、各種画面を表示する。

通信部１５は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークＮに接続された外部機器との通信を行う。

［デジタルサイネージ装置２の構成］
図３は、デジタルサイネージ装置２の主制御構成を示すブロック図である。デジタルサイネージ装置２は、画像処理装置１において生成された動画データに基づいて動画コンテンツを出力する装置である。

デジタルサイネージ装置２は、図３に示すように、映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。

まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、を備えている。プロジェクタ２４、記憶部２５、通信部２６は、図３に示すように制御部２３に接続されている。

制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリ（いずれも図示略）とを備えている。

プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。

記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図３に示すように、プログラム記憶部２５１が設けられている。プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや、各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部２５には、画像処理装置１から送信された動画データを記憶する動画データ記憶部２５２が設けられている。動画データは、複数のフレーム画像及び各フレーム画像に対応する音声データにより構成されている。

次に、スクリーン部２２について説明する。
図４は、スクリーン部２２の概略構成を示す正面図である。図４に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。

画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。この画像形成部２７と前述したプロジェクタ２４とにより出力手段を構成している。

台座２８には、ボタン式の操作部３２と、音声を出力するスピーカなどの音声出力部３３が設けられている。

操作部３２は、各種操作ボタンを備え、操作ボタンの押下信号を検出して制御部２３に出力する。
操作部３２、音声出力部３３は、図３に示すように制御部２３に接続されている。

［画像出力システム１００の動作］
次に、画像出力システム１００の動作について説明する。
上述のように、画像出力システム１００は、画像処理装置１において１枚の撮影画像及び音声データに基づいて動画データを生成し、生成した動画データに基づいて、デジタルサイネージ装置２において動画コンテンツの出力を行う。

図５に、画像処理装置１において実行される動画データ生成処理のフローチャートを示す。動画データ生成処理は、操作部１３により記憶部１２に記憶された人物の撮影画像及び音声データの中から動画データ生成の元となる撮影画像及び音声データが選択され、動画データの生成が指示された際に、制御部１１とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。なお、人物の撮影画像は、特に限定されないが、ここではＲＧＢ表色系の画像であることとして説明する。また、撮影画像の各画素の画像情報は、色情報とαチャンネル値（透過率情報）を含む。

まず、制御部１１は、選択された撮影画像に顔認識処理を行う（ステップＳ１）。顔認識処理の手法は特に限定されないが、例えば、特開２０１２−５３８１３号公報に記載のＨａａｒ−ｌｉｋｅ特徴を用いた手法等、公知の画像処理技術を用いて行うことができる。

次いで、制御部１１は、ステップＳ１で認識された顔の領域に顔パーツ認識処理を行い（ステップＳ２）、顔パーツ認識処理により認識された口パーツの領域を取得する（ステップＳ３）。顔パーツ認識処理は、例えば、Active Appearance Models（ＡＡＭ）等の、公知の画像処理技術を用いて行うことができる。

次いで、制御部１１は、口パーツ領域内の領域周辺部及び領域中央部のカラーマップを生成する（ステップＳ４）。
ステップＳ４においては、例えば、撮影画像の口パーツ領域内の領域周辺部及び領域中央部の色情報をそれぞれＨＳＶ表色系に変換し、ＨＳＶ座標系にプロットする。領域周辺部は、例えば、口パーツ領域内を上中下の３つの領域に分割した場合（図６の点線参照）の上領域と下領域の所定範囲とすることができる。また、領域中央部は、口パーツ領域内を上中下の３つの領域に分割した場合の中央領域内の所定範囲とすることができる。

ここで、図７に、ＨＳＶ座標系に口パーツ領域内の唇領域の各画素の色情報及び歯領域の各画素の色情報をプロットしたカラーマップを模式的に示す。図７に示すように、唇領域のカラーマップは、比較的明度（Ｖ）の高い領域（図７のドットパターンを付した領域）に分布する。一方、歯領域のカラーマップは、歯は白く、また唇の影が映る場合があるため、彩度（Ｓ）は低い領域に、明度（Ｖ）は幅広い領域に分布する。即ち、歯領域は、図７に一点鎖線で示す無彩色軸（円錐の軸）付近の円柱領域に分布する。

口が閉じていた場合、口パーツ領域の全体が唇領域となるため、領域周辺部及び領域中央部のカラーマップは、双方とも図７のドットパターンを付した領域のようになり、両者の差がほとんどないことになる。一方、口が開いている場合、領域周辺部のカラーマップは、図７のトッドパターンを付した領域のようになり、領域中央部は図７に一点鎖線で示す円柱領域となるため、両者の差は大きくなる。
なお、上記の例では、歯に映る唇の影の影響を表現しやすいＨＳＶ表色系を用いてカラーマップを生成する例について説明したが、他の表色系を用いることとしてもよい。

次いで、制御部１１は、生成したカラーマップに基づいて、口パーツ領域内の領域周辺部と領域中央部の色の差を算出し、算出した差が所定の閾値よりも大きいか否かを判断する（ステップＳ５）。例えば、領域周辺部の領域内の各画素の色情報の平均と領域中央部内の各画素の色情報の平均をそれぞれ求め、両者のＨＳＶ座標系における距離が予め定めた所定の閾値よりも大きいか否かを判断する。

口パーツ領域内の領域周辺部と領域中央部の色の差が所定の閾値以下である場合（ステップＳ５；ＮＯ）、即ち、口パーツ領域内の領域周辺部と領域中央部の色の差が口を開いているとみなすのに十分ではない場合、制御部２３は、領域周辺部の縦エッジの検出と領域中央部の縦エッジの検出を行い、それぞれの縦エッジ応答量を算出する（ステップＳ６）。

例えば、撮影画像の領域周辺部（上領域、下領域）に縦線検出用のソーベルフィルタを用いて縦エッジ（縦方向に並んでいるエッジ）の検出を行い、例えば、得られた各画素の応答値の絶対値の平均値を領域周辺部の縦エッジの応答量として算出する。同様に、撮影画像の領域中央部に縦線検出用のソーベルフィルタを用いて縦エッジの検出を行い、得られた各画素の応答値の絶対値の平均値を領域中央部の縦エッジの応答量として算出する。

なお、図６においては、口パーツ領域を均等に３分割して領域周辺部の上下領域と領域中央部に割り当てた例を示しているが、これに限定されず、口パーツ領域の大きさ等に応じてそれぞれの領域の大きさを適宜調整して応答量を算出してもよい。また、例えば、表示部１４に顔画像を表示して、ユーザによる操作部１３の操作により領域周辺部と領域中心部の領域を決定してもよい。また、領域周辺部と領域中央部は、カラーマップを作成したときと異なってもよい。また、縦エッジの応答量の算出方法はソーベルフィルタを用いたものに限定されず、例えば、ハフ変換等他の手法を用いてもよい。

次いで、制御部１１は、領域周辺部の縦エッジの応答量と領域中央部の縦エッジの応答量を比較し、領域中央部の縦エッジの応答量＞領域周辺部の縦エッジの応答量であるか否を判断する（ステップＳ７）。

ここで、図６に示すように、口が開いている場合、領域中央部内には歯の間のはっきりした強い縦エッジが検出されるため、縦エッジの応答量は大きくなる。一方、領域周辺部は唇領域であり、シワ程度の弱い縦エッジしか見られないため、縦エッジの応答量は小さい。即ち、口が開いている場合、領域中央部の縦エッジの応答量＞領域周辺部の縦エッジの応答量となる。一方、口が閉じている場合、領域中央部には歯が見られず唇となるため、領域中央部と領域周辺部の縦エッジの応答量にはほとんど差が見られない。

ステップＳ７において、領域中央部の縦エッジの応答量＞領域周辺部の縦エッジの応答量ではないと判断した場合（ステップＳ７；ＮＯ）、制御部１１は、口が閉じていると判定し（ステップＳ８）、口の開口量を０に決定し（ステップＳ９）、ステップＳ１４に移行する。

一方、ステップＳ５において、口パーツ領域内の領域周辺部と領域中央部の色の差が所定の閾値より大きいと判定した場合（ステップＳ５；ＹＥＳ）、又は、ステップＳ７において、領域中央部の縦エッジの応答量＞領域周辺部の縦エッジの応答量であると判断した場合（ステップＳ７；ＹＥＳ）、制御部１１は、口が開いていると判定する（ステップＳ１０）。そして、制御部１１は、口パーツ領域における唇の内側境界（図８のＬ）を取得して、その内側の領域を口内部として検出する（ステップＳ１１）。

例えば、ステップＳ５の判断において、領域周辺部と領域中央部の色の差が大きいと判断された場合、領域周辺部と領域中央部のカラーマップをプロットしたＨＳＶ色空間を最小二乗法等の公知の分離手法により分離することによりＨＳＶ色空間における領域周辺部と領域中央部の色の境界を取得し、取得した色の境界に基づいて、口パーツ領域における唇の内側境界（図８のＬ）を取得する。また、例えば、ステップＳ５において、領域周辺部と領域中央部の色の差が小さいと判断された場合は、口パーツ領域に横線検出用のソーベルフィルタを用いた横エッジ（横方向に並んでいるエッジ）の検出を行い、得られたエッジ画像のｘ座標ごとに、ｙ方向の応答値プロファイルを作成し、応答値のピークに基づいて、口パーツ領域における唇の内側境界を取得する。

次いで、制御部１１は、検出した口内部の領域の画像情報を修正する（ステップＳ１２）。例えば、撮影画像の口内部領域の画像情報のαチャンネル値（透過率情報）を０に修正して、色が描画されないようにする。或いは、撮影画像の口内部領域の色情報を所定の値、例えば、０や最大値、又は唇の色に近い値に修正することとしてもよい。

そして、制御部１１は、開口量を算出し（ステップＳ１３）、ステップＳ１４に移行する。ステップＳ１３においては、例えば、図９に示すように、口内部領域の縦方向（上下方向）の最も長い距離Ｈを開口量として算出する。

ステップＳ１４において、制御部１１は、口が閉じていると判定された場合は元画像を、口が開いていると判定された場合は口内部が修正された撮影画像を初期画像として、初期画像と開口量とを初期口状態として登録する（ステップＳ１４）。そして、登録された初期画像と登録された開口量とに基づいて、音声データに合わせて口を始めとする各パーツを開閉する顔変形処理を行って動画データを生成し（ステップＳ１５）、動画データ生成処理を終了する。顔変形処理は、公知の画像処理技術を用いて行うことができる。

ここで、一般的には、顔変形処理において口を閉じる場合は初期画像に戻すが、本実施形態では、初期画像の口から更に開口量分だけ閉じる処理を行う。口を開ける場合は、口内部領域に歯や口腔内壁を描画する。この場合、元画像で口が開いていたとしても、初期画像では口内部領域内の歯や口腔内壁の情報は消えているので、歯の中に歯が挿入されたような不自然な動画データが作成されてしまうことを防止することができる。

動画データ生成処理が終了すると、制御部１１は、生成した動画データを通信部１５によりデジタルサイネージ装置２に送信する。

デジタルサイネージ装置２においては、通信部２６により画像処理装置１から動画データを受信すると、制御部２３は、受信した動画データを記憶部２５の動画データ記憶部２５２に記憶させる。そして、動画コンテンツの再生時刻が到来すると、制御部２３は、動画データ記憶部２５２から動画データを読み出し、その画像データをプロジェクタ２４に送信して画像形成部２７に動画コンテンツを表示させる。また、動画データの音声データを音声出力部３３に出力し、音声を出力させる。

以上説明したように、画像処理装置１によれば、制御部１１は、人物の撮影画像から口を認識し、認識した口の領域から口内部を検出し、検出した口内部の画像情報を修正する。
従って、例えば、口を音声に合わせて開閉させる顔変形処理を行った場合に、口元が不自然に描画されることのない画像を提供することが可能となる。

例えば、口内部領域内の各画素の透過率情報を口内部の色が描画されない値に修正することで、口を音声に合わせて開閉させる顔変形処理を行った場合に口元が不自然に描画されることのない画像を提供することが可能となる。或いは、口内部の画像情報に含まれる色情報を０や最大値、唇の色に近い値等の所定の値に修正することで、口を音声に合わせて開閉させる顔変形処理を行った場合に口元が不自然に描画されることのない画像を提供することが可能となる。

また、制御部１１は、人物の撮影画像から認識された口が開いているか否かを判定し、口が開いていると判定された場合に口内部を検出して口内部の修正を行うので、元画像の口が半開きか否かをユーザがチェックすることなく、元画像に一律に処理を行うことができる。

撮影画像において人物の口が開いているか否かは、例えば、撮影画像から認識された口の領域の領域周辺部と領域中央部のカラーマップを生成し、生成した口の領域の領域周辺部と領域中央部のカラーマップに基づいて判定することができる。または、例えば、撮影画像から認識された口の領域から縦エッジの検出を行い、口の領域の領域周辺部と領域中央部の縦エッジ検出結果に基づいて判定することができる。

また、口内部の検出は、撮影画像から認識された口の領域の領域周辺部と領域中央部のカラーマップに基づいて検出することができる。又は、撮影画像から認識された口の領域のエッジ検出結果に基づいて、口内部を検出することができる。

また、制御部１１は、口内部の画像情報が修正された撮影画像に顔変形処理を行い、人物の口を開閉させた動画データを生成することで、歯の中に歯が挿入されたような不自然さのない、自然な口元の動画データを提供することが可能となる。更に、口内部の開口量し、口内部の画像情報が修正された撮影画像に顔変形処理を行い、算出された開口量に基づいて、人物の口を開閉させた動画データを生成することで、口元がより自然な動画データを提供することが可能となる。

なお、上記実施形態における記述内容は、本発明に係る画像処理装置及びデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、口パーツ領域から唇境界を取得し、唇境界の内部を口内部として検出することとしたが、画像処理により上唇と下唇を認識し、認識した上唇と下唇の間を口内部として検出することとしてもよい。

また、上記実施形態においては、口内部の画像情報を修正した画像を動画データ生成のための顔変形処理に用いる初期画像としたが、算出した開口量に基づいて口を閉じる変形を行って、口を閉じた画像を初期画像としてもよい。

また、上記実施形態においては、口パーツ領域のカラーマップに基づいて口が開いているか否かを判断できない場合に口パーツ領域の縦エッジに基づいて口が開いているか否かを判定することとしたが、縦エッジのみに基づいて口が開いているか否かを判定することとしてもよい。

その他、画像処理装置及びデジタルサイネージ装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
人物の画像から口を認識する認識手段と、
前記認識手段により認識された口の領域から口内部を検出する検出手段と、
前記検出手段により検出された口内部の画像情報を修正する修正手段と、
を備える画像処理装置。
＜請求項２＞
前記認識手段により認識された口が開いているか否かを判定する判定手段を備え、
前記検出手段は、前記判定手段により前記口が開いていると判定された場合に口内部を検出する請求項１に記載の画像処理装置。
＜請求項３＞
前記認識手段により認識された口の領域の領域周辺部と領域中央部のカラーマップを生成する生成手段を備え、
前記判定手段は、前記生成手段により生成された前記口の領域の領域周辺部と領域中央部のカラーマップに基づいて、前記認識手段により認識された口が開いているか否かを判定する請求項２に記載の画像処理装置。
＜請求項４＞
前記認識手段により認識された口の領域からエッジの検出を行うエッジ検出手段を備え、
前記判定手段は、前記エッジ検出手段による前記口の領域の領域周辺部と領域中央部のエッジ検出結果に基づいて、前記認識手段により認識された口が開いているか否かを判定する請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記判定手段は、前記エッジ検出手段による前記口の領域の領域周辺部と領域中央部の縦エッジの検出結果に基づいて、前記認識手段により認識された口が開いているか否かを判定する請求項４に記載の画像処理装置。
＜請求項６＞
前記検出手段は、前記生成手段により生成されたカラーマップに基づいて、前記口内部を検出する請求項３に記載の画像処理装置。
＜請求項７＞
前記検出手段は、前記エッジ検出手段による前記口の領域のエッジ検出結果に基づいて、前記口内部を検出する請求項４又は５に記載の画像処理装置。
＜請求項８＞
前記画像情報は、透過率情報を含み、
前記修正手段は、前記口内部の画像情報に含まれる透過率情報を前記口内部の色が描画されない値に修正する請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記画像情報は、色情報を含み、
前記修正手段は、前記口内部の画像情報に含まれる色情報を所定の値に修正する請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項１０＞
前記修正手段により前記口内部の画像情報が修正された画像に顔変形処理を行い、前記人物の口を開閉させた動画データを生成する動画データ生成手段を備える請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記検出手段により検出された前記口内部の領域に基づいて、開口量を算出する算出手段を備え、
前記動画データ生成手段は、前記修正手段により前記口内部の画像情報が修正された画像に顔変形処理を行い、前記算出手段により算出された開口量に基づいて、前記人物の口を開閉させた動画データを生成する請求項１０に記載の画像処理装置。
＜請求項１２＞
人物の画像から口を認識する認識工程と、
前記認識工程において認識された口の領域から口内部を検出する検出工程と、
前記検出工程により検出された口内部の画像情報を修正する修正工程と、
を含む画像処理方法。
＜請求項１３＞
コンピュータを、
人物の画像から口を認識する認識手段、
前記認識手段により認識された口の領域から口内部を検出する検出手段、
前記検出手段により検出された口内部の画像情報を修正する修正手段、
として機能させるためのプログラム。

１００ 画像出力システム
１ 画像処理装置
１１ 制御部
１２ 記憶部
１２１ プログラム記憶部
１３ 操作部
１４ 表示部
１５ 通信部
２ デジタルサイネージ装置
２１ 投影部
２２ スクリーン部
２３ 制御部
２４ プロジェクタ
２５ 記憶部
２５１ プログラム記憶部
２５２ 動画データ記憶部
２６ 通信部
２７ 画像形成部
２８ 台座
２９ 透光板
３２ 操作部
３３ 音声出力部

Claims (13)

1. 人物の画像から口を認識する認識手段と、
   前記認識手段により認識された口の領域から口内部を検出する検出手段と、
   前記検出手段により検出された口内部の画像情報を修正する修正手段と、
   を備える画像処理装置。
2. 前記認識手段により認識された口が開いているか否かを判定する判定手段を備え、
   前記検出手段は、前記判定手段により前記口が開いていると判定された場合に口内部を検出する請求項１に記載の画像処理装置。
3. 前記認識手段により認識された口の領域の領域周辺部と領域中央部のカラーマップを生成する生成手段を備え、
   前記判定手段は、前記生成手段により生成された前記口の領域の領域周辺部と領域中央部のカラーマップに基づいて、前記認識手段により認識された口が開いているか否かを判定する請求項２に記載の画像処理装置。
4. 前記認識手段により認識された口の領域からエッジの検出を行うエッジ検出手段を備え、
   前記判定手段は、前記エッジ検出手段による前記口の領域の領域周辺部と領域中央部のエッジ検出結果に基づいて、前記認識手段により認識された口が開いているか否かを判定する請求項２又は３に記載の画像処理装置。
5. 前記判定手段は、前記エッジ検出手段による前記口の領域の領域周辺部と領域中央部の縦エッジの検出結果に基づいて、前記認識手段により認識された口が開いているか否かを判定する請求項４に記載の画像処理装置。
6. 前記検出手段は、前記生成手段により生成されたカラーマップに基づいて、前記口内部を検出する請求項３に記載の画像処理装置。
7. 前記検出手段は、前記エッジ検出手段による前記口の領域のエッジ検出結果に基づいて、前記口内部を検出する請求項４又は５に記載の画像処理装置。
8. 前記画像情報は、透過率情報を含み、
   前記修正手段は、前記口内部の画像情報に含まれる透過率情報を前記口内部の色が描画されない値に修正する請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記画像情報は、色情報を含み、
   前記修正手段は、前記口内部の画像情報に含まれる色情報を所定の値に修正する請求項１〜７の何れか一項に記載の画像処理装置。
10. 前記修正手段により前記口内部の画像情報が修正された画像に顔変形処理を行い、前記人物の口を開閉させた動画データを生成する動画データ生成手段を備える請求項１〜９の何れか一項に記載の画像処理装置。
11. 前記検出手段により検出された前記口内部の領域に基づいて、開口量を算出する算出手段を備え、
    前記動画データ生成手段は、前記修正手段により前記口内部の画像情報が修正された画像に顔変形処理を行い、前記算出手段により算出された開口量に基づいて、前記人物の口を開閉させた動画データを生成する請求項１０に記載の画像処理装置。
12. 人物の画像から口を認識する認識工程と、
    前記認識工程において認識された口の領域から口内部を検出する検出工程と、
    前記検出工程により検出された口内部の画像情報を修正する修正工程と、
    を含む画像処理方法。
13. コンピュータを、
    人物の画像から口を認識する認識手段、
    前記認識手段により認識された口の領域から口内部を検出する検出手段、
    前記検出手段により検出された口内部の画像情報を修正する修正手段、
    として機能させるためのプログラム。

Images