JP2018106412A - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】画像変換処理が施された箇所の見落としを抑制することができる画像処理装置を提供する。【解決手段】画像処理装置１００は、処理画像３００において、対応する元画像の分割領域と所定の閾値以上の差分がある差分大分割領域３０１，３０２を抽出し、処理画像３００において差分大分割領域３０１，３０２を強調表示する。【選択図】図３

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関する。

画像に対して加工や補正等の画像変換処理を施す画像処理装置が知られている。画像処理装置は画像変換処理を施した画像（以下、「処理画像」）を表示部に表示する。また、画像処理装置は画像変換処理の元となる画像（以下、「元画像」）及び処理画像を比較可能に表示する（例えば、特許文献１参照）。これにより、ユーザは元画像及び処理画像を見比べて適切な画像変換処理が施されたか否かを確認することができる。

特開２０１２−１６５４６２号公報

しかしながら、上述した特許文献１の技術では、画像変換処理によって変換された全ての箇所をユーザが目視で特定する必要があり、ユーザが変換された一部の箇所を見落としてしまう場合がある。例えば、人物を含む元画像に対し、赤目補正等の部分補正を行う画像変換処理を施した場合、ユーザは処理画像において画像変換処理の対象である人物の目の部分を重点的に確認し、画像変換処理の対象でない人物の目以外の部分を簡易的に確認してしまうことがある。そのため、ユーザは、画像変換処理によって本来画像変換処理の対象でないはずの人物の目以外の部分において意図しない変換が行われていることを見逃してしまうという問題が生じる。

本発明の目的は、画像変換処理が施された箇所の見落としを抑制することができる画像処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、取得した第１の画像に画像変換処理を施して第２の画像を生成する画像変換処理手段と、前記第１の画像を構成する各部分領域の色情報及び前記第２の画像を構成する各部分領域の色情報を比較し、前記第２の画像において、対応する前記第１の画像の部分領域の色情報との差分が予め設定された閾値以上である部分領域を抽出する抽出手段と、前記第２の画像を表示する表示手段とを備え、前記表示手段は、前記第２の画像において前記抽出された部分領域を強調表示することを特徴とする。

本発明によれば、画像変換処理が施された箇所の見落としを抑制することができる。

本発明の実施の形態に係る画像処理装置の構成を概略的に示すブロック図である。 図１の画像処理装置によって実行される強調表示処理の手順を示すフローチャートである。 図１の表示部に処理後分割画像が表示される場合の一例を示す図である。 図１の画像処理装置によって実行される変換処理の手順を示すフローチャートである。

以下、本発明の実施の形態を図面を参照しながら詳述する。

図１は、本発明の実施の形態に係る画像処理装置１００の構成を概略的に示すブロック図である。

図１において、画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ＶＲＡＭ１０５、表示部１０６、ＢＭＵ（ビットムーブユニット）１０７、キーボード１０８、及びタッチパネル１０９を備える。また、画像処理装置１００はメモリカード１１０及びネットワークＩ／Ｆ１１１を備える。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ＶＲＡＭ１０５、ＢＭＵ１０７、キーボード１０８、タッチパネル１０９、メモリカード１１０、及びネットワークＩ／Ｆ１１１はシステムバス１１２を介して互いに接続されている。

画像処理装置１００はカメラ等の撮像装置、ＰＣ（Personal Computer）、及びスマートフォである。画像処理装置１００は、元画像に対して画像変換処理を施して処理画像を生成し、該処理画像を表示部１０６に表示する。画像変換処理は、例えば、赤目補正、美肌補正、小顔補正、及び画像圧縮といった元画像に対して補正や加工を施す処理である。ＣＰＵ１０１はＲＯＭ１０２、ＨＤＤ１０４、及びメモリカード１１０に格納されたプログラムを実行して各制御を行う。例えば、ＣＰＵ１０１は、キーボード１０８の操作による画像変換処理の実行指示を受け付けると、ＲＯＭ１０２、ＨＤＤ１０４、及びメモリカード１１０に格納されたプログラムを実行して元画像に対し画像変換処理を行って処理画像を生成する。該処理画像はＶＲＡＭ１０５に転送される。ＲＯＭ１０２はＣＰＵ１０１によって実行されるプログラムや各データを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の作業領域、エラー処理時のデータの退避領域、及び制御プログラムのロード領域等として用いられる。ＨＤＤ１０４はプログラム及び画像等のデータを格納する。ＶＲＡＭ１０５には表示部１０６に表示するための画像が描画され、該画像が所定の規定に従って表示部１０６に転送される。表示部１０６はＶＲＡＭ１０５から転送された画像を表示する。ＢＭＵ１０７はＶＲＡＭ１０５やＲＡＭ１０３等のメモリにおけるデータ転送の制御を行う。キーボード１０８は複数の操作キーを備えるハードウェアキーボードであり、ユーザによる各処理の実行指示、例えば、画像変換処理の実行指示を受け付ける。なお、本実施の形態では、キーボード１０８は、文字等を入力するための複数の操作ボタンを備えるソフトウェアキーボードであっても良い。タッチパネル１０９は表示部１０６に表示されたアイコンや各メニュー等に対するユーザのスワイプ、ピンチ、及びドラッグ等のジェスチャ操作を受け付ける。メモリカード１１０は記憶デバイスであり、ＣＰＵ１０１によって実行されるプログラムや各データを格納する。ネットワークＩ／Ｆ１１１は図示しないネットワークを介して外部装置とデータ通信を行う。

図２は、図１の画像処理装置１００によって実行される強調表示処理の手順を示すフローチャートである。

図２の処理は、図１のＣＰＵ１０１がＲＯＭ１０２、ＨＤＤ１０４、及びメモリカード１１０に格納されたプログラムを実行することによって行われ、一例として、ＨＤＤ１０４に格納された画像に対する画像変換処理の実行が指示された場合を前提とする。

図２において、まず、ＣＰＵ１０１はキーボード１０８やタッチパネル１０９の操作による画像変換処理の実行指示を受け付け（ステップＳ２０１）、該実行指示に基づいて画像変換処理を実行する（ステップＳ２０２）。ＣＰＵ１０１は、ＨＤＤ１０４から実行指示に対応する元画像を取得し、取得した元画像に画像変換処理を施して処理画像を生成する。次いで、ＣＰＵ１０１は元画像及び処理画像の各々を所定の大きさの分割領域（部分領域）に分割する（ステップＳ２０３）。次いで、ＣＰＵ１０１は元画像及び処理画像において、各分割領域に含まれる色の分布や平均値等に基づいて各分割領域の代表色の色情報（色成分や輝度成分）を抽出する（ステップＳ２０４）。次いで、ＣＰＵ１０１は、処理画像の各分割領域の代表色と、対応する元画像の各分割領域の代表色とを比較し、各分割領域における明るさやＲＧＢで示される色成分の具体値の差分を測定する。ＣＰＵ１０１は、測定した差分が予め設定された所定の閾値より大きい分割領域（以下、「差分大分割領域」という。）を抽出する（ステップＳ２０５）。その後、ＣＰＵ１０１は差分大分割領域に対応する元画像の部分画像（以下、「元部分画像」という。）及び処理画像の部分画像（以下、「処理部分画像」という。）をＲＡＭ１０３に格納する。次いで、ＣＰＵ１０１は処理画像３００を表示部１０６に表示し（ステップＳ２０６）、処理画像３００において、差分大分割領域を強調表示する（ステップＳ２０７）。ステップＳ２０７では、ユーザが認識し易いように、図３（ａ）の差分大分割領域３０１，３０２のように、枠等で囲んで表示する。その後、ＣＰＵ１０１は本処理を終了する。

上述した図２の処理によれば、処理画像３００において、対応する元画像の分割領域と所定の閾値以上の差分がある差分大分割領域３０１，３０２を抽出し、処理画像３００において差分大分割領域３０１，３０２が強調表示される。これにより、ユーザに対し、処理画像３００において、画像変換処理が施されるべき箇所であるか否かに関わらず、元画像との差分が比較的大きい箇所の注意喚起を行うことができ、もって、画像変換処理が施された箇所の見落としを抑制することができる。

以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、測定された差分の大きさに応じて枠の色や太さを変えて表示しても良く、隣接する差分大分割領域同士が同じ色や太さの枠になる場合、該差分大分割領域同士を１つの差分大分割領域として結合して表示しても良い。

また、上述した本実施の形態では、差分大分割領域の強調表示として、例えば、処理画像３００において、差分大分割領域を該差分大分割領域以外（部分領域以外）の他の領域と異なる色又は異なる明るさで表示しても良い。

さらに、上述した本実施の形態では、差分大分割領域３０１，３０２において、図３（ｂ）に示すように、時間の経過に応じて元部分画像及び処理部分画像を切り替え表示しても良い。これにより、処理画像３００において元画像との差分が比較的大きい箇所をユーザに確実に通知することができる。

上述した本実施の形態では、差分大分割領域の元部分画像及び処理部分画像を比較するための比較用画像を処理画像３００に重畳して表示しても良い。これにより、差分大分割領域３０１における処理画像３００及び元画像の差分をユーザが容易に確認することができる。

上述した本実施の形態では、ステップＳ２０５において、複数の差分大分割領域が抽出された場合、所定の間隔で各差分大分割領域の比較用画像を切り替え表示しても良い。これにより、キーボード１０８等を操作することなく、差分大分割領域３０１，３０２における処理画像３００及び元画像の差分をユーザが容易に把握することができる。

また、上述した本実施の形態では、測定された差分の大きい差分大分割領域の比較用画像を優先して表示しても良い。例えば、差分大分割領域３０１，３０２のうち、測定された差分の大きい差分大分割領域３０１の図３（ｃ）の比較用画像３０３を優先して表示しても良い。ここで、差分大分割領域３０１，３０２のうち、測定された差分の大きい差分大分割領域３０１は、ユーザの実行指示に対応する箇所、つまり、画像変換処理が施されるべき所望の個所である可能性が極めて高い。このような所望の個所は、画像変換処理の仕様の妥当性を確認させるといった観点から、ユーザに早期に確認させることが好ましい。これに対応して、本実施の形態では、差分大分割領域３０１，３０２のうち、測定された差分の大きい差分大分割領域３０１の比較用画像３０３が優先して表示される。これにより、ユーザに画像変換処理の仕様の妥当性を早期に確認させることができる。

さらに、上述した本実施の形態では、比較用画像３０３は差分大分割領域３０１の元部分画像を拡大した拡大元部分画像３０４（拡大画像）及び差分大分割領域３０１の処理部分画像を拡大した拡大処理部分画像３０５を並べた画像であっても良い。これにより、差分大分割領域３０１における処理画像３００及び元画像の差分をユーザが容易に確認することができる。

上述した本実施の形態では、差分大分割領域３０１，３０２をユーザが選択可能に表示しても良く、差分大分割領域３０１，３０２のいずれかがユーザに選択された際に図３（ｄ）の選択メニュー３０６を表示部１０６に表示しても良い。選択メニュー３０６は、選択された差分大分割領域の画像変換処理を取り消すか否かを選択させ、「いいえ」ボタン３０７及び「はい」３０８を備える。「いいえ」ボタン３０７は選択された差分大分割領域において画像変換処理が施された状態の維持を指示する設定ボタンである。「はい」ボタン３０８は選択された差分大分割領域における画像変換処理を取り消す旨を指示する設定ボタンである。「はい」ボタン３０８が選択されると、ＣＰＵ１０１は後述する図４の変換処理を実行して選択された差分大分割領域を元部分画像に変換する。

図４は、図１の画像処理装置１００によって実行される変換処理の手順を示すフローチャートである。

図４の処理は、図１のＣＰＵ１０１がＲＯＭ１０２、ＨＤＤ１０４、及びメモリカード１１０に格納されたプログラムを実行することによって行われる。図４の処理は、一例として、表示部１０６において、処理画像３００における差分大分割領域３０１が選択された状態で「はい」ボタン３０８が選択された場合を前提とする。

図４において、まず、ＣＰＵ１０１は画像変換処理の取り消し指示を受け付け（ステップＳ４０１）、処理画像３００における処理取り消し対象領域を特定する（ステップＳ４０２）。ステップＳ４０２では、ＣＰＵ１０１は、例えば、「はい」ボタン３０８の選択時に選択されていた差分大分割領域３０１を処理取り消し対象領域と特定する。なお、本実施の形態では、選択された差分大分割領域３０１に他の差分大分割領域が隣接する場合、差分大分割領域３０１及び他の差分大分割領域を結合して１つの処理取り消し対象領域と特定しても良い。また、ステップＳ２０２で行われた画像変換処理が赤目画像等の部分補正を行う画像変換処理である場合、処理画像に含まれる人物の目に対応する全ての領域を処理取り消し対象領域と特定しても良い。

次いで、ＣＰＵ１０１は特定した処理取り消し対象領域に対応する元部分画像を取得し（ステップＳ４０３）、該処理取り消し対象領域を変換する（ステップＳ４０４）。具体的に、ＣＰＵ１０１は処理取り消し対象領域にステップＳ４０３で取得した元部分画像を描画する。これにより、処理画像３００において、差分大分割領域３０１のみが、画像変換処理が施される前の状態に戻る。その後、ＣＰＵ１０１は本処理を終了する。

上述した図４の処理では、選択された差分大分割領域３０１において、当該差分大分割領域３０１に対応する元部分画像が描画される。これにより、意図しない画像変換処理が施された箇所を容易に画像変換処理が行われる前の状態に戻すことができる。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０１ ＣＰＵ
３００ 処理画像
３０１，３０２ 差分大分割領域
３０３ 比較用画像
３０４ 拡大元部分画像
３０５ 拡大処理部分画像

Claims (11)

1. 取得した第１の画像に画像変換処理を施して第２の画像を生成する画像変換処理手段と、
   前記第１の画像を構成する各部分領域の色情報及び前記第２の画像を構成する各部分領域の色情報を比較し、前記第２の画像において、対応する前記第１の画像の部分領域の色情報との差分が予め設定された閾値以上である部分領域を抽出する抽出手段と、
   前記第２の画像を表示する表示手段とを備え、
   前記表示手段は、前記第２の画像において前記抽出された部分領域を強調表示することを特徴とする画像処理装置。
2. 前記表示手段は、前記抽出された部分領域に対応する前記第１の画像の部分画像及び前記抽出された部分領域に対応する前記第２の画像の部分画像を並べた比較用画像を表示することを特徴とする請求項１記載の画像処理装置。
3. 前記比較用画像は、前記抽出された部分領域に対応する前記第１の画像の部分画像の拡大画像及び前記抽出された部分領域に対応する前記第２の画像の部分画像の拡大画像を含むことを特徴とする請求項２記載の画像処理装置。
4. 前記抽出手段によって一の前記部分領域及び他の前記部分領域が抽出され、
   前記表示手段は、一の前記部分領域の比較用画像及び他の前記部分領域の比較用画像を所定の間隔で切り替え表示することを特徴とする請求項２又は３記載の画像処理装置。
5. 一の前記部分領域及び他の前記部分領域のうち、前記差分がより大きい前記部分領域の比較用画像の表示を優先することを特徴とする請求項４記載の画像処理装置。
6. 前記表示手段は、前記抽出された部分領域において、前記抽出された部分領域に対応する前記第１の画像の部分画像及び前記抽出された部分領域に対応する前記第２の画像の部分画像を所定の間隔で切り替え表示することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記抽出された部分領域において、前記抽出された部分領域に対応する前記第１の画像の部分画像に変換する変換手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示手段は、前記第２の画像において前記抽出された部分領域が枠で囲まれた状態で表示することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記表示手段は、前記第２の画像において前記抽出された部分領域を当該抽出された部分領域以外の他の領域と異なる色又は異なる明るさで表示することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 画像処理装置の制御方法であって、
    取得した第１の画像に画像変換処理を施して第２の画像を生成する画像変換処理ステップと、
    前記第１の画像を構成する各部分領域の色情報及び前記第２の画像を構成する各部分領域の色情報を比較し、前記第２の画像において、対応する前記第１の画像の部分領域の色情報との差分が予め設定された閾値以上である部分領域を抽出する抽出ステップと、
    前記第２の画像を表示する表示ステップとを有し、
    前記表示ステップは、前記第２の画像において前記抽出された部分領域を強調表示することを特徴とする画像処理装置の制御方法。
11. 画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
    前記画像処理装置の制御方法は、
    取得した第１の画像に画像変換処理を施して第２の画像を生成する画像変換処理ステップと、
    前記第１の画像を構成する各部分領域の色情報及び前記第２の画像を構成する各部分領域の色情報を比較し、前記第２の画像において、対応する前記第１の画像の部分領域の色情報との差分が予め設定された閾値以上である部分領域を抽出する抽出ステップと、
    前記第２の画像を表示する表示ステップとを有し、
    前記表示ステップは、前記第２の画像において前記抽出された部分領域を強調表示することを特徴とするプログラム。

Images