JP2006332767A - カメラ付き携帯端末、及び、それを用いた画像加工方法 - Google Patents

Abstract

【課題】 撮像した画像にフレーム等を描画する機能を備えたカメラ付き携帯端末において、カメラ付き携帯端末を光軸周りに回転させた状態で撮影しても、被写体像にフレームが付加された画像は、見栄えの良い画像になるようにする。
【解決手段】 カメラ付き携帯端末は、被写体を撮像して画像を生成する撮像手段と、前記画像を加工する画像加工手段と、前記画像加工手段によって加工された画像を表示する表示手段と、重力の方向を検出する重力センサと、を有し、前記画像加工手段は、前記重力センサによって検出された重力の方向に基づいて、画像加工方法を変化させる。
【選択図】図１３

Description

本発明は、撮像した画像にフレーム等を描画する機能を備えたカメラ付き携帯端末に関する。

撮像した画像にフレーム等を描画する機能を備えたカメラ付き携帯端末が知られている。ユーザが、人物を撮像し、所望のフレームを選択すると、表示部には、人物像にフレームが付加された画像が表示される。ユーザは、表示されたフレーム付画像を確認し、保存操作を行うことにより、フレーム付画像が生成される。

特開２００４−１２８６８３号公報

ユーザがカメラ付き携帯端末を光軸周りに回転させた状態で撮影すると、画像内の被写体は、カメラ付き携帯端末の回転方向とは逆方向に回転して写る。画像に描画するフレームは、回転しないから、人物像にフレームが付加された画像は、ユーザが意図しない見栄えの悪い画像になることがある。

本発明の目的は、撮像した画像にフレーム等を描画する機能を備えたカメラ付き携帯端末において、カメラ付き携帯端末を光軸周りに回転させた状態で撮影しても、被写体像にフレーム等が付加された画像は、見栄えの良い画像になるようにすることにある。

本発明によると、カメラ付き携帯端末は、被写体を撮像して画像を生成する撮像手段と、前記画像を加工する画像加工手段と、前記画像加工手段によって加工された画像を表示する表示手段と、重力の方向を検出する重力センサと、を有し、前記画像加工手段は、前記重力センサによって検出された重力の方向に基づいて、画像加工方法を変化させる。

前記画像加工手段による画像加工方法は、前記画像に対して、フレーム画像を描画する方法である。

前記画像加工手段による画像加工方法は、前記画像に対して、座標によって構成される曲線、及び塗りつぶす領域や色を定めた描画情報に従って描画する方法である。

本発明によると、撮像した画像にフレーム等を描画する機能を備えたカメラ付き携帯端末において、カメラ付き携帯端末を光軸周りに回転させた状態で撮影しても、被写体像にフレーム等が付加された画像は、見栄えの良い画像になる。

図１及び図２は、本発明によるカメラ付き携帯端末１の外観を示す。本発明のカメラ付き携帯端末１は、表示部１２と入力部１５を有し、両者は、互いに折り畳むことができる折り畳み型である。図１は、表示部１２と入力部１５を互いに広げたとき、本発明によるカメラ付き携帯端末１を、表示部１２及び入力部１５側から見た図である。図２は、表示部１２と入力部１５を互いに広げたとき、本発明によるカメラ付き携帯端末１を、表示部１２及び入力部１５と反対側から見た図である。入力部１５の裏には、カメラ等の撮像部１１が設けられている。

図３は、本発明によるカメラ付き携帯端末１の内部構成を示した図である。カメラ付き携帯端末１は、被写体を撮像しその画像データを生成する撮像部１１と、画像データや情報等を表示する表示部１２と、重力の方向を検出する重力センサ部１３と、画像データの加工を行う画像加工部１４と、ユーザからの指令等を入力する入力部１５と、各構成要素を集中的に制御し監視するＣＰＵ（中央演算装置）１６と、画像データやファイル等を格納する記憶装置１７と、実行中のプログラムやデータ等を保存するＲＡＭ（ランダムアクセスメモリ）１８とを有する。

撮像部１１は、レンズ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）又はＣＭＯＳセンサ等を有し、被写体の画像データを生成する。撮像部１１からの画像データは、記憶装置１７又はＲＡＭ１８に取り込まれる。

重力センサ部１３は、カメラ付き携帯端末１に作用する重力の方向を検出する、即ち、カメラ付き携帯端末１の姿勢を検出する。本実施例では、撮像部１１の光軸に垂直な面又はほぼ垂直な面上にて、重力の方向を検出する。従って、図１にて、カメラ付き携帯端末１の、撮像部１１の光軸周りの回転角を検出する。

図４は、撮像部１１の被写体２が人物である例を示す。被写体としては他にペットや風景等も可能である。

図５は、カメラ付き携帯端末１のカメラ機能の内部状態の遷移を示した図である。ユーザが入力部１５を介してカメラ起動の操作を行うと、カメラ付き携帯端末１は、スタンバイ状態Ｓ５０からプレビュー状態Ｓ５１に遷移する。プレビュー状態Ｓ５１では、撮像部１１によって取り込んだ画像データを順次、表示部１２へ送る。表示部１２の画面には、画像データが表示される。ユーザは、表示部１２を見て、被写体２の像の大きさや位置を確認することができる。

プレビュー状態Ｓ５１のとき、ユーザが入力部１５を介して画像加工の操作を行うと、カメラ付き携帯端末１は、加工モード状態Ｓ５２に遷移する。加工モード状態Ｓ５２における動作は、図６を参照して説明する。プレビュー状態Ｓ５１のとき、又は、加工モード状態Ｓ５２のとき、ユーザが入力部１５を介して撮影の操作を行うと、カメラ付き携帯端末１は、撮影モード状態Ｓ５３に遷移する。

ユーザが入力部１５を介して終了の操作を行うと、カメラ付き携帯端末１は、スタンバイ状態Ｓ５０に遷移する。

図６は加工モード状態Ｓ５２における画像データの流れを示す。撮像部１１で取り込まれた画像データは、画像加工部１４へ送られる。画像加工部１４は、記憶装置１７又はＲＡＭ１８に保存されているフレーム用画像データ又は描画情報データを読み出し、それを画像データに対して順次、描画する。フレーム用画像データは、画像データにフレームを付加するデータである。描画情報データは、ベジェ曲線を定める座標や、曲線よって囲まれた領域を塗りつぶす色等のデータである。

画像加工部１４によって生成された画像データは順次、表示部１２へ送られる。表示部１２は、送られた画像データを画面に表示する。従って、加工モード状態Ｓ５２では、ユーザは、シャッター後、又は動画像の記録開始後に、加工され保存される画像がどのような結果になるのかを、事前に確認することができる。

図７は画像加工の例である。図７Ａは、カメラ付き携帯端末１が、図１に示すように、表示部１２が上側、入力部１５が下側に配置された縦に正立した状態にて、被写体２を撮像して取り込んだ画像データであり、図７Ｂは、このように、カメラ付き携帯端末１が縦に正立した状態にて撮像した画像データを描画するためのフレーム用画像データの例である。図７Ａの画像データに図７Ｂの画像データを描画することにより、図７Ｃのようなフレーム付画像データが作られる。図７Ｂのフレーム枠の内側は元の画像データを残す透過データとなっている。

ここで、ユーザは、カメラ付き携帯端末１を撮像部１１の光軸周りに９０度左回転させて撮像したとする。撮像部１１で取り込まれた画像データは、図８Ａに示すように、カメラ付き携帯端末１の回転方向とは逆である９０度右回転した像となる。図８Ｂに示すように、フレーム用画像データがカメラ付き携帯端末１の回転によらず固定されている場合、画像加工部１４によって生成された画像データは、図８Ｃに示すように、ユーザが意図しない見栄えの悪い画像になる。

本発明によると、カメラ付き携帯端末１が回転すると、フレーム用画像データは、カメラ付き携帯端末１の回転に従って回転し、整形されるから、図１３Ｃに示すように、画像加工部１４によって生成された画像データは見栄えの良い画像になる。

図９を参照して本発明によるカメラ付き携帯端末１の内部処理、特に、加工モード状態Ｓ５２における処理を説明する。ステップＳ９１にて、画像加工部１４は、重力センサ部１３から重力方向を入力する。

図１のカメラ付き携帯端末１において、重力方向が下向きのとき、カメラ付き携帯端末１の姿勢は、図１に示すように、表示部１２が上側、入力部１５が下側に配置された縦に正立した状態にあると判定される。この場合、ステップＳ９２に進み、画像加工部１４は、記憶装置１７又はＲＡＭ１８に保存されているフレーム用画像データをそのまま使う。即ち、フレーム用画像を回転させないでそのまま使用する。

重力方向が左向きのとき、カメラ付き携帯端末１の姿勢は、表示部１２が左側、入力部１５が右側に配置された横に倒した状態にあると判定される。この場合、ステップＳ９３に進み、画像加工部１４は、記憶装置１７又はＲＡＭ１８に保存されているフレーム用画像データを右に９０度回転してから使う。

重力方向が上向きのとき、カメラ付き携帯端末１の姿勢は、図１に示す状態とは反対に、表示部１２が下側、入力部１５が上側に配置された縦に倒立した状態にあると判定される。この場合、ステップＳ９４に進み、画像加工部１４は、記憶装置１７又はＲＡＭ１８に保存されているフレーム用画像データを１８０度回転してから使う。

重力方向が右向きのとき、カメラ付き携帯端末１の姿勢は、表示部１２が右側、入力部１５が左側に配置された横に倒した状態にあると判定される。この場合、ステップＳ９５に進み、画像加工部１４は、記憶装置１７又はＲＡＭ１８に保存されているフレーム用画像データを右に２７０度、又は左に９０度回転してから使う。ここでは、フレーム用画像データを例に説明したが、別の画像加工方法である描画情報データを使ったときについても、重力方向に応じて、描画情報データを回転して、又はそのまま使う。例えば、ベジェ曲線を構成する座標情報を回転してから描画を行う。なお、ここで述べた各処理はＣＰＵ１６の制御、監視下で行われるものとする。

図９のステップＳ９２〜Ｓ９５で使用したフレーム用画像データ又は描画情報データは、図７Ｂに示すように、カメラ付き携帯端末１が縦に正立した状態にて撮像した画像データを描画するためのフレーム用画像データ又は描画情報データである。使用したフレーム用画像データ又は描画情報データが、カメラ付き携帯端末１が他の状態にて撮像した画像データを描画するためのフレーム用画像データ又は描画情報データである場合には、図９のステップＳ９２〜Ｓ９５のフレーム用画像データ又は描画情報データに対する回転方法はそれぞれ変わってくるのは容易に想像できる。

図９のステップＳ９４では、カメラ付き携帯端末１は、図１に示す状態とは反対に、縦に倒立した状態にあると判定され、フレーム用画像データ、又は描画情報データを１８０度回転させているが、カメラ付き携帯端末を倒立した状態で使用することまれであるため、ステップＳ９４を省いても良い。

なお、画像データの縦と横のアスペクト比が１対１でないときには、フレーム用画像データを回転すると、フレーム用画像データは撮影された画像データからはみ出した画像データになる。こういった場合は回転だけでなく縦、又は横方向にフレーム用画像データ、又は描画情報データを伸縮する処理を行う。

本例では、重力センサ部１３は重力の方向が上下方向か又は左右方向かの４つの方向を検出するが、４つの方向の重力のうち絶対値が最大となる重力の方向を、カメラ付き携帯端末１に作用する重力の方向として採用する。

また、重力センサ部１３によって検出されたカメラ付き携帯端末１が受けた重力の方向が頻繁に変化する場合には、所定の期間毎に重力の方向の平均値を求め、次の期間には前回の期間に求めた平均値を採用してもよい。更に、重力の方向の変化量が所定の値より小さい場合には、重力の方向の変化はゼロであると見なしてもよい。それによって、重力の方向の検出値が安定化する。

さらに、重力方向の判定には重力値の上下関係だけでなく、図１０のように各方向の重力値から三角関数計算により、重力を受けている方向を求め、角度を表す値を用いて判定を行っても良い。例えば、重力を受けている方向に対する角度の差が一番小さい方向、図１０で言えば重力方向との角度の差が一番小さい左方向を重力方向として判定する。

なお、角度を表す値を用いた場合も同様に、角度を表す値の平均値を使ったり、判定の切り替わりに幅をもたせたりすることができる。例えば、重力方向との角度差が４０度（４５度−５度）より小さくならないと重力方向の判定を切り替えない等である。

図１１を参照してカメラ付き携帯端末１の他の実施例を説明する。図１１Ａは、撮像部１１によって取り込まれた画像データであり、重力センサ部１３、又は画像加工部１４によって、矢印にて示す左向きが重力方向であると判定された場合を示す。図１１Ｂ及び図１１Ｃは、フレーム用画像データ、又は描画情報データである。本例では、フレーム用画像データ、又は描画情報データ自身が矢印にて示す重力方向を定めた下方向の向き情報をもっている。

本例では、画像データの重力方向と、フレーム用画像データ、又は描画情報データ自身が有する重力方向が一致していない場合、画像加工部１４は、両者が一致するように、フレーム用画像データ、又は描画情報データを９０度回転、必要ならば縦、又は横方向に伸縮を行う。例えば、図１１Ａの画像データの重力方向と図１１Ｂのフレーム用画像データの重力方向は一致しない。従って、図１１Ｂのフレーム用画像データを、重力方向が一致するように、図１１Ｃのような画像データに変形する。

ここでは、画像データの重力方向と、フレーム用画像データ、又は描画情報データ自身が有する重力方向を比較した。しかしながら、比較するのは重力方向だけでなく、重力方向と反対方向、及び重力方向と垂直左右２方向のうち、どれを選択してもよい。

今まで述べた実施の例では、画像加工部１４がフレーム用画像データ、又は描画情報データを回転、伸縮等の変形を行ったが、既に回転、伸縮等の変形を行ったフレーム用画像データ、又は描画情報データを記憶装置１７、又はＲＡＭ１８に保存しておき、画像加工部１４は、必要な場合に、これらの変形済のフレーム用画像データ、又は描画情報データを読み出して使用してもよい。

また、初期のデータを回転や伸縮したフレーム用画像データ、又は描画情報データだけでなく、画像のアスペクト比等に応じて最適化した、フレームの描画内容や描画する曲線等を変えたフレーム用画像データ、又は描画情報データを使用することもできる。

例えば、フレーム用画像データの伸縮処理を行うと描画内容が片方向につぶれてしまうのを回避するため、予め描画内容が片方向につぶれないフレーム用画像データを用意しておく等である。

図１２Ａは重力方向が下方向と判定され画像データ用のフレーム用画像データで、図１２Ｂは重力方向が左方向と判定された画像データ用のフレーム用画像データである。図１２Ｂのフレーム用画像データは図１２Ａのフレーム用画像データを単純に回転、伸縮して作ったものではなく、画像データのアスペクト比に応じて描画内容の調整を行っている。

フレーム用画像データ、又は描画情報データを記憶装置１７、又はＲＡＭ１８から読み出して使用した場合においても、フレーム用画像データ、又は描画情報データ自身が重力方向を定めた向き情報を併せもつことができる。

以上、本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて様々な変更が可能であることは当業者に理解されよう。

本発明の実施の形態に係るカメラ付き携帯端末を表示部が設けられた側から見た図である。 本発明の実施の形態に係るカメラ付き携帯端末をカメラが設けられた側から見た図である。 本発明の実施の形態に係るカメラ付き携帯端末の内部構成を示した図である。 本発明の実施の形態に係るカメラ付き携帯端末によって撮像される被写体を示した図である。 本発明の実施の形態に係るカメラ付き携帯端末のカメラ機能の状態遷移を示した図である。 本発明の実施の形態に係るカメラ付き携帯端末について取り込まれる画像データの流れを示した図である。 本発明の実施の形態に係るカメラ付き携帯端末の画像加工の例を示した図である。 従来のカメラ付き携帯端末の画像加工の例を示した図である。 本発明の実施の形態に係るカメラ付き携帯端末の画像加工の加工方法を示したフローチャートである。 本発明の実施の形態に係るカメラ付き携帯端末の重力センサ部によって検出された重力方向を示した図である。 本発明の実施の形態に係る画像データと向き情報の組を表した図である。 本発明の実施の形態に係る記憶装置、又はＲＡＭに保存され最適化された画像データを示した図である。 本発明の実施の形態に係るカメラ付き携帯端末を回転させたときの画像加工の例を示した図である。

符号の説明

１…カメラ付き携帯端末、２…被写体、１１…撮像部、１２…表示部、１３…重力センサ部、１４…画像加工部、１５…入力部、１６…ＣＰＵ、１７…記憶装置、１８…ＲＡＭ

Claims (11)

1. 被写体を撮像して画像を生成する撮像手段と、前記画像を加工する画像加工手段と、前記画像加工手段によって加工された画像を表示する表示手段と、重力の方向を検出する重力センサと、を有し、前記画像加工手段は、前記重力センサによって検出された重力の方向に基づいて、画像加工方法を変化させることを特徴とするカメラ付き携帯端末。
2. 前記画像加工手段による画像加工方法は、前記画像に対して、フレーム画像を描画する方法であることを特徴とする請求項１に記載のカメラ付き携帯端末。
3. 前記画像加工手段による画像加工方法は、前記フレーム画像の回転と伸縮の少なくとも１つを含むことを特徴とする請求項１に記載のカメラ付き携帯端末。
4. 前記フレーム画像は、重力方向を定める画像向き情報を有し、前記画像加工手段は、前記重力センサによって検出された重力方向と前記フレーム画像が有する重力方向が一致するように、上記フレーム画像を描画することを特徴とする請求項２と請求項３に記載のカメラ付き携帯端末。
5. 前記画像に描画するフレーム画像を保存する記憶部を有し、前記画像加工手段は、前記重力センサによって検出された重力の方向に基づいて、前記記憶部に保存されているフレーム画像を選択し、選択したフレーム画像を描画することを特徴とする請求項２から請求項４に記載のカメラ付き携帯端末。
6. 前記画像加工手段による画像加工方法は、前記画像に対して、座標によって構成される曲線、及び塗りつぶす領域や色を定めた描画情報に従って描画する方法であることを特徴とする請求項１に記載のカメラ付き携帯端末。
7. 前記画像加工手段による画像加工方法は、前記描画情報の回転と伸縮の少なくとも１つを含むことを特徴とする請求項６に記載のカメラ付き携帯端末。
8. 前記描画情報は、重力方向を定める画像向き情報を有し、前記画像加工手段は、前記重力センサによって検出された重力方向と前記描画情報が有する重力方向が一致するように、上記描画情報を描画することを特徴とする請求項６と請求項７に記載のカメラ付き携帯端末。
9. 前記画像に描画する描画情報を保存する記憶部を有し、前記画像加工手段は、前記重力センサによって検出された重力の方向に基づいて、前記記憶部に保存されている描画情報を選択し、選択した描画情報を描画することを特徴とする請求項６から請求項８に記載のカメラ付き携帯端末。
10. 被写体を撮像して画像を生成するステップと、重力センサによって重力の方向を検出するステップと、前記重力の方向に基づいて画像加工方法を選択するステップと、該選択した画像加工方法によって前記画像を加工するステップとを有することを特徴とするカメラ付き携帯端末を用いた画像加工方法。
11. 請求項１０に記載の画像加工方法を、コンピュータに実行させるためのコンピュータに読み取り可能なプログラム。

Images