JP2008211273A - 撮像装置 - Google Patents

Abstract

【課題】色チャンネルごとに異なる露光時間で撮影した撮像装置において、動きのある被写体の場合には被写体のエッジに色が付くという問題を軽減することを目的とするものである。
【解決手段】撮像部１を標準のＮ倍のフレームレートで、かつ各色チャンネルを異なる所定の蓄積時間で駆動し、それをフレーム加算回路３でフレーム加算して標準のフレームレートに戻すことで、動きのある被写体でもエッジに色が付くという現象を軽減させる。
【選択図】図１

Description

本発明は、撮像装置の複数色のゲイン調整に関するものである。

ＣＣＤやＣＭＯＳのような撮像素子は、光源の色温度の違いによって白い被写体であってもＲＧＢ信号のレベルに差がつく。このような撮像素子の出力信号のレベルの違いを補正するために、各ＲＧＢ信号に対して個別にゲイン調整を行う。この技術は一般にホワイトバランスと呼ばれている。通常は最も出力レベルの高いチャンネルについて、電荷蓄積量が飽和しないようにレンズ絞りを設定するために、それ以外のチャンネルについての入射光量は少なくなり、ＳＮ比の悪化が避けられないものであった。これを解決するために、撮像素子の出力信号のレベルが揃うように電子シャッタをかけて露光時間を色ごとに個別に調整することによってホワイトバランスのとれた映像を得て、後段でのゲイン調整を必要ない様にする技術は、特許文献１に記載されたものが知られている。

電子シャッタは、撮像素子がＣＣＤの場合は基板電圧にたとえば６〜１２Ｖのような掃き出しパルス（電子シャッタパルス）を印加することにより実現できる。掃き出しパルスが印加されると、それまでフォトダイオードが蓄積していた電荷が空になる。垂直ＣＣＤ駆動パルスに、たとえば６〜１２Ｖのような読み出しパルスを印加することにより、電荷をフォトダイオードから読み出すことができるので、掃き出しパルスを印加してから読み出しパルスを印加するまでの時間が撮像素子の露光時間ということになる。

以下に従来の撮像装置において、各ＲＧＢ信号のレベルを揃える技術について説明する。その撮像装置を図９に示す。図９において、撮像部１０１は、光を赤色、緑色、青色（以下ＲＧＢと呼ぶ）の各チャンネルの３色に分光するプリズムと、ＲＧＢ各チャンネル用の３個の撮像素子からなり、受光する光を結像し各ＲＧＢ信号に変換する。増幅回路１０２は、撮像部１０１の出力するＲＧＢ信号に対して、所望のレベルに増幅する。画像処理回路１０３は、増幅回路１０２が出力するＲＧＢ信号に対して様々な画像処理を施す。露光時間計算回路１０４は、増幅回路１０２が出力するＲＧＢ信号のうちで、Ｂチャンネルの信号のレベル（ｂ）が最も小さく、Ｇチャンネルの信号のレベル（ｇ）が最も大きく、Ｒチャンネルの信号のレベル（ｒ）がその中間である場合、最も小さいレベルのＢチャンネルは１フレームの長さに、Ｇチャンネルはｂ／ｇフレームの長さに、Ｒチャンネルはｂ／ｒフレームの長さに計算し、ＲＧＢ露光時間として記憶し出力する。撮像部駆動回路１０５は、各チャンネルの露光時間が、露光時間計算回路１０４で算出したＲＧＢ露光時間の長さになるように撮像部１０１に電子シャッタをかけて駆動する。以後、撮像部１０１からＲＧＢの各チャンネルでレベルが揃ったＲＧＢ信号が出力される。

図１０は、従来の撮像装置の撮像部１０１の各チャンネルの露光タイミングと信号出力レベル（蓄積電荷量）の関係を示したものである。読み出しパルスは、３チャンネル共に同じタイミングとする。感度が低いＢチャンネルは電子シャッタをかけず、感度の高いＧチャンネル及びＲチャンネルは、ＲＧＢ露光時間に従った長さの電子シャッタをかける。

図１１は、従来の撮像部１０１を駆動するパルスのタイミングチャートを示したものである。電子シャッタパルスによる掃き出しタイミングから読み出しタイミングまでの時間が露光時間となるので、図１０に示す長さの露光時間を実現している。
特開２０００−２７８７０４号公報

しかしながら、上記の従来の構成では、動きのある被写体のエッジに色（上記の例では青色）が付くという問題点を有していた。

この問題点を説明するために、図１２に落下するボールを撮像した様子を模式的に描いたものを示す。Ｂチャンネルは露光時間が長いため、丸いボールは長い楕円状に撮像される。しかし、Ｇチャンネル及びＲチャンネルは露光時間が短いために楕円の長さが短く撮像される。したがって、カラー映像にするためにそれらを後段で重ねて表示すると、上記楕円の長さの違いにより、動きのある被写体のエッジに青色が付く。

本発明は、上記従来の問題点を解決するもので、動きのある被写体でもエッジに色が付くという現象を軽減した撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、標準のＮ倍（Ｎは２以上の整数）のフレームレートで動作して、ＲＧＢの各チャンネルに対して個別に露光して、標準のＮ倍のフレームレートのＲＧＢ信号を出力する撮像部と、前記撮像部が出力する標準のＮ倍のフレームレートのＲＧＢ信号を、Ｎフレームずつ加算して１フレームにすることにより、標準のフレームレートのＲＧＢ信号に変換するフレーム加算回路と、標準のＮ倍のフレームレートで、前記撮像部のＲＧＢの各チャンネルに対して、露光時間がそれぞれ異なるように駆動する撮像部駆動回路とを備えたものである。

また、本発明の撮像装置は、標準のフレームレートで動作して、ＲＧＢの各チャンネルに対して個別に露光して標準のフレームレートのＲＧＢ信号を出力する撮像部と、前記撮像部のＲＧＢの各チャンネルに対して、それぞれ異なる露光時間で１フレームにＮ回（Ｎは２以上の整数）間歇的に露光するように駆動する撮像部駆動回路とを備えたものである。

また、前記撮像部駆動回路は、前記撮像部のＲＧＢの各チャンネルの各露光時間の中央を揃えるように駆動することを特徴とするものである。

また、前記撮像部駆動回路は、ＲＧＢの各チャンネルのうち露光時間が最長となるチャンネル以外のチャンネルに対してのみ、前記撮像部に電子シャッタを掛けることにより、各チャンネルの露光時間をそれぞれ異ならせるように駆動することを特徴とするものである。

また、さらに、前記フレーム加算回路から出力されるＲＧＢ信号を水平走査周期に同期した信号に変換する時間伸長回路を備えたものである。

また、さらに、前記標準のフレームレートのＲＧＢ信号を基に、前記撮像部のＲＧＢの各チャンネルの露光時間を算出して記憶する露光時間計算回路を備え、前記撮像部駆動回路は、前記露光時間計算回路で記憶した露光時間に従って、前記撮像部のＲＧＢの各チャンネルに対して駆動し、前記露光時間計算回路は、前記ＲＧＢの各チャンネルの露光時間を、前記標準のフレームレートのＲＧＢの各色信号のレベルの違いが少なくなるような時間に設定することを特徴とするものである。

また、前記露光時間計算回路は、ＲＧＢの各チャンネルの露光時間を、前記標準のフレームレートのＲＧＢ信号から得られる輝度および彩度のデータを基に判断した本来白色と思われる部分における前記標準のフレームレートのＲＧＢ信号の各平均レベルを基に設定することを特徴とするものである。

また、前記露光時間計算回路は、ＲＧＢの各チャンネルの露光時間を、操作者がホワイトバランス調整を行ったときの前記標準のフレームレートのＲＧＢ信号の各レベルを基に設定することを特徴とするものである。

本発明の撮像装置は、撮像部から標準のＮ倍のフレームレートのＲＧＢ信号を出力し、フレーム加算して、標準のフレームレートに変換することにより、ＲＧＢの各チャンネルに対する露光時間が異なっても、動きのある被写体のエッジに色が付くという現象が軽減される。

また、本発明の撮像装置は、ＲＧＢの各チャンネルに対して、１フレームにＮ回間歇的に露光することにより、ＲＧＢの各チャンネルに対する露光時間が異なっても、動きのある被写体のエッジに色が付くという現象が軽減される。

また、ＲＧＢの各チャンネルの各露光時間の中央を揃えることにより、動きのある被写体のエッジに色が付くという現象がさらに軽減される。

また、露光時間が最長となるチャンネルに対して電子シャッタを掛けないように駆動することにより、最もレベルの低いチャンネルでも、露光時間を最長に設定できるため、Ｓ／Ｎが向上する。

また、時間伸長回路を備えたことにより、ＲＧＢ信号をハードウエアで処理できるため、高速に処理しやすくなる。

また、ＲＧＢの各チャンネルの露光時間を、ＲＧＢの各色信号のレベルの違いが少なくなるような時間に設定することにより、ＲＧＢの各チャンネルに対する露光時間を変えてホワイトバランス調整を行う場合に、動きのある被写体のエッジに色が付くという現象が軽減される。

以下本発明を実施するための最良の形態について、図面を参照しながら説明する。

（実施の形態１）
図１に本発明の実施の形態１の撮像装置の構成図を示す。図１において、１は、通常よりもＮ倍（Ｎは２以上の整数とする）のフレームレートで駆動され、入射する光を結像し、Ｒチャンネル、Ｇチャンネル、Ｂチャンネルの各色信号（以下ＲＧＢ信号と呼ぶ）に変換する撮像部である。撮像部１は、光をＲＧＢ各チャンネルの３色に分光するプリズムと、ＲＧＢ各チャンネル用の３個の撮像素子からなる。２は、撮像部１が出力するＮ倍のフレームレートのＲＧＢ信号を所望のレベルに増幅する増幅回路である。３は、増幅回路２の出力するＮ倍のフレームレートのＲＧＢ信号をＮフレームずつメモリに蓄え、加算器で１フレームに足し合わせて、Ｎフレーム毎に１回の割合で出力することにより、標準のフレームレートのＲＧＢ信号に変換するフレーム加算回路である。４は、フレーム加算回路３から出力されるＲＧＢ信号を、水平走査周期に同期したＲＧＢ信号に時間伸長する時間伸長回路である。５は、時間伸長回路４が出力するＲＧＢ信号に対して、様々な画像処理を施す画像処理回路である。６は、時間伸長回路４が出力するＲＧＢ信号のレベルを判断し、ＲＧＢ各チャンネルの露光時間であるＲＧＢ露光時間を計算する露光時間計算回路である。７は、露光時間計算回路６で算出したＲＧＢ露光時間の長さになるように、撮像部１に電子シャッタをかけて駆動する撮像部駆動回路である。以後撮像部１からレベルが揃ったＲＧＢ信号が出力される。

露光時間計算回路６におけるＲＧＢ露光時間の計算は、ＲＧＢ各チャネルの露光時間を異ならせた結果、ＲＧＢ各チャンネルの信号レベルの違いが少なくなるように計算すればよいが、例えば、時間伸長回路４が出力するＲＧＢ信号から得られるフレーム毎の１画面全体のＲＧＢの各信号レベルの平均値に逆比例するようなＲＧＢ露光時間に設定するようにしても良いし、時間伸長回路４が出力するＲＧＢ信号から得られる輝度および彩度データを基に判断した、本来白色と思われる部分におけるＲＧＢの各信号レベルの平均値に逆比例するようにしても良いし、また、操作者がホワイトバランス調整を行ったときのＲＧＢの各信号レベルの平均値に逆比例するようにしても良い。

図２は、本発明の撮像装置の各チャンネルの露光タイミングと信号出力レベル（蓄積電荷量）の関係を示したものである。ここでは、Ｎ＝３すなわち３倍速で撮像部１を駆動した場合を例に挙げる。従来の撮像装置と同様に感度の低いＢチャンネルには電子シャッタをかけずに、Ｇチャンネル及びＲチャンネルには露光時間がＲＧＢ露光時間になるように電子シャッタをかける。

図３は撮像部１を駆動するパルスのタイミングチャートを示したものである。読み出しのタイミングは３チャンネル共に同じとする。電子シャッタパルスのタイミングから読み出しパルスのタイミングまでの時間を露光時間とし、図２に示す長さの露光時間を実現している。上記の通り、Ｂチャンネルには電子シャッタをかけないため、シャッタパルスは発生していない。

図４は落下するボールを撮像した様子を模式的に描いたものである。ＲＧＢの各チャンネルで露光時間を異ならせて動く物体を撮影した場合、従来技術で説明したように、撮影した物体のエッジに色が付くが、本実施の形態では、撮像部１のフレームレートを標準の３倍にしているため、エッジの色付き部は３箇所に分散され、１箇所あたりのエッジの色付き部の面積は１／３に小さくなるため、あまり目立たなくなり、動きのある被写体のエッジに色が付く現象が軽減される。

（実施の形態２）
次に、図２とは異なる方式で駆動した、本発明の実施の形態２における各チャンネルの露光タイミングと信号出力レベル（蓄積電荷量）の関係を図５に示す。図２の方式と異なる点は、撮像素子の露光時間の中央を揃えていることである。図６は、この方式で駆動した場合の撮像部１を駆動するパルスのタイミングチャートを示したものである。読み出しのタイミングは、３チャンネル共に同じであった図３とは異なり、読み出しのタイミングもチャンネル毎にずらして露光時間の中央が揃うようにしてある。この駆動方式を用いると、動きのある被写体のエッジに色が付く現象が被写体の両側に分散され、エッジの色付き部の面積はさらに半分になるため、図２の駆動方式よりもさらに目立ちにくくなる。

（実施の形態３）
次に、本発明の実施の形態３における撮像装置について、図７、図８を用いて説明する。図７において、８は、実施の形態１、２の場合と異なり、標準のフレームレートで動作する撮像部であり、９は、露光時間計算回路６で算出したＲＧＢ露光時間を基に、１フレームの期間に３回露光するよう撮像部８を駆動する撮像部駆動回路である。図８に、本実施の形態における撮像装置の各チャンネルの露光タイミングと信号出力レベル（蓄積電荷量）の関係を示す。この場合も、実施の形態２と同じく、ＲＧＢ各チャンネルの露光時間の中央が揃うタイミングで露光しているため、本実施の形態における撮像装置も、動きのある被写体のエッジに色が付く現象に対して、実施の形態２と同様の改善効果がある。

なお、本実施の形態では撮像部を１フレームの期間に３回露光するようにしているが、３回に限らず、Ｎ回（Ｎは２以上の整数）であれば良い。

ところで、以上の実施の形態１〜３では、ＲＧＢ各チャンネルの露光時間を、露光時間計算回路６で、ＲＧＢ信号を基に算出しているがこれに限らない。例えば、露光時間計算回路６を設けず、ＲＧＢの各チャンネルの撮像素子の感度の違い、もしくは飽和レベルの違いに基づいた固定の露光時間であっても、動きのある被写体のエッジに色が付く現象に対して改善効果がある。

本発明にかかる撮像装置は、動きのある被写体の場合にエッジに色が付くという現象が軽減され、撮像装置の複数色のゲイン調整等の用途に適用できる。

本発明の実施の形態１にかかる撮像装置の構成図 本発明の実施の形態１にかかる撮像装置の各チャンネルの露光タイミングと信号出力レベルの関係を示した図 本発明の実施の形態１にかかる撮像装置の撮像部を駆動するパルスのタイミング図 本発明の実施の形態１にかかる撮像装置の落下するボールを撮像した様子を模式的に描いた図 本発明の実施の形態２にかかる撮像装置の各チャンネルの露光タイミングと信号出力レベルの関係を示した図 本発明の実施の形態２にかかる撮像装置の撮像部を駆動するパルスのタイミング図 本発明の実施の形態３にかかる撮像装置の構成図 本発明の実施の形態３にかかる撮像装置の各チャンネルの露光タイミングと信号出力レベルの関係を示した図 従来の撮像装置の構成図 従来の撮像装置の各チャンネルの露光タイミングと信号出力レベルの関係を示した図 従来の撮像装置の撮像部を駆動するパルスのタイミング図 従来の撮像装置の落下するボールを撮像した様子を模式的に描いた図

符号の説明

１ 撮像部
２ 増幅回路
３ フレーム加算回路
４ 時間伸長回路
５ 画像処理回路
６ 露光時間計算回路
７ 撮像部駆動回路
８ 撮像部
９ 撮像部駆動回路
１０１ 撮像部
１０２ 増幅回路
１０３ 画像処理回路
１０４ 露光時間計算回路
１０５ 撮像部駆動回路

Claims (8)

1. 標準のＮ倍（Ｎは２以上の整数）のフレームレートで動作して、ＲＧＢの各チャンネルに対して個別に露光して、標準のＮ倍のフレームレートのＲＧＢ信号を出力する撮像部と、
   前記撮像部が出力する標準のＮ倍のフレームレートのＲＧＢ信号を、Ｎフレームずつ加算して１フレームにすることにより、標準のフレームレートのＲＧＢ信号に変換するフレーム加算回路と、
   標準のＮ倍のフレームレートで、前記撮像部のＲＧＢの各チャンネルに対して、露光時間がそれぞれ異なるように駆動する撮像部駆動回路とを備えた撮像装置。
2. 標準のフレームレートで動作して、ＲＧＢの各チャンネルに対して個別に露光して標準のフレームレートのＲＧＢ信号を出力する撮像部と、
   前記撮像部のＲＧＢの各チャンネルに対して、それぞれ異なる露光時間で１フレームにＮ回（Ｎは２以上の整数）間歇的に露光するように駆動する撮像部駆動回路とを備えた撮像装置。
3. 前記撮像部駆動回路は、前記撮像部のＲＧＢの各チャンネルの各露光時間の中央を揃えるように駆動することを特徴とする請求項１または請求項２記載の撮像装置。
4. 前記撮像部駆動回路は、ＲＧＢの各チャンネルのうち露光時間が最長となるチャンネル以外のチャンネルに対してのみ、前記撮像部に電子シャッタを掛けることにより、各チャンネルの露光時間をそれぞれ異ならせるように駆動することを特徴とする請求項１記載の撮像装置。
5. さらに、前記フレーム加算回路から出力されるＲＧＢ信号を水平走査周期に同期した信号に変換する時間伸長回路を備えた請求項１記載の撮像装置。
6. さらに、前記標準のフレームレートのＲＧＢ信号を基に、前記撮像部のＲＧＢの各チャンネルの露光時間を算出して記憶する露光時間計算回路を備え、
   前記撮像部駆動回路は、前記露光時間計算回路で記憶した露光時間に従って、前記撮像部のＲＧＢの各チャンネルに対して駆動し、
   前記露光時間計算回路は、前記ＲＧＢの各チャンネルの露光時間を、前記標準のフレームレートのＲＧＢの各色信号のレベルの違いが少なくなるような時間に設定することを特徴とする請求項１または請求項２記載の撮像装置。
7. 前記露光時間計算回路は、ＲＧＢの各チャンネルの露光時間を、前記標準のフレームレートのＲＧＢ信号から得られる輝度および彩度のデータを基に判断した本来白色と思われる部分における前記標準のフレームレートのＲＧＢ信号の各平均レベルを基に設定することを特徴とする請求項６記載の撮像装置。
8. 前記露光時間計算回路は、ＲＧＢの各チャンネルの露光時間を、操作者がホワイトバランス調整を行ったときの前記標準のフレームレートのＲＧＢ信号の各レベルを基に設定することを特徴とする請求項６記載の撮像装置。