JP2014158134A - 画像処理システム及びその画像処理システムに用いるセンサ基板及びその画像処理システムに用いる画像処理基板 - Google Patents

Abstract

【課題】全てのアプリケーションをまとめてスケジューリング管理しなくともアプリケーション単位ごとにイメージセンサを制御可能な画像処理システムを提供する。
【解決手段】本発明の画像処理システムは、1個のイメージセンサ１と、複数個の画像処理チップ２，３とを備え、各画像処理チップ２、３には、画像データＤａ、Ｄａ’が入力される画像データ入力部２ａ、３ａと、画像データ入力部２ａ、３ａに入力された画像データを処理する画像処理部２ｅ、３ｅと、画像データ処理部２ｅ、３ｅにより処理された画像データを出力する画像データ出力部２ｃ、３ｃと、イメージセンサ１を制御するセンサ制御部２ｄ、３ｄとが設けられ、各センサ制御部２ｄ、３ｄとイメージセンサとが制御バスラインＢＬにより共有されて、イメージセンサ１の制御が行われる。
【選択図】図２

Description

本発明は、画像処理システム及びその画像処理システムに用いるセンサ基板及びその画像処理システムに用いる画像処理基板に関する。

従来から、一個のイメージセンサに対して一個のセンサ制御部を有し、複数のアプリケーションのすべてをまとめてスケジューリング管理することによりイメージセンサを制御する画像処理システムが知られている（例えば、特許文献１、特許文献２参照。）。

しかしながら、この従来の画像処理システムでは、イメージセンサの制御設定について全てのアプリケーションをまとめてスケジューリング管理する必要がある。このため、アプリケーション単位で画像処理チップを独立させて製作することが困難である。

本発明は、上記の事情に鑑みて為されたもので、全てのアプリケーションをまとめてスケジューリング管理しなくともアプリケーション単位ごとにイメージセンサを制御可能な画像処理システム及びその画像処理システムに用いるセンサ基板及びその画像処理システムに用いる画像処理基板を提供することを目的とする。

本発明に係る画像処理システムは、1個のイメージセンサと、複数個の画像処理チップとを備え、前記各画像処理チップには、画像データが入力される画像データ入力部と、該画像データ入力部に入力された画像データを処理する画像データ処理部と、該画像データ処理部により処理された画像データを出力する画像データ出力部と、前記イメージセンサを制御するセンサ制御部とが設けられ、前記各センサ制御部が共通の制御バスラインを介して前記イメージセンサの制御を行うことを特徴とする。

本発明によれば、複数個の画像処理チップの各画像処理チップに、画像データが入力される画像データ入力部と、この画像データ入力部に入力された画像データを処理する画像データ処理部と、この画像データ処理部により処理された画像データを出力する画像データ出力部と、センサ制御部とを設け、1個のイメージセンサを共通の制御バスラインにより制御可能としたので、アプリケーション毎に画像処理チップを独立して開発することが可能となる。
また、画像処理チップの開発期間の短縮、画像処理チップの追加によるアプリケーションの追加という拡張機能を容易に実現できる。

図１は本発明に係る画像処理システムの概念的構成を示すブロック回路図である。 図２は本発明に係る画像処理システムの具体的構成の一例を示すブロック回路図である。 図３はフレーム管理情報の一例を示す説明図である。 図４は画像クロック信号とフレーム同期信号とライン同期信号と画像データとの関係を示すタイミングチャートである。 図５は図４に示すタイミングチャートの先頭部分の拡大図である。 図６は異なるセンサ制御部による制御動作とこの制御動作に対応する画像データとの関係を示すタイミングチャートである。 図７はフレーム同期信号とフレーム時分割信号とセンサ制御部の動作との関係を概念的に示すタイミングチャートである。 図８は各センサ制御部による制御動作タイミングが二種類ある場合にこの制御動作とこれに対応する画像データとの関係を示すタイミングチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。
（本発明の画像処理システムの概念的構成）
図１は本発明に係る画像処理システムの概念的構成を示すブロック図である。
この図１において、１は例えば撮影レンズ系（図示を略す）からの光束によって画像が形成されるイメージセンサである。
この画像処理システムは、１個のイメージセンサ１と、複数個の画像処理チップ２、３、…、Ｎとを備えている。

画像処理チップ２は、画像データ入力部２ａと、フレーム管理部２ｂと、画像データ出力部２ｃと、センサ制御部２ｄとを少なくとも備えている。
画像データ入力部２ａにはイメージセンサ１からの画像データＤａが入力される。フレーム管理部２ｂは、画像データＤａに埋め込むべきフレーム管理情報（後述する）を画像データＤａからなる画像フレーム毎に生成する。なお、フレーム管理部２ｂにおいては、そのフレーム管理情報がアプリケーションの追加、画像処理チップの拡張等によって都度更新される。

その画像処理チップ２は、画像データＤａを画像処理するイメージプロセッサとしての機能を有する。この図１では、画像処理部は図示が省略されている。
画像データ出力部２ｃは、画像処理部により処理された画像データＤａ’を後段の画像処理チップ３に出力する機能を有する。この画像データ出力部２ｃは、画像データＤａの１フレームの最終ラインの先頭にフレーム管理情報（後述する）を最終的に埋め込む役割を果たす。

センサ制御部２ｄは、制御バスラインＢＬを介して、イメージセンサ１の出力制御を行うと共に、この画像処理チップ２の画像認識に要望される画像データ（画像処理チップ２の画像認識に適した画像データ）が出力されるようにイメージセンサ１を制御する機能を有する。

画像処理チップ３、…、Ｎは、画像データ入力部３ａ、…、Ｎａと、フレーム管理情報判断部３ｂ、…、３Ｎと、画像データ出力部３ｃ、…、３Ｎと、センサ制御部３ｄ、…、３Ｎを有する。その画像処理チップ３、…、Ｎも、画像データＤａを画像処理するイメージプロセッサとしての機能を有する。

画像データ入力部３ａ、…、Ｎａには前段の画像処理チップＮ−１（Ｎ＝３…Ｎ）の画像データＤａ’が入力される。
フレーム管理情報判断部３ｂ、…、Ｎｂは、画像データ出力部２ｃにおいて埋め込まれたフレーム管理情報に基づいて、自己が処理すべき画像フレームか否かを判断する。

画像データ出力部３ｃ、…、Ｎｃは、自己が処理すべき画像フレームでない場合には、後段の画像処理チップ４、…、Ｎに画像データを出力する機能を有する。
センサ制御部３ｄ、…、３Ｎは、制御バスラインＢＬをセンサ制御部２ｄの制御バスラインＢＬと共有して、イメージセンサ１の出力制御を行うと共に、アプリケーションに基づいて、この画像処理チップ３、…、Ｎの画像認識に要求される画像データ（画像処理チップ３、…、Ｎの画像認識に適した画像データ）が出力されるようにイメージセンサ１を制御する機能を有する。

このような画像処理システムによれば、共通の制御バスラインＢＬを用いてアプリケーションごとにイメージセンサ１を個別に制御することができるので、アプリケーションを全体的にスケジュール管理しなくとも、アプリケーションごとに独立して画像処理を行うことができることになる。

その結果、アプリケーション毎に画像処理チップを独立して開発することが可能となる。また、画像処理チップの開発期間の短縮、画像処理チップの追加によるアプリケーションの追加という拡張機能を容易に実現できる。

（具体例１）
図２は、本発明に係る画像処理システムの具体的構成を示すブロック回路図である。その図２において、１０はセンサ基板、１１は画像処理基板である。センサ基板１０には、少なくとも図１に示すイメージセンサ１と図１に示す画像処理チップ２とが設けられている。

画像処理基板１１には、図１に示す画像処理チップ３及びその他のアプリケーションを実行する処理回路が設けられている。
ここでは、説明の便宜のため、画像処理チップ４、…、Ｎは接続されていないものとする。

画像処理チップ２は、図１に示す画像データ入力部２ａと、フレーム管理部２ｂと、画像データ出力部２ｃと、センサ制御部２ｄと、画像処理部２ｅと、認識処理部２ｆとを備えている。

画像処理部２ｅは、画像データＤａに基づいて画像フレームを構築すると共にレンズによる画像の歪の補正、ぼけの修正、輪郭線強調等の画質補正処理を行う。認識処理部２ｆは、画像処理部２ｅにより画質補正処理された画像を用いて、例えば、第１認識処理としての顔認証等の認識処理を実行する。

画像データ出力部２ｃは、画像処理部２ｅによる画質補正後の画像データＤａ’を後段の画像処理基板１１に向けて１フレーム毎に出力する。画像データ出力部２ｃは、その１フレームの画像データＤａの最終ラインの先頭に、図３に示すように、フレーム管理情報ＦＫとして、センサ制御部２ｄ、３ｄの選択情報、画像に関する情報、イメージセンサ１に関する情報を埋め込む機能も果たす。

センサ制御部２ｄは制御バスラインＢＬを介してイメージセンサ１の制御を実行する。例えば、センサ制御部２ｄは、顔認識処理に要求される露光時間設定、ゲイン設定を行う。
イメージセンサ１は、図４に示す画像クロック信号ＣＬを用いて、フレーム同期信号ＦＳＹＮＣのハイ期間の間に，ライン同期信号ＬＳＹＮＣにより、図４に示す画像データＤａを画像データ入力部２ａにフレーム毎に出力する。

図５は図４に示す画像クロック信号ＣＬ、フレーム同期信号ＦＳＹＮＣ、ライン同期信号ＬＳＹＮＣの先頭部分の拡大図であり、1ライン目の画像データの１画素からＮ画素までの画素データが例示されている。

画像処理チップ３は、図１に示す画像データ入力部３ａと、フレーム情報判断部３ｂと、画像データ出力部３ｃと、センサ制御部３ｄと、画像処理部３ｅと、認識処理部３ｆとを有する。
センサ制御部３ｄは制御バスラインＢＬを介してイメージセンサ１を制御する。

画像データ入力部３ａには、画像データＤａ’が入力され、フレーム情報判断部３ｂはその画像データＤａ’の最終ラインの先頭に埋め込まれたフレーム管理情報ＦＫに基づいて、自己が処理すべき画像フレームか否かを判断する。

フレーム情報判断部３ｂは自己が処理すべき画像フレームの場合には、画像処理部３ｅにその画像データＤａ’を画像処理させ、そうでない場合には、後段の画像データ出力部３ｃに出力する。ここでは、後段の画像データ出力部３ｃに画像処理基板が接続されていないので、画像データ出力部３ｃから出力される画像データＤａ’は廃棄される。

認識処理部３ｆは、その画像処理部３ｅにより処理された画像に基づいて例えば人数カウント等の個数認識、文字認識等の第２認識処理を行って、その処理結果のデータを図示を略す回路に向かって出力する。

センサ制御部３ｄは、その認識処理部３ｆに要望される画像データＤａをイメージセンサ１から出力させるために、イメージセンサ１の露光時間設定、ゲイン設定を変更する。

この実施例では、第１認識処理（例えば、画質補正後に顔認識を行うアプリケーション）と第２認識処理（例えば、画質補正後の画像を用いて人数をカウントするアプリケーション）とを行うアプリケーションを実行する画像処理システムを想定している。

このため、イメージセンサ１のセンサ制御部２ｄによる制御とセンサ制御部３ｄによる制御とを、図６に示すように、交互に行うことができるようにアプリケーションが構築されている。また、このようにして出力された画像データＤａからなる画像フレームが第１認識処理（画像処理チップ２で処理すべき画像フレーム）を行う画像フレームであるのか、第２認識処理（画像処理チップ３で処理すべき画像フレーム）であるのかを識別する。このために、ここでは、画像フレームの最終ラインの先頭にフレーム管理情報ＦＫとして「０ｈ」又は「１ｈ」（１６進コード）を埋め込むこととする。

フレーム情報判断部３ｂは、ここでは、その最終ラインのフレーム管理情報ＦＫに基づいて、自己が処理すべき画像フレームか否かを判断する。また、このフレーム管理情報ＦＫに基づいて、イメージセンサ１の制御タイミングを設定する。なお、フレーム管理情報ＦＫの露光時間、ゲイン設定情報によりセンサ制御部２ｄ、３ｄがイメージセンサ１を制御する構成としても良い。

（その他の例）
アプリケーションによっては、認識処理部２ｆ、３ｆに反映される画像フレームが１フレーム後と２フレーム後とに交互に要求されるものがある。すなわち、各センサ制御部２ｄ、３ｄによる制御動作タイミングが二種類ある場合がある。
この場合、１個のセンサ制御部によって制御すべきタイミングが２個になるため、センサ制御部２ｄ、３ｄによるイメージセンサ１の制御を図６に示すように交互に行うことができない。

そこで、このような場合には、図７に示すように、イメージセンサ１にフレーム時分割信号ＴＢを生成し、センサ制御部２ｄによるイメージセンサ１の制御をフレーム時分割信号ＴＢのハイレベルに対応させ、センサ制御部３ｄによるイメージセンサ１の制御をフレーム時分割信号ＴＢのローレベルに対応させて制御するようにアプリケーションを設定する。

このように、フレーム時分割信号ＴＢを用いて、センサ制御部２ｄによるイメージセンサ１の制御タイミングとセンサ制御部３ｄによるイメージセンサ１の制御タイミングとを区別すると、図８に示すように認識処理部２ｄ（３ｄ）に要求される画像データＤａが１フレーム後と２フレーム後とに交互に要求される場合でも、センサ制御部２ｄによる制御とセンサ制御部３ｄによる制御とが同時にイメージセンサ１に対して行われることが禁止される。
その結果、センサ制御部２ｄによる制御とこの制御に対応する画像のデータＤａ（センサ制御部３ｄによる制御とこの制御に対応する画像データＤａ）とを一対一に対応付けることができる。

1…イメージセンサ
２，３…画像処理チップ
２ａ、３ａ…画像データ入力部
２ｅ、３ｅ…画像処理部
２ｃ、３ｃ…画像データ出力部
２ｄ、３ｄ…センサ制御部
ＢＬ…制御バスライン
Ｄａ、Ｄａ’…画像データ

特許第４５４２１７４号 特許第４１５３５２２号

Claims (8)

1. １個のイメージセンサと、複数個の画像処理チップとを備え、前記各画像処理チップには、画像データが入力される画像データ入力部と、該画像データ入力部に入力された画像データを処理する画像データ処理部と、該画像データ処理部により処理された画像データを出力する画像データ出力部と、前記イメージセンサを制御するセンサ制御部とが設けられ、前記各センサ制御部が共通の制御バスラインを介して前記イメージセンサの制御を行うことを特徴とする画像処理システム。
2. 各画像処理チップに互いに異なる認識処理を行う認識処理部がそれぞれ設けられていることを特徴とする請求項１に記載の画像処理システム。
3. 1個のイメージセンサと1個の画像処理チップとを備え、該画像処理チップに前記イメージセンサから画像データが入力される画像データ入力部と、該画像データ入力部に入力された画像データを処理する画像データ処理部と、該画像データ処理部により処理された画像データを用いて第1認識処理を行う認識処理部と、前記画像データ処理部により処理された画像データを出力する画像データ出力部と、前記第1認識処理を行う認識処理部に要望される画像データが前記イメージセンサから出力されるように前記イメージセンサを制御バスラインを介して制御するセンサ制御部とが少なくとも設けられたセンサ基板と、
   該センサ基板の画像データ出力部からの画像データが入力される画像データ入力部と、該画像データ入力部に入力された画像データを処理する画像データ処理部と、該画像データ処理部により処理された画像データを用いて前記第1認識処理とは異なる第２認識処理を行う認識処理部と、前記画像データ処理部により処理された画像データを出力する画像データ出力部と、前記第２認識処理を行う認識処理部に要望される画像データが前記イメージセンサから出力されるように前記イメージセンサを前記制御バスラインと共通の制御バスラインを介して制御するセンサ制御部とが少なくとも設けられた画像処理基板と、を含む画像処理システム。
4. 前記センサ基板の前記画像処理部は、前記画像データから画像フレームを構築し、前記センサ基板の前記画像データ出力部はフレーム管理情報を前記画像フレームに埋め込み、前記画像処理基板は前記フレーム管理情報を用いて処理すべき画像データか否かを判断するフレーム情報判断部を有していることを特徴とする請求項３に記載の画像処理システム。
5. 前記画像フレーム管理情報が露光時間設定又はゲイン設定に対応していることを特徴とする請求項４に記載の画像処理システム。
6. 前記画像データのフレーム同期信号を分割したフレーム時分割信号により前記センサ制御部の同時作動を禁止することを特徴とする請求項３に記載の画像処理システム。
7. 請求項３に記載の画像処理システムに用いられ、1個のイメージセンサと1個の画像処理チップとを備え、該画像処理チップに前記イメージセンサから画像データが入力される画像データ入力部と、該画像データ入力部に入力された画像データを処理する画像データ処理部と、該画像データ処理部により処理された画像データを用いて第1認識処理を行う認識処理部と、前記画像データ処理部により処理された画像データを出力する画像データ出力部と、前記第1認識処理を行う認識処理部に要望される画像データが前記イメージセンサから出力されるように前記イメージセンサを制御バスラインを介して制御するセンサ制御部とが少なくとも設けられたセンサ基板。
8. 請求項３記載の画像処理システムに用いられるセンサ基板の画像データ出力部からの画像データが入力される画像データ入力部と、該画像データ入力部に入力された画像データを処理する画像データ処理部と、該画像データ処理部により処理された画像データを用いて前記第1認識処理とは異なる第２認識処理を行う認識処理部と、前記画像データ処理部により処理された画像データを出力する画像データ出力部と、前記第２認識処理を行う認識処理部に要望される画像データが前記イメージセンサから出力されるように前記イメージセンサを前記制御バスラインと共通の制御バスラインを介して制御するセンサ制御部とが少なくとも設けられた画像処理基板。